Meta-Learning-Driven Deep Reinforcement Learning for Green Resource Management in 5G/6G Networks

يتجه العالم نحو جيل جديد من الشبكات المتنقلة، المعروف باسم الجيل السادس (6G)، والذي يعد بربط كل شيء، من السيارات ذاتية القيادة إلى الجراحة عن بُعد، بسرعة وموثوقية مذهلتين. ومع ذلك، فإن هذه القفزة النوعية تأتي بثمن باهظ: فهذه الشبكات ستستهلك كميات هائلة من الكهرباء وتولد انبعاثات كربونية كبيرة. ولا يكمن التحدي الذي يواجه المهندسين في بناء شبكات أسرع فحسب، بل في بناء شبكات يمكنها إدارة استهلاكها للطاقة في الوقت الفعلي. تعتمد الطرق التقليدية لتشغيل هذه الشبكات على قواعد ثابتة أو تعديلات بسيطة تستجيب ببطء للتغيرات؛ فعندما تزداد حركة البيانات فجأة أو تتغير الظروف الجوية، تعاني هذه الأنظمة القديمة، وغالباً ما تهدر الطاقة أو تفشل في تلبية احتياجات المستخدمين. ولحل هذه المعضلة، يتجه الباحثون إلى نوع من الذكاء الاصطناعي يسمى "التعلم التعزيزي العميق"، حيث يتعلم الكمبيوتر اتخاذ القرارات من خلال التجربة والخطأ لمعرفة ما ينجح. ومع ذلك، حتى هذه الأنظمة الذكية قد تكون بطيئة جداً في التكيف عندما تتغير البيئة بسرعة، مما يتطلب منها إعادة التعلم من الصفر في كل مرة تتغير فيها الظروف.

لقد طور فريق من الباحثين نهجاً جديداً يعلّم هذه الأنظمة التعلم بشكل أسرع، مما يسمح لها بالتكيف بشكل فوري تقريباً مع الظروف الجديدة دون إهدار للطاقة. ويركز عملهم على مكون حيوي في الشبكة المتنقلة يسمى "وظيفة إدارة الوصول والتنقل" (AMF)، والتي تعمل كبوابة لاتصالات المستخدمين. وفي بيئة محاكاة تعتمد على بيانات من العالم الحقيقي، اختبر الباحثون نظاماً يجمع بين تقنية تسمى "التعلم الميتافيزيقي" (Meta-learning) وخوارزمية تعلم محددة تُعرف باسم "تحسين السياسة القريبة" (Proximal Policy Optimization). والتعلم الميتافيزيقي، في هذا السياق، يشبه تعليم طالب ليس فقط موضوعاً معيناً، بل كيفية الدراسة بفعالية حتى يتمكن من إتقان أي موضوع جديد بسرعة. فبدلاً من تدريب النظام على نمط حركة مرور واحد أو وضع طاقة محدد، قام الباحثون بتدريبه على مجموعة واسعة من السيناريوهات. وقد سمح ذلك للنظام بتعلم استراتيجية عامة يمكن ضبطها بدقة من خلال إجراء تعديلات صغيرة فقط عند مواجهة موقف جديد.

تظهر نتائج هذه الدراسة أن هذا المنهج الجديد يتفوق بشكل كبير على التقنيات الحالية. ففي عمليات المحاكاة التي أجروها، تعلم النظام المقترح إدارة موارد الشبكة بشكل أسرع بكثير من الطرق القياسية، حيث وصل إلى حالة مستقرة وفعالة في وقت أقل بنحو الثلث. والأهم من ذلك، أنه حقق تحسناً بنسبة 28.6 بالمائة في كفاءة الطاقة مقار بالمُتغير القياسي لخوارزمية التعلم التي استند إليها. وعند النظر إلى إجمالي الطاقة المستهلكة طوال فترة التدريب، استخدم النظام الجديد طاقة أقل بنسبة 27.8 بالمائة من طريقة بديلة شائعة، وقلل من بصمته الكربونية بنسبة 31.6 بالمائة. وقد تحققت هذه الوفورات دون التضحية بجودة الخدمة المقدمة للمستخدمين؛ بل في الواقع، حافظ النظام الجديد على معدل امتثال بنسبة 99 بالمائة لضمانات الخدمة، مما يعني أنه نجح في تلبية معايير الأداء المطلوبة لكل اتصال مستخدم تقريباً، وهي نسبة كانت أعلى من جميع الطرق الأخرى التي تم اختبارها.

كما استكشف الباحثون كيف يوازن النظام بين أهداف مختلفة، مثل توفير الطاقة مقابل ضمان سرعات الإنترنت العالية. ووجدوا أنه من خلال تعديل الأهمية المعطاة للانبعاثات الكربونية في أهداف تعلم النظام، يمكنهم خفض التأثير البيئي للشبكة بشكل كبير دون التسبب في فشل الخدمة. وحتى عندما تعرض النظام لعقوبات شديدة بسبب إنتاج الكربون، فقد تمكن من إبقاء الشبكة تعمل بسلاسة للمستخدمين. وتشير الدراسة إلى أنه من خلال دمج هذه الأهداف البيئية مباشرة في عملية التعلم، يمكن لمشغلي الشبكات جعل بنيتهم التحتية أكثر رفقاً بالبيئة دون المساس بالأداء. ورغم أن العمل الحالي قد أُجري باستخدام عمليات المحاكاة وبيانات تتبع من العالم الحقيقي بدلاً من شبكة عالمية حية، إلا أن النتائج تشير إلى مسار واضح لجعل الشبكات المتنقلة المستقبلية أكثر استدامة. ويؤكد هذا النهج أنه مع استراتيجية التعلم الصحيحة، يمكن للشبكات أن تصبح حارساً ذاتي التحسين لكل من السرعة والبيئة.