Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

في الأنهار غير المرئية من البيانات التي تتدفق عبر عالمنا المعاصر، تواجه الشبكات اللاسلكية صراعاً مستمراً: كيف يمكن خدمة عدد أكبر من الناس باستخدام نفس القدر المحدود من الطيف الترددي. لعقود من الزمن، كان الحل القياسي هو تقسيم الترددات الراديوية المتاحة إلى مسارات منفصلة، وتخصيص مسار حصري لكل مستخدم. هذه الطريقة، المعروفة باسم الوصول المتعدد المتعامد، تعمل بشكل موثوق لكنها غير فعالة، مثل طريق سريع حيث تُجبر السيارات على التناوب في طريق ذي مسار واحد حتى عندما تكون المسارات الأخرى فارغة. أما النهج الأحدث، المسمى بالوصول المتعدد غير المتعامد، أو NOMA، فيغير القواعد تماماً. فبدلاً من فصل المستخدمين حسب الوقت أو التردد، فإنه يسمح لعدة مستخدمين بمشاركة نفس التردد بالضبط في نفس الوقت. ولإنجاح ذلك، يرسل جهاز الإرسال إشارة واحدة مدمجة حيث يتم تخصيص مستويات مختلفة من الطاقة لكل مستخدم؛ فالمستخدم الذي يمتلك اتصالاً أقوى يتلقى إشارة أضعف، بينما يحصل المستخدم ذو الاتصال الأضعف على إشارة أقوى. وفي طرف الاستقبال، تعمل عملية تسمى "إلغاء التداخل المتتالي" كمرشح (فلتر)، حيث تقوم بتجريد الإشارات القوية للكشف عن الإشارات الأضعف الكامنة تحتها. تعد هذه التقنية بضغط كميات أكبر بكثير من البيانات في نفس المساحة، وهو أمر ضروري لشبكات الجيل الخامس، أو 5G، التي تربط حالياً مليارات الأجهزة.

ومع ذلك، فإن الوعد الذي يقدمه NOMA يتوقف على عملية توازن دقيقة: وهي تحديد مقدار الطاقة التي يجب إعطاؤها لكل مستخدم بدقة. فإذا تم توزيع الطاقة بشكل سيء، فقد يفشل المستخدمون ذوو الاتصالات الضعيفة في تلقي بياناتهم، بينما تهدر الشبكة ككل سعتها. ويصبح هذا المشكل أكثر صعوبة في العالم الحقيقي، حيث لا تكون المعدات مثالية؛ إذ إن عملية تجريد الإشارات عرضة لأخطاء صغيرة، مما يترك وراءه بقايا باهتة من التداخل التي يمكن أن تضعف الاتصال. علاوة على ذلك، فإن البيئة اللاسلكية فوضوية؛ حيث ترتد الإشارات عن المباني وتتلاشى بشكل غير متوقع. وغالباً ما تعتمد الطرق التقليدية لإدارة هذه الطاقة على قواعد ثابتة أو حسابات مركزية معقدة تجد صعوبة في مواكبة هذه التغييرات السريعة، فهي تميل إلى تفضيل المستخدمين ذوي الاتصالات الأفضل، تاركةً أولئك الذين لديهم إشارات ضعيفة خلف الركب، أو تصبح بطيئة جداً في التكيف عندما تتغير الظروف.

ولمعالجة هذه التحديات، اقترح فريق من الباحثين في جامعة كمبالا الدولية ومؤسسات أخرى في نيجيريا طريقة جديدة لإدارة توزيع الطاقة هذه باستخدام شكل من أشكال الذكاء الاصطناعي. فبدلاً من الاعتماد على عقل مركزي واحد لاتخاذ القرارات للشبكة بأكملها، صمموا نظاماً يعمل فيه كل مستخدم كوكيل ذكي مستقل. هذا النهج، المعروف باسم "التعلم التعزيزي العميق متعدد الوكلاء"، يسمح لكل مستخدم بالتعلم من تجربته المحلية الخاصة. تخيل مجموعة من السائقين الذين، بدلاً من انتظار برج تحكم مروري لإخبارهم متى يتحركون، يتعلمون التنقل في تقاطع مزدحم من خلال مراقبة السيارات من حولهم وتعديل سرعتهم بناءً على ما هو الأفضل للمجموعة. في هذا النظام، يراقب كل مستخدم جودة إشارته الخاصة والتداخل الذي يواجهه، ثم يتخذ قراره الخاص بشأن مقدار الطاقة التي يطلبها. هؤلاء الوكلاء لا يعملون بشكل أناني؛ بل يتم تدريبهم بهدف مشترك يكافئ المجموعة بأكملها على كونها عادلة وفعالة.

اختبر الباحثون هذا النظام اللامركزي في بيئة محاكاة تحاكي الظروف غير المتوقعة لشبكة 5G حقيقية. وقارنوا طريقتهم الجديدة بعدة تقنيات راسخة، بما في ذلك القواعد الثابتة البسيطة، وتوزيع الطاقة المتساوي، وخوارزميات أكثر تقدماً مثل الخوارزميات الجينية وأنظمة التعلم المركزية. أُجريت عمليات المحاكاة آلاف المرات لضمان موثوقية النتائج. وكشفت النتائج أنه بينما يمكن للنظام المركزي تحقيق أعلى سرعة بيانات إجمالية في الظروف المثالية، إلا أن النهج الجديد متعدد الوكلاء قدم توازناً متفوقاً بين الأداء والموثوقية. وتحديداً، قلل الأسلوب الجديد بشكل كبير من عدد المرات التي يفشل فيها المستخدمون في الاتصال، وهو مقياس يُعرف باسم "احتمالية الانقطاع"، حيث حافظ عليه تحت نسبة عشرة بالمائة حتى عندما كانت قوة الإشارة منخفضة نسبياً. كما حافظ على مستوى عالٍ من العدالة، مما ضمن عدم ترك المستخدمين ذوي الاتصالات الضعيفة خلف الركب، محققاً درجة عدالة بلغت 0.96 عند مستويات قوة الإشارة العالية.

ولعل الأهم من ذلك، أن الدراسة أظهرت أن هذا النهج الجديد قوي ضد العيوب الموجودة في الأجهزة الواقعية. فعندما أدخل الباحثون أخطاءً في عملية إلغاء التداخل وقياس ظروف القناة، انخفض أداء النظام المركزي بشكل أكثر حدة من النظام اللامركزي. ولأن النظام متعدد الوكلاء يعتمد على الملاحظات المحلية بدلاً من الرؤية العالمية المثالية، فقد كان أقل تأثراً بهذه عدم الدقة. ومن حيث دقة البيانات، قلل الأسلوب الجديد من معدل الأخطاء إلى أقل من واحد في الألف عند مستويات قوة الإشارة العالية، متفوقاً على الطرق الأخرى المختبرة. وخلص الباحثون إلى أنه بينما للذكاء المركزي مكانته، فإن الشبكة التي يتعلم فيها المستخدمون التعاون والتكيف محلياً توفر حلاً أكثر قابلية للتوسع والمرونة للاتصالات اللاسلكية المستقبلية. ويشير هذا العمل إلى أن الجيل القادم من الشبكات قد لا يحتاج إلى متحكم واحد كلي المعرفة، بل إلى مجموعة من الوكلاء الأذكياء والمتعاونين الذين يمكنهم التنقل في فوضى العالم اللاسلكي معاً.