Digital-Twin Empowered Deep Reinforcement Learning For Site-Specific Radio Resource Management in NextG Wireless Aerial Corridor

ملخص تقني: التعلم المعزز العميق المدعوم بالتوأم الرقمي لإدارة الموارد اللاسلكية الخاصة بالموقع في الممرات الجوية لشبكات الجيل القادم (NextG)

بيان المشكلة
تتناول الورقة تحدي إدارة الموارد اللاسلكية (RRM) المعقد المتمثل في التحسين المشترك لارتباط المحطة الأساسية (BS) واختيار الشعاع لعدة طائرات بدون طيار (UAVs) تعمل في ممر جوي خاص بموقع محدد (SS). وتتميز هذه المشكلة بما يلي:

• فضاءات عمل عالية الأبعاد: الطبيعة التوافقية لتخصيص $M$ من الطائرات بدون طيار لـ $L$ من المحطات الأساسية و$N$ من الأشعة تخلق مشكلة تحسين صعبة (NP-hard).
• البيئات الديناميكية: التغير السريع في قنوات الانتشار وحركية الطائرات بدون طيار يجعل التكيف في الوقت الفعلي أمراً صعباً.
• العبء الإضافي لمعلومات حالة القناة (CSI): تتطلب الطرق المثلى التقليدية معلومات حالة قناة عالمية (Global CSI)، مما يؤدي إلى عبء إشارات ومتطلبات مزامنة باهظة في السيناريوهات الكثيفة والمتحركة.
• ندرة بيانات التدريب: في حين يوفر التعلم المعزز العميق (DRL) مساراً لتقليل التعقيد الحسابي، فإن تدريب نماذج قوية يتطلب عادةً مجموعات بيانات واسعة خاصة بالموقع، والتي يصعب الحصول عليها من الشبكات الحية دون تعطيل العمليات.

المنهجية
يقترح المؤلفون إطار عمل مكون من مرحلتين مدعوم بالتوأم الرقمي (DT)، يربط بين النمذجة القائمة على الفيزياء والتعلم المعزز العميق.

1. بناء التوأم الرقمي وتوأم القناة (CT):

   • تم بناء بيئة توأم رقمي عالية الدقة باستخدام حرم جامعة هوارد كمنصة اختبار، باستخدام بيانات OpenStreetMap، وبرنامج Blender للنمذجة ثلاثية الأبعاد، وNVIDIA Sionna لتتبع الأشعة المتسارع بواسطة وحدة معالجة الرسومات.
   • يلتقط توأم القناة (CT) خصائص الانتشار الخاصة بالموقع (تعدد المسارات، الحيود، الانعكاس) من خلال دمج السياقات الجيومكانية، ومواقع المحطات الأساسية، ومواقع الطائرات بدون طيار.
   • المرحلة 1 (تحسين كسب الشعاع): يتم استخدام خوارزمية "التلدين المزدوج" (Dual Annealing) خارجياً (offline) لحساب زوايا المسح الأفقي المثلى ($\phi_{scan}$) لكل مجموعة (محطة أساسية-طائرة بدون طيار-شعاع). وهذا يعمل على تعظيم كسب الهوائي المتوافق مع معايير 3GPP ($G_{5G}$) تجاه الموقع الفيزيائي للطائرة بدون طيار، مما ينشئ فعلياً مكتبة من مكاسب الأشعة المُحسنة.

2. التعلم المعزز ببروتوكول السياسة القريبة متعدد الرؤوس (MH-PPO):

   • المرحلة 2 (تعلم الارتباط): يتم تدريب وكيل (Agent) من نوع MH-PPO على مجموعة البيانات التي تم إنشاؤها خارجياً بواسطة توأم القناة (CT).
   • البنية: يستخدم الوكيل عموداً فقرياً مشتركاً لاستخراج الميزات (يعالج مكاسب القناة المسطحة وزوايا الوصول) يغذي $M$ من رؤوس الفاعل اللامركزية (رأس واحد لكل طائرة بدون طيار) وشبكة ناقد مركزية. يسمح هذا التصميم للشبكة بالتوسع مع كثافة الطائرات بدون طيار دون تغيير في البنية.
   • التعامل مع القيود: بدلاً من القيود الصارمة، يفرض الإطار آلية مكافأة قائمة على العقوبات لضمان توازن الحمل وحصرية الشعاع. إذا اختارت طائرات متعددة نفس المحطة الأساسية، فإن البيئة تقبل أقوى $N$ من الروابط وتفرض عقوبة على الزيادة، مما يسمح للوكيل بتعلم الارتباطات المتوازنة في الحمل بشكل ضمني.
   • فضاء الحالة: تتضمن الحالة المدخلة كسب القناة، وزوايا السمت، وزوايا الارتفاع للوصال المستمدة من توأم القناة (CT).
   • فضاء العمل: يخرج الوكيل توزيعاً فئوياً عبر أزواج (المحطة الأساسية-الشعاع) لكل طائرة بدون طيار.

المساهمات الرئيسية

1. منهجية التدريب المدفوعة بالتوأم الرقمي: صاغت الورقة منهجية لإنشاء مجموعة بيانات متسقة فيزيائياً باستخدام توأم قناة (CT) عالي الدقة يلتزم بمواصفات 3GPP TR 37.840 وECC Report 281. تدعم هذه المجموعة تدريب وكيل PPO، مما يتيح تعلم سياسة قوية عبر ظروف قنوات متنوعة دون الحاجة لاستكشاف الشبكة الحية.
2. إطار عمل MH-PPO القابل للتوسع: صاغ المؤلفون ارتباط (الطائرة بدون طيار-المحطة الأساسية-الشعاع) كمهمة تعلم سياسة باستخدام بنية "الممثل-الناقد" (Actor-Critic) متعددة الرؤوس المتخصصة. يربط هذا النهج ميزات CSI عالية الأبعاد مباشرة بقرارات تخصيص الموارد، مما يلغي الحاجة إلى التحسين التكراري أثناء النشر عبر الإنترنت.
3. توازن الحمل الضمني: آلية مكافأة مبتكرة تعاقب انتهاكات السعة، مما يسمح للوكيل بتعلم العدالة وتوازن الحمل من خلال السلوك بدلاً من الترميز الصريح للقيود في شبكة السياسة.
4. الأداء وزمن الاستجابة: أظهر الإطار تحسينات كبيرة في معدل نقل البيانات مقارنة بالنماذج المرجعية، مع تحقيق زمن استجابة للاستدلال في نطاق الميلي ثانية، وهو ما يناسب عمليات الجيل السادس (6G) في الوقت الفعلي.

النتائج
أُجريت محاكاة واسعة النطاق في بيئة افتراضية ثلاثية الأبعاد مع بارامترات هوائي متوافقة مع معايير 3GPP، لمقارنة MH-PPO المقترح مع كل من Vanilla DQN، وخوارزمية هانغاريان ذات المرحلتين (Two-Stage Hungarian)، وعدة طرق استدلالية (Max-Gain، Closest-BS، Random).

• مكاسب معدل النقل (Throughput): في السيناريوهات الكثيفة ($M=30$ طائرة بدون طيار)، حقق وكيل MH-PPO تحسناً بنسبة 44%–121% عن DQN وتحسناً بنسبة 249%–807% عن المخططات الاستدلالية التقليدية. على سبيل المثال، عند ارتفاع 60 متراً مع 20 طائرة بدون طيار، حقق MH-PPO سرعة 12.59 ميجابت في الثانية، بزيادة قدرها 43.8% عن DQN و720.6% عن مخطط Closest-BS.
• المتانة والتعميم: أظهر وكيل MH-PPO استقراراً فائقاً في البيئات عالية الأبعاد والمحدودة بالتداخل. وبينما عانى DQN من عدم تطابق التوزيع وتدهور السياسة (كما ظهر في الذيل الطويل لجهة اليسار في توزيع معدل النقل)، حافظ MH-P_PO على أداء ثابت. كما كان معدل النقل في المئوية الخامسة (أسوأ أداء للمستخدم) لـ MH-PPO أعلى بكثير من DQN، مما يشير إلى عدالة أفضل.
• زمن استجابة الاستدلال: حقق الإطار المقترح متوسط زمن استجلال للاستدلال قدره 2.43 مللي ثانية، وهو ما يمثل حوالي 2.4% من الحد الأدنى لزمن تماسك القناة للطائرات بدون طيار التي تتحرك بسرعة 20-50 كم/ساعة. وهذا أسرع بعدة مراتب من الوقت المطلوب للتحسين التكراري، ويقع تماماً ضمن متطلبات زمن الاستجابة البالغة 40 مللي ثانية لحزم التحكم والسيطرة (C2).
• القابلية للتوسع: نما زمن استجلال الاستدلال بشكل دون خطي (sub-linearly) مع عدد الطائرات بدون طيار، مما يؤكد جدوى النهج في عمليات النشر فائقة الكثافة.

الأهمية
تدعي الورقة أن هذا العمل يضع مساراً قابلاً للتطبيق للإدارة الفورية للموارد في شبكات الممرات الجوية من الجيل القادم. ومن خلال الاستفادة من التوائم الرقمية لإنشاء بيانات تدريب عالية الدقة، يتغلب المؤلفون على التحديات المزدوجة المتمثلة في عدم القدرة الحسابية للتحسين التوافقي وصعوبة الحصول على معلومات CSI عالمية في الوقت الفعلي. وتثبت النتائج أن خطوط أنابيب التدريب المدفوعة بالتوأم الرقمي يمكن أن تقدم سياسات إدارة موارد عالية الأداء ومنخفضة زمن الاستجافة ومخصصة لنشر المواقع المحددة، مما يسد الفجوة بفعالية بين التحسين النظري والتنفيذ العملي للجيل السادس (6G). وتوسع هذه الورقة المساهمات السابقة من خلال مراعاة التداخل بين الخلايا صراحة في تصميم المكافأة وتقديم معيار شامل لاتصالات الممرات الجوية للطائرات بدون طيار.