⚡ electrical engineering

DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

تقترح هذه الورقة خوارزمية قائمة على شبكة كيو العميقة (DQN) للتخطيط المشترك لمسار الطائرات بدون السائق (UAV) والارتباط ضمن بنية شبكة متكاملة بين الأقمار الصناعية ذات المدار الثابت بالنسبة للأرض والشبكات الأرضية، وذلك لتقليل استهلاك الطاقة، وتكرار عمليات التسليم، والانقطاع لتطبيقات التنقل الجوي المتقدم.

المؤلفون الأصليون: Afsoon Alidadi Shamsabadi, Cosmas Mwaba, Thomas Nugent, Jie Gao, Pablo Madoery, Halim Yanikomeroglu, Subhadeep Pal

نُشر 2026-03-24

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Afsoon Alidadi Shamsabadi, Cosmas Mwaba, Thomas Nugent, Jie Gao, Pablo Madoery, Halim Yanikomeroglu, Subhadeep Pal

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقود طائرة بدون طيار (UAV) عالية التقنية لتوصيل طرد عبر المدينة. تمتلك طائرتك بطارية محدودة، ومهمتها الأكثر أهمية هي البقاء متصلة بـ "برج التحكم" حتى تتمكن من توجيهها. إذا انقطع الاتصال، فقد تصطدم الطائرة أو تضل طريقها.

إليك المشكلة: الأرض مليئة بأبراج الاتصالات (مثل تلك الموجودة في هاتفك)، لكنها مصممة لتوجيه الإشارة إلى الأسفل نحو الناس في الشوارع. إذا حلقت الطائرة عالياً، ستضعف الإشارة. بالإضافة إلى ذلك، إذا حلقت فوق منتزه أو منطقة ريفية، فقد لا توجد أبراج على الإطلاق، مما يترك طائرتك في "منطقة ميتة".

تقترح هذه الورقة حلاً ذكياً: لا تعتمد على الأرض فحسب؛ بل انظر إلى السماء.

الفكرة الكبرى: إنترنت من طابقين

تخيل اتصال الإنترنت لطائرتك كبناء مكون من طابقين:

الطابق الأرضي (الشبكة الأرضية): تتكون من أبراج الاتصالات المحلية. هي سريعة وتتميز بتأخير منخفض (مثل عامل التوصيل المحلي)، ولكن بها "نقاط عمياء" حيث لا تصل الإشارة.
الطابق العلوي (قمر اصطناعي GEO): هو قمر اصطناعي ضخم يحلق عالياً فوق الأرض. يغطي المدينة بأكملها وحتى الريف. إنه مثل منارة لا تنطفئ أبداً. ومع ذلك، فإن التحدث إليه يستغرق وقتاً أطول قليلاً (تأخير أعلى) ويستهلك طاقة أكبر.

التحدي هو أن على طائرتك أن تقرر: "هل أتحدث مع برج الأرض السريع، أم مع القمر الاصطناعي الموثوق؟" وفي الوقت نفسه، تحتاج إلى تحديد: "أي مسار يجب أن أسلك لتوفير البطارية؟"

إذا قامت الطائرة بالتبديل ذهاباً وإياباً بشكل مفرط بين الأبراج، فستصاب بالارتباك (وهذا ما يسمى "التسليم" أو Handover)، مما يهدر الطاقة ويخاطر بانقطاع الاتصال.

"الطيار الذكي": عقل الـ DQN

قام المؤلفون بإنشاء "طيار ذكي" للطائرة باستخدام نوع من الذكاء الاصطناعي يسمى الشبكة العميقة لتعلم القيمة (Deep Q-Network - DQN).

تخيل تدريب شخصية في لعبة فيديو. في البداق، تطير الشخصية بشكل عشوائي، وتصطدم بالمناطق الميتة، وتنفد بطاريتها. ولكن في كل مرة ترتكب فيها خطأ، تحصل على "درجة سلبية". وكلما طارت بكفاءة وظلت متصلة، تحصل على "درجة إيجابية".

عبر آلاف الرحات التدريبية (المحاكاة)، تتعلم الآلة الاستراتيجية المثالية:

متى تطير في خط مستقيم: لتوفير البطارية.
متى تنتقل إلى القمر الاصطناعي: عندما تقترب من دخول منطقة ميتة أو عندما تكون إشارة الأرض ضعيفة جداً.
متى تلتزم بالأرض: عندما تكون الإشارة قوية وأن عملية التبديل ستستهلك طاقة.

الذكاء الاصطناعي لا يحفظ مساراً واحداً فحسب؛ بل يتعلم "سياسة" (مجموعة من القواعد) تساعده على التكيف مع أي موقف.

ما أظهرته التجارب

اختبر الباحثون هذا "الطيار الذكي" في مدينة محاكية بمساحة 3 كم × 3 كم. وإليكم ما وجدوه:

النهج الهجين هو الفائز: عندما تمكنت الطائرة من استخدام كل من أبراج الأرض والقمر الاصطناعي، سلكت مساراً أقصر وأكثر مباشرة. كان الأمر يشبه امتلاك نظام GPS يمكنه التبديل بين خريطة طريق محلية ورؤية من القمر الاصطناعي بناءً على حركة المرور.
مناطق ميتة أقل: في نظام يعتمد فقط على أبراج الأرض، اصطدمت الطائرة بـ "مناطق ميتة" (حيث فقدت الإشارة) خمس مرات. أما مع مساعدة القمر الاصطناعي، فقد واجهت منطقة ميتة واحدة فقط.
عملية التوازن: الذكاء الاصطناعي ذكي بما يكفي للاستماع إلى تعليماتك.
- إذا قلت له: "وفر البطارية!"، فسوف يسلك أقصر مسار ويستخدم القمر الاصطناعي لتجنب النقاط الضعيفة، حتى لو عنى ذلك التبديل بين الاتصالات أكثر قليلاً.
- إذا قلت له: "لا تغير الاتصالات!"، فسوف يلتزم بأبراج الأرض حتى لو اضطر لاتخاذ مسار أطول ومتعرج لتجنب الانتقال إلى القمر الاصطناعي.

الخلاصة

توضح هذه الورقة أنه من خلال الجمع بين أبراج الاتصالات الأرضية والأقمار الاصطناعية واستخدام الذكاء الاصطناعي لاتخاذ القرارات، يمكننا جعل توصيل الطائرات بدون طيار والرحلات الجوية أكثر أماناً وكفاءة.

ببساًطة: بدلاً من إجبار الطائرة بدون طيار على الاختيار بين اتصال أرضي سريع ولكن متقطع، واتصال سماوي بطيء ولكن موثوق، يعمل هذا الذكاء الاصطناعي كقائد أوركسترا حكيم، يدير رقصة سلسة بين الاثنين. وهذا يضمن ألا تفقد الطائرة طريقها أبداً، ولا تنفد طاقتها، وتصل إلى وجهتها بأمان.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التخطيط المشترك لمسار وتوصيل الطائرات بدون طيار (UAV) القائم على خوارزمية DQN في الشبكات المدعومة بالشبكات غير الأرضية (NTN)."

1. بيان المشكلة

تتناول الورقة التحديات المتعلقة بالحفاظ على اتصالات موثوقة، وفعالة من حيث استهلاك الطاقة، ومستمرة للطائرات بدون طيار (UAVs) في سيناريوهات التنقل الجوي المتقدم (AAM).

التحدي: غالبًا ما تفشل الشبكات الأرضية (المحطات القاعدة الكلية أو MBSs) في توفير تغطية شاملة للطائرات بدون طيار بسبب:
- إمالة الهوائيات لأسفل (المُحسّنة للمستخدمين الأرضيين)، مما يؤدي إلى ضعف قوة الإشارة للمستخدمين الجويين.
- فجوات التغطية في المناطق الريفية أو النائية حيث يكون نشر المحطات الأرضية (MBS) غير عملي.
- عمليات التسليم (handovers) المتكررة وتأثير "الارتداد" (ping-pong effect) عند التنقل بين الخلايا.
الهدف: تصميم خوارزمية للتخطيط المشترك لمسار وتوصيل الطائرات بدون طيار (JUTAP). الهدف هو تحسين مسار طيران الطائرة وتوصيلها بالشبكة (التبديل بين المحطات الأرضية MBSs والقمر الصناعي المداري الثابت بالنسبة للأرض GEO) لتحقيق ثلاثة أهداف في آن واحد:
1. استهلاك الطاقة: نظرًا لمحدودية البطارية على متن الطائرة.
2. تكرار عملية التسليم (Handover): لمنع تدهور الرابط وزيادة عبء الإشارات.
3. الانقطاع (Disconnectivity): لتجنب فجوات التغطية حيث تنخفض جودة الإشارة عن حد معين.

2. نموذج النظام

يقترح المؤلفون بنية شبكية متكاملة تتكون من:

الطبقة الأرضية: عدد $N_B$ من المحطات القاعدة الكلية (MBSs) ثلاثية القطاعات الموزعة على مساحة 3 كم $\times$ 3 كم. تعمل هذه المحطات في نطاق ترددي محدد وتسبب تداخلاً في القنوات المشتركة.
الطبقة غير الأرضية: قمر صناعي واحد (GEO) عالي الإنتاجية يوفر تغطية واسعة النطاق عبر حزم ثابتة. يعمل في نطاق ترددي متميز، مما يلغي التداخل بين الطبقات.
ديناميكيات الطائرة بدون طيار (UAV): تطير الطائرة في فضاء ديكارتي ثلاثي الأبعاد عند ارتفاع ثابت ( $h_{UAV} < 300$ متر). يتم تقسيم البيئة إلى شبكة ( $N_G \times N_G$ ). تتحرك الطائرة بين مراكز الشبكة، وتختار واحدًا من 8 اتجاهات للحركة.
نماذج القنوات:
- MBS-UAV: يتم نمذجتها باستخدام خط رؤية (LoS) احتمالي، وهوائيات مائلة للأسفل، وفقدان المسار بناءً على معايير 3GPP.
- GEO-UAV: يتم نمذجتها بخط رؤية (LoS) مضمون تقريبًا، بما في ذلك فقدان المسار في الفضاء الحر، وفقدان الغلاف الجوي، والوميض (scintillation).
صياغة التحسين: تتم صياغة المشكلة كمسألة تحسين مختلطة غير محدبة (mixed-integer non-convex optimization). تعمل دالة الهدف على تقليل مجموع مرجح لتكلفة الطاقة، وتكلفة التسليم، وعقوبات الانقطاع، مع مراعاة قيد إجمالي طاقة الطائرة.

3. المنهجية: خوارزمية تعتمد على DQN

بسبب "لعنة الأبعاد" في مساحات الحالة الكبيرة (عدد كبير من الشبكات $\times$ عدد كبير من الـ MBSs)، فإن خوارزمية Q-learning التقليدية غير فعالة. لذا يقترح المؤلفون نهج الشبكة العميقة لتعلم قيمة الفعل (Deep Q-Network - DQN).

مساحة الحالة ( $s_t$ ): يتم ترميزها كـ $[x_t, y_t, \hat{c}_t]$ ، والتي تمثل إحداثيات الطائرة المعيارية ومؤشر التوصيل الثنائي ( $\hat{c}_t = 0$ للشبكة الأرضية، و $1$ للقمر الصناعي GEO).
مساحة الفعل ( $a_t$ ): تُعرف بـ $(m_t, \hat{c}_{t+1})$ $(m_{t}, \overset{c}{^}_{t + 1})$ ، حيث $m_t$ $m_{t}$ هو اتجاه الحركة (8 خيارات) و $\hat{c}_{t+1}$ $\overset{c}{^}_{t + 1}$ هو وضع التوصيل المستهدف للخطوة التالية. إجمالي حجم مساحة الفعل = $8 \times 2 = 16$ $8 \times 2 = 16$ .
- التبسيط: بدلاً من اختيار فهرس محدد لكل MBS (مما سيؤدي إلى انفجار في مساحة الفعل)، إذا كانت $\hat{c}_t=0$ ، فإن الطائرة ترتبط تلقائيًا بـ MBS الذي يقدم أعلى نسبة إشارة إلى ضجيج (SINR) في ذلك الموقع.
دالة المكافأة ( $r_t$ ): صُممت لمعاقبة الأهداف الثلاثة:
- الطاقة: تُعاقب بناءً على المسافة المقطوعة والاتجاه (الحركات القطرية تكلف أكثر).
  يدخل في الحسبان عقوبة عالية عند الانتقال من MBS إلى GEO (بسبب زمن الوصول والتكلفة)، وعقوبة متوسطة عند الانتقال من MBS إلى آخر، مع مكافآت للبقاء متصلاً.
- الانقطاع: عقوبة إذا كانت الشبكة التالية تمثل فجوة في التغطية.
آلية التعلم: يستخدم الوكيل استراتيجية $\epsilon$ -greedy، وإعادة تشغيل الخبرة (experience replay)، وشبكة مستهدفة مع تحديثات ناعمة لتعلم السياسة المثلى $\pi(s, a)$ التي تزيد من المكافأة التراكمية.

4. المساهمات الرئيسية

البنية المتكاملة: تقترح دمجًا سلسًا للأقمار الصناعية (GEO) والمحطات الأرضية (MBSs) مصمم خصيصًا لاتصال الطائرات بدون طيار، مما يعالج قيود الشبكات الأرضية فقط.
التحسين المشترك: تصيغ مشكلة JUTAP لتحسين المسار وتوصيل الشبكة بشكل مشترك، بدلاً من معاملتهما كمشكلتين فرعيتين منفصلتين.
تكييف DQN: تطور خوارزمية DQN متخصصة تقلل من تعقيد مساحة الفعل باستخدام وضع توصيل ثنائي، مما يجعلها قابلة للتنفيذ حسابيًا في بيئات الشبكات واسعة النطاق.
تصميم شامل للمكافأة: تنشئ دالة مكافأة توازن صراحة بين كفاءة الطاقة، وتقليل عمليات التسليم، وموثوقية الاتصال من خلال عوامل وزن قابلة للضبط.

5. نتائج المحاكاة

تم اختبار الخوارزمية في بيئة 3 كم $\times$ 3 كم مع 10 محطات MBS وقمر صناعي واحد GEO.

التقارب: استقرت خوارزمية DQN بعد حوالي 400 حلقة تدريب، مما أظهر قدرتها على تعلم ديناميكيات الشبكة الأساسية.
المتكامل مقابل المنفرد:
- المتكامل (GEO + الأرضي): سلكت الطائرة مسارًا أقصر (4,072.94 متر) مع فجوة تغطية واحدة فقط. عمل القمر الصناعي كـ "جسر" فوق فجوات التغطية وسمح بمسار أكثر مباشرة.
- الأرضي المنفرد: سلكت الطائرة مسارًا أطول ومتعرجًا (4,354.1 متر) لتجنب الفجوات، مما أدى إلى 5 فجوات تغطية واستهلاك طاقة أعلى.
حساسية الوزن:
- إعطاء الأولوية للتسليم ( $w_2=0.6$ ): تجنبت الطائرة القمر الصناعي (بسبب عقوبات تكلفة التسليم العالية) وبقيت على الروابط الأرضية، مما أدى إلى مسار أطول ولكن عمليات تسليم أقل.
- إعطاء الأولوية للطاقة ( $w_1=0.6$ ): سلكت الطائرة أقصر مسار، واستخدمت القمر الصناعي لتجاوز الفجوات، وقبلت بعدد أكبر قليلاً من عمليات التسليم لتقليل المسافة الإجمالية والطاقة.

6. الأهمية

يُظهر هذا العمل أن صنع القرار المدفوع بالذكاء الاصطناعي أمر بالغ الأهمية لمستقبل التنقل الجوي المتقدم (AAM). من خلال الاستفادة من التعلم التعزيزي العميق، يمكن للطائرات بدون طيار التكيف ديناميكيًا مع البيئات الشبكية الهجينة والمعقدة. تثبت الدراسة أن دمج الشبكات غير الأرضية (NTN) مع البنية التحتية الأرضية يعزز بشكل كبير:

الموثوقية: القضاء على فجوات التغطية.
الكفاءة: تقليل استهلاك الطاقة من خلال المسارات المحسنة.
القابلية للتوسع: توفير إطار عمل يمكنه التعامل مع مساحات الحالة عالية الأبعاد المطلوبة لعمليات الطائرات بدون طيار في العالم الحقيقي.

يوفر الإطار المقترح حلاً قابلاً للتطبيق لضمان اتصال مستمر وعالي الجودة للطائرات بدون طيار في كل من البيئات الحضرية والنائية، وهو شرط أساسي للقبول الواسع لأنظمة النقل الجوي من الجيل التالي.