🤖 AI

Deep Reinforcement Learning based Autonomous Decision-Making for Cooperative UAVs: A Search and Rescue Real World Application

تقدم هذه الورقة إطار عمل متكاملًا هو الأول من نوعه للطائرات بدون طيار ذاتية القيادة والمتعاونة في مهام البحث والإنقاذ داخل الأماق المغلقة والمحرومة من نظام تحديد المواقع العالمي (GNSS)، حيث تدمج بين التوجيه القائم على التعلم التعزيزي العميق المعزز بـ "حقل الجهد الاصطناعي" (APF)، وتخصيص المهام القائم على "شبكة الانتباه الرسومية" (GAT)، ومرشحًا خفيف الوزن لتثبيت الارتفاع لتحقيق استقرار بمستوى السنتيمترات، مما أدى إلى الفوز بالمركز الأول في مسابقة NATO-Sapience لعام 2024.

المؤلفون الأصليون: Thomas Hickling, Maxwell Hogan, Abdulla Tammam, Nabil Aouf

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thomas Hickling, Maxwell Hogan, Abdulla Tammam, Nabil Aouf

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على طفل مفقود في متاهة ضخمة، مظلمة تمامًا، ومتعددة الطوابق، مليئة بالأثاث، والممرات الضيقة، والطرق المسدودة. لا يمكنك استخدام نظام تحديد المواقع العالمي (GPS) لأن الجدران تحجب إشارات الأقمار الصناعية. لديك روبوتان طائران صغيران (طائرات بدون طيار - درونز) لمساعدتك، لكنهما "عميان" بدون مساعدتك.

هذه الورقة البحثية هي قصة كيف علّم فريق من الباحثين هذين الروبوبتين العمل معًا كفريق إنقاذ فائق الذكاء، وفازا في مسابقة دولية كبرى لإثبات نجاح ذلك في العالم الحقيقي.

إليك تفصيل "خدعتهم السحرية"، مشروحة ببساة:

1. المشكلة: المتاهة "العمياء"

عادةً ما تطير الطائرات بدون طيار باستخدام الـ GPS (مثل ملاحة السيارة). ولكن داخل المباني، لا يعمل الـ GPS. يجب على الطائرات أن تكتشف مكانها بمجرد النظر إلى الجدران باستخدام الكاميرات والليزر.

التحدي: الأمر يشبه محاولة المشي في غرفة مظلمة وأنت ترتدي عصابة على عينيك، ولكن عليك أن تتذكر أين كنت وتتجنب الاصطدام بالكراسي.
المشكلة المحددة: كانت أجهزة الليزر (LIDAR) رائعة في رؤية اليمين واليسار، لكنها كانت ترتبك دائمًا بشأن "الأعلى" و"الأسفل". كانت الطائرات تعتقد أنها تطير على نفس الارتفاع، بينما كانت في الواقع ترتفع أو تنخفض ببطء مثل بالون يفقد الهواء.

2. الحل: ثلاث قدرات خارقة

منح الفريق طائراتهم ثلاث "قدرات خارقة" محددة لحل هذه المشكلات.

القدرة الخارقة (أ): "الدليل الشبح" (مجالات الجهد الاصطناعي - APF)

تخيل أنك تسير نحو هدف ما، ولكن هناك جدران من حولك.

الطريقة القديمة: تحاول فقط السير في خط مستقيم نحو الهدف. إذا اقتربت كثيرًا من جدار، تصاب بالذعر وتتوقف. هذا يجعل الحركة متقطعة وغير آمنة.
الطريقة الجديدة (APF): منح الباحثون الطائرة "دليلاً شبحًا". تخيل قوى غير مرئية:
- مغناطيس يجذب الطائرة نحو الهدف.
- بالونات تنافر تدفع الطائرة بعيدًا عن الجدران.
كيف ساعد ذلك: لم تتعلم الطائرة بمجرد التجربة والخطأ (الذي يستغرق وقتًا طويلاً). بدلاً من ذلك، أظهر "الدليل الشبح" للطائرة المسار المثالي والسلس. تعلم "عقل" الطائرة (الذكاء الاصطناعي) تقليد هذا المسار السلس. وهذا يعني أن الطائرة طارت بسلاسة، وليس كحشرة مضطربة.

القدرة الخارقة (ب): "المدير الذكي" (شبكة الانتباه الرسومي - GAT)

لديك طائرتان ومبنى مليء بالغرف للبحث فيه. من يذهب إلى أين؟

الطريقة القديمة: قد تخبر الطائرة (أ) بالذهاب يسارًا والطائرة (ب) بالذهذا يمينًا، أو تتركهم يخمنون. هذا غالبًا ما يؤدي إلى ذهابهما معًا إلى نفس الغرفة (إضاعة للوقت) أو تفويت غرفة بالكامل.
الطريقة الجديدة (GAT): بنى الفريق "مديرًا ذكيًا" يجلس على جهاز كمبيوتر محمول. ينظر إلى المبنى بأكمله كخريطة من النقاط المتصلة (رسم بياني/Graph).
- يرى: "الطائرة (أ) قريبة من الغرفة 1، لكن الطائرة (ب) أقرب إلى الغرفة 2".
- يستخدم الانتباه (مثل تسليط الضوء) للتركيز على المهام الأكثر أهمية.
- يقوم فورًا بتعيين أفضل وظيفة لأفضل طائرة. إنه مثل مراقب حركة المرور في المطار، يضمن عدم اصطدام طائرتين ببعضهما البعض وأن الجميع يصل إلى بوابته بكفاءة.

القدرة الخارقة (ج): "مرساة الارتفاع" (إصلاح الانجراف)

تذكر المشكلة حيث كانت الطائرات تنحرف للأعلى أو للأسفل؟

الإصلاح: أدرك الفريق أن مستشعر الليزر في الطائرة كان سيئًا في قياس الارتفاع في الممرات الطويلة والفارغة. لذا، أضافوا كاميرا ثانية (كاميرا عمق) تنظر مباشرة للأسفل.
التشبيه: فكر في جهاز "الجيروسكوب" الداخلي للطائرة (IMU) كشخص يحاول عد خطواته ليعرف مدى ارتفاعه. يصابون بالتعب ويفقدون العد. كاميرا العمق هي مثل صديق يصرخ: "مهلًا، أنت بالفعل عند الخطوة الخامسة!".
قاموا بدمج "عداد الخطوات" مع "صراخ الصديق" باستخدام مرشح رياضي بسيط. حافظ هذا على بقاء الطائرة عند الارتفاع الصحيح بالضبط، سنتيمترًا بسنتيمتر، حتى بدون GPS.

3. الاختبار في العالم الحقيقي: المسابقة

لم يختبر الفريق هذا في لعبة فيديو فحسب. بل بنوا منطقة كارثة حقيقية، فوضوية، ومتعددة الطوابق (نموذج لمحاكاة مبنى منهار) ودخلوا مسابقة NATO Sapience.

المهمة:
1. رسم خريطة للمبنى: الطيران حول المبنى وإنشاء صورة ثلاثية الأبعاد للمتاهة.
2. توصيل الإمدادات: العثور على نقاط محددة وإسقاط "مساعدات طبية" (طرود محاكية).
  3 العمل معًا: في بعض الأحيان، كان على طائرتين الهبوط في نفس الوقت لتسليم حمولة ثقيلة.
النتيجة: فاز نظامهم بالمركز الأول.
- رسموا خريطة للمبنى أسرع بنسبة 53% مما لو كانت طائرة واحدة فقط.
- تنقلوا عبر الزوايا الضيقة ومستويات الأرضيات المختلفة دون الاصطدام.
- أثبتوا أن الذكاء الاصطناعي الذي تم تدريبه في لعبة كمبيوتر يمكنه حقًا قيادة طائرة حقيقية وثقيلة في بيئة خطرة وحقيقية.

الخلاصة الكبرى

هذه الورقة البحثية مهمة لأنها تجسر الفجوة بين "محاكاة الكمبيوتر الرائعة" و"الحياة الواقعية".

قبل هذا، ظل معظم أبحاث الطائرات بدون طيار المعتمدة على الذكاء الاصطناعي داخل أجهزة الكمبيوتر. أثبت هذا الفريق أنه إذا علمت الذكاء الاصطناعي باستخدام "الدليل الشبح" الصحيح (APF)، ومنحته "مديرًا ذكيًا" (GAT) للتنسيق، وأصلحت إحساسه بالارتفاع، يمكنك الحصول على فريق من الروبوتات يمكنه إنقاذ الأرواح في منطقة كارثة حقيقية، حتى عندما يكون الـ GPS معطلاً.

باخت-القول: لقد علموا طائرتين بدون طيار كيف تكونان فريق إنقاذ منسقًا، مدركًا للارتفاع، ومتجنبًا للعقبات، ويعمل فعليًا في العالم الحقيقي، وليس فقط في لعبة فيديو.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعلم التعزيزي العميق لاتخاذ القرار المستقل للطائرات بدون طيار التعاونية: تطبيق واقعي في البحث والإنقاذ."

1. بيان المشكلة

تتناول الورقة البحثية التحدي الحرج المتمثل في نشر الطائرات بدون طيار (UAVs) ذاتية القيادة لعمليات البحث والإنقاذ (SAR) في البيئات الداخلية التي تفتقر إلى نظام تحديد المواقع العالمي (GNSS-denied). وتفرض هذه البيئات صعوبات فريدة:

الملاحة: يتطلب غياب نظام الـ GPS نظام قياس مسافات (odometry) قوي، لكن تقنية LIDAR-SLAM القياسية تعاني من "انزياح المحور Z" (أخطاء الارتفاع الرأسي) في الممرات الخالية من المعالم.
التحكم: غالبًا ما تفشل مساحات العمل المنفصلة التقليدية أو المكافآت البسيطة القائمة على المسافة في إنتاج مسارات سلسة وآمنة في المساحات الداخلية المزدحمة ومتعددة المستويات.
التعاون: يعد تخصيص المهام بكفاءة بين عدة وكلاء في الوقت الفعلي دون تدخل بشري مركزي أمرًا معقدًا، خاصة عندما يتعين على الوكلاء تجنب الاصطدامات وتغطية مساحات واسعة.
الفجوة بين المحاكاة والواقع (Sim-to-Real Gap): تظل معظم حلول التعلم التعزيزي العميق (DRL) للطائرات بدون طيار محصورة في المحاكاة، وتفشل في الانتقال إلى الفيزياء الواقعية، وضجيج المستشعرات، وقيود الزخم.

2. المنهجية

طوّر المؤلفون إطار عمل متكاملًا (end-to-end) يتكون من ثلاث وحدات أساسية تم نشرها على طائرتين من فئة "كوادروتور" (quad-rotors) بحجم 1 متر، مجهزتين بـ LIDAR، وكاميرات RGB-D، ومعالجات NVIDIA Jetson Orin Nano.

أ. التوجيه الذاتي (DRL مع تشكيل APF)

الخوارزمية: يستخدم النظام خوارزمية Twin Delayed Deep Deterministic Policy Gradient (TD3) للتحكم المستمر (أوامر مستوى السرعة: $v_x, v_z, \omega$ ).
تشكيل المكافأة (ابتكار رئيسي): بدلاً من المكافأة المتفرقة القائمة فقط على المسافة إلى الهدف، قدم المؤلفون مكافأة مرجعية بمجال الجهد الاصطناعي (APF).
- يقوم الـ APF بحساب إجراء مرجعي "أمثل" ( $a^*_t$ ) بناءً على قوى الجذب (نحو الهدف) وقوى التنافر (بعيدًا عن العوائق).
- يتم مكافأة وكيل الـ DRL على محاذاة الإجراء المنفذ ( $a_t$ ) مع هذا المرجع ( $r \propto 1 - ||a_t - a^*_t||^2$ ).
- يوفر هذا تغذية راجعة كثيفة وذات معنى فيزيائي، مما يسرع التقارب ويضمن مسارات سلسة وخالية من الاصطدام.
البنية الهيكلية: تقوم شبكة عصبية متعددة الفروع بدمج صور العمق (8 طبقات تلافيفية)، ومسوحات LIDAR أحادية البعد (5 طبقات تلافيفية)، ومتجهات الحالة الموضعية لإخراج أوامر سرعة مستمرة.

ب. تخصيص المهام المركزي (شبكات الانتباه الرسومية - GAT)

النهج: يتم نمذجة تخصيص المهام كعملية قرار مركزية باستخدام شبكة الانتباه الرسومية (Graph Attention Network - GAT).
الآلية: يبني النظام رسمًا بيانيًا (graph) تمثل فيه العقد الطائرات بدون طيار والمهام (نقاط الطريق). وتعمل سمات الحواف على ترميز أقصر مسار خالٍ من الاصطدام.
الوظيفة: تتعلم خوارزمية (GAT-actor-critic) تخصيص المهام من خلال الاستنتاج عبر بنية الرسم البياني، مع إعطاء الأولوية ديناميكيًا للمهام بناءً على قرب الوكيل وحالته، مما ينتج مصفوفة تخصيص في تمريرة أمامية واحدة.

ج. التوطين القوي (كبح انزياح الارتفاع)

المشكلة: تتراكم تقنية LIDAR-SLAM التقليدية انزياحًا رأسيًا في الممرات الضيقة بسبب نقص المعالم الرأسية.
الحل: يقوم مرشح تكميلي (complementary filter) خفيف الوزن بدمج:
1. السرعة الرأسية لـ IMU: توفر استقرارًا قصير المدى.
2. قياس الارتفاع بكاميرا العمق: حساب الوسيط لعمق خمس مناطق من صورة Intel RealSense D455f لتوفير مراجع ارتفاع مطلقة بالنسبة للأرضية.
النتيجة: يصحح هذا الدمج انزياح المحور Z لتحقيق استقرار في الارتفاع بمستوى السنتيمتر دون الحاجة إلى منارات خارجية.

3. المساهمات الرئيسية

النشر الواقعي المتكامل (End-to-End): على عكس الأعمال السابقة المقتصرة على المحاكاة أو المختبرات صغيرة النطاق، يعد هذا أول عرض لسياسة DRL تعاونية لطائرات بدون طيار متعددة في عمليات بحث وإنقاذ داخل نموذج محاكاة لكارثة متعدد المستويات ومعقدة.
محاذاة الإجراء المرجعية بـ APF: تقنية مبتكرة لتشكيل المكافأة تمزج بين توجيه APF والتحكم المستمر بـ DRL. وقد تفوقت على المعايير التقليدية القائمة على المسافة إلى الهدف، مما مكن من التدريب المستقر والنشر حيث فشلت غيرها.
التخصيص التعاوني المدفوع بـ GAT: مخصص مهام مركزي يستخدم شبكات الانتباه الرسومية للاستنتاج عبر رسوم بيانية (طائرة-مهمة)، مما ينتج تخصيصات شبه مثالية مع استهلاك ضئيل للحوسبة المحلية.
تخفيف انزياح المحور Z: طريقة دمج مستشعرات عملية (كاميرا العمق + IMU) تحل مشكلة الانزياح الرأسي الشهيرة في LIDAR-SLAM الداخلي، مما يتيح ملاحة موثوقة متعددة المستويات.

4. النتائج والأداء

تم اختبار النظام في مسابقة NATO SAPIENCE للدرونز التعاونية المستقلة (2024)، حيث حصل الفريق على المركز الأول.

التحقق من المحاكاة: حقق نموذج المكافأة المعتمد على APF عدد 304/304 أهداف في مرحلة التحقق، بينما فشلت المكافآت القياسية القائمة على المسافة إلى الهدف في إنتاج متحكم قابل للنشر تحت نفس القيود.
الخرائط الواقعية:
- أكملت طائرتان بدون طيار مهمة رسم خرائط ثلاثية الأبعاد لمبنى معقد في 134 ثانية.
- استغرقت طائرة واحدة 287 ثانية لنفس المهمة، مما يظهر تقليلاً بنسبة 53.3% في الوقت بفضل التعاون.
- نجح النظام في توليد سحب نقاط (point clouds) ثلاثية الأبعاد متماسكة رغم غياب نظام الـ GNSS.
مهمة التسليم: نجحت الطائرات بدون طيار في إتمام 8 عمليات تسليم، بما في ذلك الهبوط المتزامن على مستويات ارتفاع مختلفة (أرضية بارتفاع 0.2 م ومنصة بارتفاع 1.2 م)، مما أظهر تحكمًا دقيقًا في الارتفاع وتنسيقًا عاليًا.
تخطيط بديل: في تخطيط آخر، قلل مخصص المهام (GAT-DRL) إجمالي مسافة السفر بنسبة 19.4% وزمن التنفيذ (makespan) بنسبة 19.8% مقارنة بالطرق الكلاسيكية (Greedy و Auction-based).
التوطين: نجح دمج العمق و IMU في الحفاظ على تقديرات دقيقة للارتفاع، مما صحح انزياح LIDAR-SLAM الذي كان سيفشل لولا ذلك في تتبع تغيرات الارتفاع.

5. الأهمية والأثر

سد الفجوة بين المحاكاة والواقع: تثبت الورقة أن سياسات DRL، عندما يتم تشكيلها بشكل صحيح بالمعرفة المجالية (APF) والتحقق منها مقابل الفيزياء الواقعية (الزخم، ضجيج المستشعرات)، يمكن أن تنتقل من المحاكاة إلى العمليات الكاملة ذات الأهمية الحرجة للسلامة.
الجدوى التشغيلية: يثبت النظام أن الطائرات بدون طمار التعاونية ذاتية القيادة يمكنها تنفيذ مهام بحث وإنقاذ معقدة (رسم خرائط، كشف، تسليم) في بيئات تفتقر إلى GNSS دون تدخل بشري، مما يقلل بشكل كبير من المخاطر على المستجيبين البشريين.
القابلية للتوسع: يوفر إطار العمل مخططًا مستقبليًا للأنظمة متعددة الوكلاء، حيث يوضح كيف يمكن للتخصيص المركزي القائم على الرسوم البيانية والتحكم المستمر اللامركزي أن يتعايشا بفعالية في بيئات مزدحمة وديناميكية.
خارطة الطريق المستقبلية: يضع هذا العمل حجر الأساس لعمليات مستقبلية في البيئات الخارجية/المختلطة، وتخصيص المهام اللامركزي (ند لند)، والإدراك التعاوني لتقليل الانزياح وتحسين السلامة.

في الختام، يمثل هذا العمل قفزة نوعية في مجال الروبوتات ذاتية القيادة، حيث ينقل الـ DRL من المحاكة النظرية إلى حل مثبت وفائز في سيناريوهات الاستجابة للكوارث في العالم الحقيقي.