Adaptive Outer-Loop Control of Quadrotors via Reinforcement Learning
تقترح هذه الورقة بنية تحكم تكيُّفية للحلقة الخارجية للمروحيات رباعية المراوح، تجمع بين سياسة التعلم التعزيزي العميق ومتنبئ ديناميكيات متبقٍ وآليات معايرة عبر الإنترنت لتحقيق تتبع مسار قوي وعالي الدقة تحت تأثير الاضطرابات الديناميكية الشديدة وعدم اليقين في النموذج دون الاعتماد على تعشية النطاق المفرطة في التحفظ.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتعليم طائرة درون صغيرة ورشيقة للغاية (بحجم كوب قهوة) كيف تطير ببراعة خلال عاصفة. الهدف هو أن تتبع مساراً محدداً دون تمايل، حتى لو تغيرت الرياح، أو إذا علقت حقيبة ثقيلة بها، أو إذا بدأت الحقيبة تتأرجح مثل البندول.
تقدم هذه الورقة البحثية طريقة جديدة لتعليم الدرون القيام بذلك باستخدام "التعلم التعزيزي" (Reinforcement Learning - RL)، وهو يشبه تدريب كلب باستخدام المكافآت: تحاول الدرون القيام بأشياء معينة، وتحصل على "مكافآت" عند الطيران بشكل جيد، و"عقوبات" عند الاصطدام، لتتعلم في النهاية أفضل طريقة للطيران.
إليك تفصيل نهجهم، باستخدام تشبيهات بسيطة:
1. المشكلة: الطيار "المفرط في القلق"
عادةً، عندما يدرب المهندسون طائرات الدرون في محاكاة حاسوبية للتعامل مع الفوضى في العالم الحقيقي، يستخدمون طريقة تسمى "التنوع العشوائي للمجال" (Domain Randomization).
- التشبيه: تخيل تدريب طيار عبر وضعه في جهاز محاكاة حيث تتغير الرياح، ووزن الطائرة، وقوة المحرك بشكل عشوائي في كل ثانية.
- النتيجة: يتعلم الطيار أن يكون حذراً للغاية. يصبح طياراً "قلقاً" يبالغ في رد الفعل تجاه كل شيء. في العالم الحقيقي، يجعل هذا الدرون مهتزاً وغير مستقر، مثل سائق عصبي يضغط على المكابح بقوة لمجرد وجود حصاة صغيرة على الطريق. الطريقة تعمل، لكنها ليست سلسة أو فعالة.
2. الحل: درون "المحقق"
يقترح المؤلفون نظاماً أكثر ذكاءً. بدلاً من تدريب الدرون ليكون قلقاً بشأن كل شيء، يعلمونه كيف يكون محققاً يكتشف بالضبط ما يحدث الآن ويتكيف معه.
لقد بنوا نظاماً يتكون من ثلاثة أجزاء:
الجزء أ: "العراف" (المعلم)
أولاً، قاموا بتدريب نسخة "مثالية" من الدرون في الحاسوب. هذه النسخة تمتلك "عرافاً" (Oracle) سحرياً يخبره بسرعة الرياح الدقيقة، والوزن الدقيق للحمولة، والقوى الدقيقة التي تضربها في كل ميلي ثانية.
- النتيجة: طارت هذه الدرون بشكل مثالي لأنها عرفت بالضبط ما هو الخطأ وأصلحته فوراً.
- العقبة: طائرات الدرون الحقيقية لا تملك هذه المستشعرات السحرية. لا يمكنها "الشعور" بالرياح أو بالوزن الدقيق المتغير. لذا، هذه النسخة المثالية لا يمكنها الطيران في العالم الحقيقي.
الجزء ب: الـ RDP (المحقق)
لحل مشكلة "غياب المستشعرات"، أضافوا متنبئ الديناميكيات المتبقية (Residual Dynamics Predictor - RDP). هذا بمثابة عقل ذكاء اصطناعي صغير (شبكة عصبية) يعمل كمحقق.
- كيف يعمل: ينظر إلى تاريخ الدرون: "أين كنت قبل ثانية واحدة؟ ما هي سرعتي؟ ما هي الأوامر التي أرسلتها للمحركات للتو؟"
- التشبيه: تخيل أنك تقود سيارة وشعرت بسحب مفاجئ نحو اليسار. أنت لا تحتاج إلى مستشعر ليخبرك "اصطدمت صخرة بالإطار"، بل يمكنك استنتاج حدوث ذلك لأن السيارة تسحب لليسار والمقود أصبح ثقيلاً. الـ RDP يفعل هذا للدرون؛ فهو ينظر إلى أوامر المحركات وتاريخ الحركة ليخمن: "آه، لا بد أن هناك حقيبة ثقيلة تتدلى من الجانب الأيسر"، أو "هناك هبة ريح تدفعني للأعلى".
- السحر: لا يحتاج إلى مستشعرات قوة خاصة. هو فقط يستخدم البيانات التي تمتلكها الدرون بالفعل (السرعة، الموقع، إشارات المحركات) لتخمين القوى غير المرئية.
الجزء ج: "جسر المعايرة" (المترجم)
عندما نقلوا الذكاء الاصطناعي من الحاسوب إلى الدرون الحقيقية، حدث عدم تطابق طفيف. عالم الحاسوب مثالي، أما العالم الحقيقي فيحتوي على عيوب صغيرة (مثل محرك متآكل قليلاً أو بطارية ليست ممتلئة بنسبة 100%).
- التشبيه: الأمر يشبه ترجمة كتاب من الإنجليزية إلى الفرنسية. الكلمات هي نفسها، لكن اللكنة مختلفة قليلاً.
- الحل: بدلاً من إعادة تدريب الذكاء الاصطناعي بالكامل (وهو أمر يستغرق وقتاً طويلاً)، استخدموا "جسر معايرة خطي". قاموا بتطيير الدرون لبضع ثوانٍ فقط، وقارنوا بين ما ظن الذكاء الاصطناعي أنه يحدث وبين ما كان يحدث فعلياً، ثم طبقوا تصحيحاً رياضياً بسيطاً. الأمر يشبه ضبط مقبض الصوت في الراديو للحصول على الصوت المثالي. استغرق هذا ثوانٍ معدودة من البيانات فقط.
3. النتائج: كيف كان أداؤها
اختبروا "درون المحقق" هذه على درون مجهرية حقيقية (Crazyflie) في ثلاث سيناريوهات صعبة:
- إضافة وزن: علقوا أوزاناً على الدرون.
- الطريقة القديمة: أصبحت الدرون مهتزة وتحطمت مع زيادة الوزن.
- الطريقة الجديدة: خمن "المحقق" أن الوزن أصبح أثقل، فطلب قوة أكبر، وطارت بسلاسة.
- وزن غير متساوٍ: علقوا وزناً على ذراع واحدة فقط.
- الطريقة القديمة: فقدت الدرون السيطرة وبدأت بالدوران حول نفسها لأنها لم تستطع التعامل مع الالتواء.
- الطريقة الجديدة: أدرك "المحقق": "أنا أتعرض للالتواء نحو اليسار"، وقام بتعديل المحركات لإلغاء ذلك التأثير تماماً.
- حمل متأرجح: علقوا وزناً بخيط (مثل البندول).
- التحدي: مع حركة الدرون، تأرجح الوزن ذهاباً وإياباً، مما خلق قوى غير متوقعة.
- النتيجة: تتبعت الدرون مسار رقم (8) بدقة، حتى مع تأرجح الوزن بجنون. استطاع ذكاء "المحقق" الاصطناعي "رؤية" حركة التأرجح ومعايرتها في الوقت الفعلي.
الخلاصة الكبرى
تثبت هذه الورقة أنك لست بحاجة إلى طيار "مفرط في القلق" يتوقع أسوأ السيناريوهات. بدلاً من ذلك، يمكنك بناء طيار ذكي ومتكيف يمكنه:
- مراقبة ما يحدث الآن.
- تخمين القوى غير المرئية (الرياح، الوزن، التأرجح) باستخدام البيانات القياسية فقط.
- التعديل فوراً للحفاظ على الطيران بسلاسة.
هذه الطريقة أسرع في التدريب، وتستهلك طاقة حوسبية أقل، وتطير بسلاسة أكبر بكثير من الطرق السابقة، وكل ذلك دون الحاجة إلى مستشعرات باهظة الثمن وثقيلة الوزن على الدرون الصغيرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.