Vision-Guided Outdoor Flight and Obstacle Evasion via Reinforcement Learning
تقترح هذه الورقة إطار عمل للتعلم التعزيزي الموجه بالرؤية يُمكّن الطائرات بدون طيار رباعية المراوح من التنقل ذاتياً وتفادي العقبات في بيئات خارجية مجهولة ومحرومة من نظام تحديد المواقع العالمي (GNSS)، وذلك من خلال عملية تدريب مكونة من مرحلتين تتضمنان التعلم الخاضع للإشراف والضبط الدقيق المنهجي، مما يحقق انتقالاً ناجحاً من المحاكاة إلى الواقع دون تدريب مسبق (zero-shot sim-to-real transfer).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طائرة بدون طيار (درون) يتم التحكم فيها عن بُعد. عادةً، تحتاج إلى إمساك جهاز تحكم، ومراقبة شاشة، والتحكم المستمر في اتجاهها لتجنب الاصطدام بالأشجار أو المباني أو العوائق الأخرى. إذا فقدت الإشارة أو نفدت البطارية، تتوقف الطائرة. تقدم هذه الورقة البحثية طريقة لتعليم الطائرة بدون طيار كيف تطير بنفسها عبر غابة كثيفة أو مدينة غير معروفة دون طيار بشري، باستخدام "عينيها" و"عقلها" فقط.
إليك كيف فعلوا ذلك، مشروحاً ببساطة:
المشكلة: "عنق الزجاجة" المتمثل في الطيار
معظم الطائرات بدون طيار اليوم تشبه السيارات التي يقودها سائق لا ينام أبداً. إنها بارعة في التحرك بسرعة والالتفاف بحدة، لكنها لا تستطيع الطيران بمفردها في الأماكن الصعبة (مثل أسفل غطاء غابة كثيفة أو في منطقة حرب) لأنها تحتاج إلى إنسان يملي عليها باستمرار أين تذهب. كان الهدف من هذا البحث هو بناء طائرة بدون طيار يمكنها النظر إلى العالم، وفهم أين توجد العوائق، والطيران إلى وجهة ما بمفردها تماماً.
الحل: عقل يتكون من جزأين
بنى الباحثون "عقلاً" للطائرة يعمل في جزأين رئيسيين، يشبهان كيفية تعلم الإنسان القيادة:
- العينان (المشفر التلقائي - Autoencoder): تستخدم الطائرة كاميرا ستيريو (عدستان مثل عيني الإنسان) لرؤية العمق. ومع ذلك، فإن الفيديو الخام يحتوي على بيانات ضخمة يصعب على كمبيوتر صغير معالجتها بسرعة. لذا، قاموا أولاً بتدريب ذكاء اصطناعي خاص ليعمل كـ "ملخص". ينظر هذا الذكاء إلى الرؤية ثلاثية الأبعاد المعقدة للعالم ويضغطها إلى "شعور" بسيط ومنخفض المستوى بالمساحة. فكر في الأمر كتحويل فيلم عالي الدقة إلى رسم تخطيطي سريع يلتقط جوهر الغرفة.
- الطيار (شبكة LSTM): بمجرد أن تمتلك الطائرة هذا "الرسم التخطيطي" للعالم، تمرره إلى جزء ثانٍ من العقل يسمى LSTM. هذا نوع من الذكاء الاصطناعي الجيد في تذكر الأشياء بمرور الوقت. ينظر إلى الرسم التخطيطي، ويتذكر أين كان قبل ثانية واحدة، ويقرر: "حسناً، أحتاج إلى الالتفاف يساراً وزيادة السرعة". يقوم هذا الجزء بإخراج أوامر بسيطة مثل "تحرك للأمام بهذه السرعة" أو "انعطف قليلاً"، والتي يمكن للبرامج المدمجة في الطائرة اتباعها فوراً.
التدريب: من ألعاب الفيديو إلى الواقع
لا يمكنك تعليم طائرة بدون طيار الطيران عبر تحطيمها آلاف المرات؛ لأنها ستتحطم. لذا، قام الباحثون بتعليم الطائرة في محاكاة للعبة فيديو أولاً.
- المرحلة الأولى: المعلم (التعلم ذو الامتيازات - Privileged Learning): تخيل طياراً مبتدئاً يتعلم الطيران. في البداية، لديه معلم خارق يعرف المسار المثالي. يراقب ذكاء الطائرة هذا "المسار المثالي" ويحصل على مكافأة للبقاء قريباً منه. إنه يشبه "عجلات التدريب"؛ حيث تتعلم الطائرة القواعد الأساسية المتمثلة في عدم الاصطدام بالأشياء والتحرك نحو هدف ما.
- المرحلة الثانية: الطيران المنفرد (التعلم المنهجي - Curriculum Learning): بمجرد أن تعرف الطائرة الأساسيات، يختفي المعلم. تُلقى الطائرة في مستوى لعبة أصعب وأكثر تعقيداً مع عوائق عشوائية. الآن، يتعين عليها اكتشاف المسار بمفردها. قام الباحثون بجعل اللعبة أصعب تدريجياً (بإضافة المزيد من الجدران والمنعطفات الضيقة) لتعليم الطائرة كيفية التكيف مع المواقف الجديدة.
الخدعة السحرية: سد الفجوة (من المحاكاة إلى الواقع - Sim-to-Real)
أكبر تحدٍ في علم الروبوتات هو أن ما ينجح في لعبة الفيديو غالباً ما يفشل في العالم الحقيقي. في اللعبة، تكون الفيزياء مثالية. أما في الواقع، فهناك رياح، والكاميرا قد تكون ضبابية، وقد تكون الطائرة أثقل أو أخف مما هو متوقع.
لحل هذه المشكلة، استخدم الباحثون تقنية تسمى "تعشية النطاق" (Domain Randomization).
- التشبيه: تخيل تدريب لاعب كرة قدم. إذا تدرب فقط على ملعب عشب مثالي وجاف، فقد يفشل عندما تمطر السماء أو يصبح الملعب طينياً. بدلاً من ذلك، قام هذا الفريق بتدريب طائرتهم في "محاكي فوضوي". لقد غيروا سرعة الرياح عشوائياً، وأضافوا ضوضاء ساكنة إلى صور الكاميرا، وجعلوا الطائرة أثقل أو أخف، وحتى حاكوا أعطال المستشعرات.
- النتيجة: من خلال التدريب في هذه البيئة الفوضوية وغير المتوقعة، تعلمت الطائرة أن تكون "قوية". عندما طارت أخيراً في الخارج، لم تهتم إذا هبت الرياح أو إذا كانت الكاميرا ضبابية قليلاً؛ فقد رأت بالفعل ما هو "أسوأ" في المحاكاة.
الاختبار في العالم الحقيقي
اختبروا هذا النظام على طائرة بدون طيار حقيقية وثقيلة (DJI M300، وهي أثقل بنحو 10 مرات من الطائرة الصغيرة التي تمت محاكاتها) في حقل مفتوح.
- الإعداد: وضعوا عوائق مثل الأعمدة والجدران في ساحة مفتة وحقل.
- الظروف: كانت الرياح تهب، والإضاءة صعبة، وكان على الطائرة التنقل بدون نظام تحديد المواقع (GPS) (باستخدام الكاميرا والمستشعرات الداخلية فقط).
- النتيجة: نجحت الطائرة في الطيران عبر هذه البيئات غير المعروفة، وتفادت العوائق، ووصلت إلى هدفها بنسبة 100% في اختباراتهم. طارت بسرعة تقارب 2.6 متر في الثانية (حوالي 6 أميال في الساعة)، وهي سرعة مشي سريعة.
لماذا يهم هذا؟
تزعم الورقة البحثية أن طريقتهم مميزة لأن الطائرة لم تكن بحاجة إلى إعادة ضبط لنوع الطائرة الثقيلة المحددة التي استخدموها. لقد دربوا طائرة صغيرة وخفيفة في لعبة، وعملت بشكل مثالي على طائرة حقيقية ضخمة وثقيلة. هذا يشير إلى أنه إذا علمت الطائرة بدون طيار كيف تطير باستخدام "أوامر السرعة" (إخبارها بالسرعة التي يجب أن تسير بها) بدلاً من الفيزياء المعقدة، فيمكنها التكيف مع أي طائرة، كبيرة أو صغيرة، دون الحاجة إلى دليل تشغيل جديد لكل منها.
باختصار، لقد علموا طائرة بدون طيار كيف تكون مستكشفة شجاعة ومعتمدة على نفسها، قادرة على التعامل مع العوالم الفوضوية وغير المعروفة من خلال التعلم في لعبة فيديو فوضوية ثم نقل تلك القوة إلى العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.