OmniUnet: A Multimodal Network for Unstructured Terrain Segmentation on Planetary Rovers Using RGB, Depth, and Thermal Imagery
تقدم هذه الورقة البحثية OmniUnet، وهي شبكة عصبية قائمة على المحولات (transformer) تدمج الصور المرئية (RGB)، والعمق، والحرارية لتحقيق تقسيم دلالي قوي للتضاريس غير المنظمة الشبيهة بالمريخ، والتي تم التحقق من صحتها من خلال مجموعة بيانات مخصصة جُمعت في إسبانيا، وتم استعراضها للنشر في الوقت الفعلي على المركبات الكوكبية ذات الموارد المحدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقود سيارة على كوكب لم تزره من قبل، مثل المريخ. الطرق ليست معبدة، بل هي مزيج فوضوي من الرمال الناعمة، والصخور المسننة، والتربة الصلبة. إذا اصطدمت برقعة من الرمل الناعم، قد تدور عجلاتك في مكانها وتتعثر. وإذا اصطدمت بصخرة مخفية، فقد تكسر عجلة.
للتنقل بأمان، لا يمكن لمركبة روبوتية أن تكتفي بـ "النظر" بعين واحدة فقط. إنها بحاجة إلى حاسة فائقة تجمع بين طرق مختلفة لرؤية العالم. وهذا هو بالضبط ما يدور حوله بحث "OmniUnet".
إليك قصة كيف بنى الباحثون عقلاً روبوتياً يرى تضاريس المريخ بالأبعاد الثلاثية، وبالألوان، وبالحرارة.
1. المشكلة: حاسة واحدة لا تكفي
فكر في الكاميرا العادية (RGB) كأنها عين بشرية؛ فهي ترى الألوان والأشكال. ولكن على المريخ، قد تبدو كومة من الصخور تماماً مثل كومة من التربة الصلبة. الكاميرا العادية لا تستطيع التمييز بينهما.
الآن، تخيل إضافة العمق (مثل نظارات ثلاثية الأبعاد 3D) لرؤية مدى بعد الأشياء، والحرارة (مثل نظارات الرؤية الليلية التي ترى الحرارة).
- التشبيه: تخيل أنك تسير في غرفة مظلمة. لا يمكنك رؤية الأثاث (الكاميرا العادية عمياء). ولكن إذا كان لديك كاميرا حرارية، يمكنك أن ترى أن الكرسي دافئ لأن شخصاً ما جلس عليه للتو، بينما الأرضية باردة.
- الرؤية الجوهرية: على المريخ، تسخن الرمال وتبرد بشكل مختلف عن الصخور الصلبة. يمكن للكاميرا الحرارية أن "تشعر" بملمس الأرض بمجرد معرفة مدى سخونتها أو برودتها، حتى لو بدت الألوان متشابهة.
2. الحل: عقل "OmniUnet"
ابتكر الباحثون عقلاً ذكياً جديداً يسمى OmniUnet. فكر فيه كأنه طاهٍ ماهر يمكنه تذوق وشم ولمس المكون في آن واحد ليقرر ما إذا كان آمناً للأكل.
- المكونات: يغذي الروبوت الذكاء الاصطناعي بثلاثة أنواع من "الصور" في وقت واحد:
- RGB: الصورة الملونة القياسية.
- العمق (Depth): خريطة توضح مدى ارتفاع أو انخفاض الأرض.
- الحرارة (Thermal): خريطة حرارية تظهر فروقات درجات الحرارة.
- الوصفة: يستخدم الذكاء الاصطناعي نوعاً خاصاً من الشبكات العصبية (المُحوّل أو "Transformer") الذي يعمل كأمين مكتبة شديد التنظيم. فبدلاً من النظر إلى كل بكسل على حدأ، فإنه ينظر إلى نوافذ صغيرة من الصورة، ويقوم بتحريكها لفهم كيفية اتصال صخرة بالرمال المجاورة لها. ثم يقوم بدمج كل هذه المعلومات لرسم خريطة لما هو آٍمن للقيادة عليه وما هو خطير.
3. تجربة القيادة: محاكي "المريخ"
لا يمكنك اختبار هذا على المريخ بعد، لذا ذهب الباحثون إلى شبه صحراء بارديناس في إسبانيا. هذا المكان هو "توأم للمريخ"؛ حيث يمتلك نفس التضاريس الصخرية والرملية الغريبة.
- المختبر: قاموا ببناء صندوق مخصص (مبيت للحساسات) مطبوع بتقنية ثلاثية الأبعاد وثبتوه على مركبة تجريبية تسمى MaRTA (وهي نموذج نصف حجم لمركبة إكسومارس الحقيقية).
- الكاميرات: وضعوا داخل الصندوق كاميرا ثلاثية الأبعاد قياسية (Intel Realsense) وكاميرا حرارية (Optris).
- البيانات: قادوا المركبة في أرجاء المكان، وسجلوا آلاف الصور. بعد ذلك، قام البشر بتصنيف الصور يدوياً، لتعليم الذكاء الاصطناعي: "هذا البكسل عبارة عن رمل"، "هذا البكسل صخرة"، "هذا البكسل شجيرة".
4. النتائج: ما مدى ذكائه؟
وُضع الذكاء الاصطناعي تحت الاختبار، وكان أداؤه مبهراً:
- الدقة: استطاع تحديد نوع الأرض بشكل صحيح بنسبة 80% من الوقت. هذا يشبه طالباً يحصل على درجة "امتياز" في امتحان صعب جداً.
- ميزة "الحرارة": كانت الكاميرا الحرارية هي السلاح السري. فقد ساعدت الذكاء الاصطناعي على التمييز بين التربة الناعمة والصلبة (الآمنة للقيادة) وبين الرمال الساخنة والرخوة (الخطيرة) بشكل أفضل بكثير مما تستطيع الكاميرا الملونة وحدها.
- السرعة: اختبر الباحثون الذكاء الاصطناعي على كمبيوتر صغير ومنخفض الطاقة (بحجم الهاتف الذكي، يسمى Jetson Orin Nano). استطاع اتخاذ القرار في أقل من ثانية (673 مللي ثانية). وهذا يعني أن الروبوت يمكنه القيادة ذاتياً في الوقت الفعلي دون الحاجة إلى كمبيوتر خارق على الأرض ليخبره بما يجب فعله.
5. لماذا يهم هذا؟
الأمر لا يتعلق فقط بجعل ألعاب الفيديو أفضل.
- السلامة: ستواجه مركبات المريخ المستقبلية تضاريس لم نرها بعد. إذا استطاع الروبوت "الشعور" بالأرض عبر الحرارة، فلن يعلق في فخ رملي.
- المصدر المفتوح: لم يحتفظ الباحثون بعملهم سراً؛ فقد أتاحوا الكود البرمجي ومجموعة البيانات المصنفة للجمهور. إنه يشبه إعطاء الجميع الوصفة والمكونات حتى يتمكن العلماء الآخرون من بناء عقول روبوتية أكثر تطوراً.
الخلاصة
OmniUnet هو طريقة جديدة لتعليم الروبوتات "رؤية" الأرض من خلال الجمع بين الرؤية، والعمق ثلاثي الأبعاد، والحرارة. ومن خلال استخدام بنية ذكاء اصطناعي خاصة واختبارها في صحراء تشبه المريخ في إسبانيا، أثبت الفريق أن الروبوتات يمكنها الآن التنقل في التضاريس الخطرة وغير المستكشفة بأمان واستقلالية أكبر بكثير. إنها قفزة هائلة نحو إرسال الروبوتات لاستكشاف الكوكب الأحمر دون أن تعلق في الرمال.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.