Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data
تقدم هذه الورقة البحثية "ترينيتي" (Trinity)، وهي بنية قائمة على المحولات (transformer) توحد بين التجزئة الدلالية الخاصة بالفئات والتجزئة التضاريسية غير المرتبطة بفئات محددة، وذلك باستخدام مجموعة بيانات اصطناعية جديدة (RUGDSynth) ومجموعة بيانات حقيقية مشروحة (EXTerra) لتمكين فهم التضاريس المستقل عن نوع الروبوت في البيئات الخارجية غير المهيكلة.
المؤلفون الأصليون:Marcus G Müller, Wout Boerdijk, Maximilian Durner, Riccardo Giubilato, Abel Gawel, Wolfgang Stürzl, Roland Siegwart, Rudolph Triebel
المؤلفون الأصليون: Marcus G Müller, Wout Boerdijk, Maximilian Durner, Riccardo Giubilato, Abel Gawel, Wolfgang Stürzl, Roland Siegwart, Rudolph Triebel
تخيل روبوتًا يحاول التنقل في غابة برية فوضوية. لكي ينتقل من النقطة (أ) إلى النقطة (ب)، يحتاج إلى فهم الأرض بطريقتين مختلفتين تمامًا في آن واحد.
المشكلة: معضلة "النموذج الواحد الذي لا يناسب أحدًا" أنظمة رؤية الروبوتات الحالية تشبه كتب القواعد الجامدة.
نهج "المصنف" (The Labeler): بعض الأنظمة تبحث فقط عن أشياء محددة ومسماة مثل "شجرة"، "صخرة"، أو "سياج". لكن في البرية، لا تقتصر الأرض على مجرد قائمة من العناصر؛ بل هي مزيج من الطين والرمل والعشب الذي يمتزج معًا. إذا رأى الروبوت بقعة من الطين تشبه الرمل، فقد يرتبك "المصنف" الجامد لأنه لا يتوافق مع فئة مكتوبة مسبقًا.
نهج "القابلية للعبور" (The Traversability): تحاول أنظمة أخرى تحديد ما إذا كانت الأرض "قابلة للمشي" أو "غير قابلة للمشي". لكن هذا يشبه طرح سؤال لا معنى له إلا لشخص واحد محدد. فالمسار الترابي سهل لشاحنة، لكنه مستحيل لدراجة هوائية. إذا دربت روبوتًا ليعرف ما هو قابل للمشي بالنسبة لعجلاته الخاصة، فإن هذه المعرفة لن تنتقل إلى روبوت آخر يمتلك أرجلًا أو عجلات مختلفة.
النتيجة؟ في كل مرة تغير فيها الروبوت أو البيئة، يتعين عليك البدء من جديد، وجمع بيانات جديدة، وإعادة تعليم الروبوت من الصفر.
الحل: "ترينيتي" (Trinity) يقترح المؤلفون نظامًا جديدًا يسمى "ترينيتي". فكر في "ترينيتي" كعقل روبوت يرتدي زوجين من النظارات في آن واحد:
النظارات "المحددة" (الخاصة بالفئات): هذه النظارات تبحث عن أشياء مسماة تهم المهمة، مثل "الصخور"، "الأشجار"، أو "الأسوار". إنها تشبه أمين مكتبة يعرف بالضبط أين توجد أقسام "الخيال" و"التاريخ".
النظارات "العامة" (غير المرتبطة بفئات): هذه النظارات تتجاهل الأسماء وتركز فقط على الملمس واللون. إنها تجمع الأرض إلى قطع بصرية بناءً على مظهرها، وليس ما تسمى به. إنها تشبه رسامًا يرى بقعة من "شيء بني خشن" وبقعة من "شيء أخضر ناعم" دون الحاجة لمعرفة ما إذا كانت تقنيًا "طينًا" أو "عشبًا". هذه الرؤية عالمية، فهي تعمل مع الشاحنة، أو الطائرة بدون طيار، أو المركبة الجوالة لأنها تصف فقط ما تراه العين.
السر الكامن: التدريب الاصطناعي تعليم الروبوت القيام بذلك في العالم الحقيقي هو كابوس. سيتعين عليك إرسال بشر إلى حقول طينية لرسم آلاف الخطوط على الصور، وتسمية كل بقعة من الأرض. إنه أمر بطيء، مكلف، وممل.
لحل هذه المشكلة، بنى الفريق ملعبًا افتراضيًا (باستخدام محاكي يسمى OAISYS). لقد أنشأوا مكتبة ضخمة من العوالم الخارجية الوهمية المليئة بالأشجار الرقمية، والصخور، وأكثر من 200 نوع مختلف من أنسجة الأرض. يطلقون على هذه المجموعة من البيانات اسم RUGDSynth.
التشبيه: تخيل تدريب طيار. بدلًا من تحطيم طائرة حقيقية 10,000 مرة لتعلم الهبوط، تضعه في محاكي طيران. يمكن للمحاكي توليد ظروف جوية ومدارج لانهائية فورًا. تعلمت "ترينيتي" "إحساسها بالأرض" في هذه الحفرة الرقمية، حيث تعلمت التعرف على الأنماط البصرية دون الحاجة إلى بشري يضع تسمية لكل بكسل.
النتائج: نوع جديد من الخرائط اختبر الفريق "ترينيتي" على بيانات من العالم الحقيقي، بما في ذلك مختبر استكشاف كوكبي (بيئة تحاكي المريخ).
النتيجة: نجحت "ترينيتي" في تقسيم العالم إلى "أشياء مسماة" (مثل السياج) و"قطع تضاريس بصرية" (مثل منطقة صخرية خشنة) في خطوة واحدة.
المقارنة: قارنوا "ترينيتي" بأنظمة رائدة أخرى. وبينما عانت الأنظمة الأخرى عندما بدا شكل الأرض ضبابيًا أو عندما كانت الحدود غير واضحة، حافظت "ترينيتي" على هدوئها، حيث حددت بدقة الملمس البصري للأرض حتى عندما لم تكن تعرف الاسم المحدد لها.
باختاًصار "ترينيتي" هو نظام رؤية للروبوت يتوقف عن محاولة إجبار العالم الطبيعي الفوضوي على التكيف مع قائمة جامدة من الفئات. بدلًا من ذلك، يتعلم رؤية العالم في طبقتين: الأشياء التي تهم المهمة (مثل الأشجار) والملمس البصي للأرض (مثل الخشن أو الناعم). ومن خلال التدريب على عالم ضخم تم إنشاؤه بالحاسوب أولاً، يتعلم فهم التضاريس لدرجة تجعل من الممكن استخدامه بواسطة روبوتات مختلفة في أماكن مختلفة دون الحاجة لإعادة تعليمه في كل مرة.
ملخص تقني: ترينيتي (Trinity): توحيد التضاريس غير المرتبطة بفئة معينة والتقسيم الدلالي للبيئات الخارجية غير المهيكلة
بيان المشكلة تتطلب الروبوتات المتنقلة التي تعمل في بيئات خارجية غير مهيكلة فهماً قوياً للتضاريس من أجل الملاحة، وتقدير الحالة، وتخطيط المهام. تواجه النهج الحالية القائمة على الرؤية مشكلتين رئيسيتين:
تقدير إمكانية العبور: تعتمد الطرق الحالية غالباً على تسميات توضيحية خاصة بالروبوت أو خرائط دلالية للفئات. وهذا يخلق تبعية حيث يجب إعادة تدريب النماذج أو إعادة تسميتها عند تغيير قدرات الروبوت أو نشره في بيئات جديدة، مما يحد من القدرة على النقل والقابلية للتوسع.
التقسيم الدلالي (Semantic Segmentation): تركز الطرق القياسية على فئات دلالية محددة مسبقاً (مثل "طريق"، "مبنى"). ومع ذلك، فإن التضاريس الخارجية غالباً ما تظهر مناطق غير منتظمة، وانتقالات تدريجية، وتشابهات بصرية تجعل التصنيفات الثابتة غير كافية. علاوة على ذلك، فإن إمكانية عبور تضاريس معينة (مثل التراب أو العشب) تعتمد على السياق، حيث تختلف باختلاف الظروف البيئية ومنصة الروبوت المحددة، مما يجعل من الصعب تحديد تسميات دلالية مطلقة بشكل عالمي.
المنهجية: شبكة ترينيتي (Trinity-Net) يقترح المؤلفون Trinity-Net، وهي بنية موحدة تعتمد على المحولات (Transformer) مصممة لأداء كل من التقسيم الدلالي المحدد للفئة (CS) وتقسيم التضاريس غير المرتبط بفئة معينة (CA) بشكل مشترك دون الاعتماد على تصنيف تضاريس ثابت.
البنية: تستخدم الشبكة مشفر صور DINOv2 مجمد لاستخراج الميزات. تتم معالجة هذه الميزات بواسطة محول منقسم (Split Transformer) يقسم فضاء الميزات ضمنياً إلى مكونات CS و CA باستخدام مجموعات استعلام قابلة للتعلم (qCS و qCA).
آلية الانقسام: يتم تطبيق خسارة مساعدة على تضمينات الاستعلام المحدثة لتشجيع فصل مناطق CS عن مناطق CA. ثم يتم توسيع الاستعلامات وتمريرها إلى مرحلتين لاحقتين، هما: محول CS (الذي يتعامل مع الفئات الحرجة للمهمة والمستقلة عن المنصة مثل الأشجار أو الصخور) و محول CA (الذي يتعامل مع مناطق الأرض المتماسكة بصرياً دون تسميات محددة مسبقاً).
تجميع الاستعلامات: للتعامل مع تباين التضاريس في العالم الحقيقي، تُستخدم استعلامات متعددة لكل منطقة. يتم تجميع المخرجات، ورفع مستوى دقتها، ودمجها لتشكيل تنسور تنبؤ موحد.
المطابقة: بما أن مكون CA لا يفرض محاذاة ثابتة بين الاستعلامات والمناطق، يتم استخدام مطابقة هنغاري (Hungarian matcher) لمحاذاة مناطق CA المتوقعة مع أقنعة الحقيقة الأرضية قبل تطبيق خسارة التقاطع عبر المجموعات (cross-entropy loss).
توليد البيانات (RUGDSynth): لتدريب مكون CA، قام المؤلفون بتوسيع محاكي OAISYS. قدموا RUGDSynth، وهو مجموعة بيانات اصطناعية واسعة النطاق تحتوي على أكثر من 42,000 عينة عبر 4,500 عالم.
التسمية القائمة على المواد: على عكس المحاكيات التقليدية القائمة على الأجسام، يستخدم OAISYS دلالات قائمة على المواد، مما يسمح بمحاكاة أنسجة أرض متنوعة (مثل الرمل، الطين، الحصى) الضرورية للتعلم غير المرتبط بالفئة.
التحسينات: تم توسيع المحاكي بوحدة وضع فيزيائية للمجسمات (MeshPhysicsScatter) لضمان نشر الأجسام بشكل واقعي، ووحدة مواد مخصصة (MaterialCSCATerrain) لتعشية أنسجة الأرض ومقاييسها، مما يضمن تنوعاً بصرياً عالياً.
مقياس التقييم: إدراكاً منهم بأن مقياس التقاطع على الاتحاد (IoU) القياسي غير كافٍ للمهام غير المرتبطة بالفئة حيث يكون عدد المناطق المتوقعة اختيارياً، قدم المؤلفون الاستدعاء المتبقي (resR). يجمع هذا المقياس جميع أقنعة التنبؤ غير المتطابقة لتقدير فائض المناطق المتوقعة مقارنة بالحقيقة الأرضية.
المساهمات الرئيسية
Trinity-Net: بنية موحدة تفصل تمثيل التضاربات غير المرتبط بالروبوت عن التنبؤ الدلالي ذي الصلة بالمهمة، مما يسمح بتعلم الأولويات البصرية للتضاريس التي يمكن دمجها مع خبرة الروبوت المحددة.
RUGDSynth: مجموعة بيانات اصطناعية مشتقة من محاكي OAISYS الموسع، توفر عينات تضاريس غير مرتبطة بالفئة وفئات محددة للفئة لتسهيل التدريب واسع النطاق.
مجموعة بيانات EXTerra: مجموعة بيانات من العالم الحقيقي تم جمعها من موقع مهمة مشابهة لاستكشاف الكواكب، تم ترميزها بكل من التسميات المحددة للفئة وغير المرتبطة بالفئة، واستُخدمت لتقييم قدرات انتقال النطاق (domain shift).
النتائج أُجريت التجارب على معيار RUGD ومجموعة بيانات EXTerra.
الأداء المحدد للفئة: في مجموعة بيانات RUGD، حققت Trinity-Net أعلى متوسط IoU بنسبة (51.80%) بين النماذج المقارنة (m1، و CRLNet، و SAM)، مما أظهر أداءً قوياً في تحديد أجسام محددة مثل الأسوار والمباني والمركبات.
الأداء غير المرتبط بالفئة: تفوقت Trinity-Net بشكل كبير على نموذج Segment Anything Model (SAM) والنماذج المرجعية الأخرى في التقسيم غير المرتبط بالفئة، حيث حققت متوسط IoU بنسبة 69.01% على RUGD. تشير النتائج النوعية إلى أنه بينما يميل SAM إلى الإفراط في تقسيم تفاصيل المقدمة أو يعاني مع حدود التضاريس الضبابية، فإن Trinity-Net تميز بفعالية بين مناطق التضاريس.
أهمية البيانات الاصطناعية: أدى التدريب حصرياً على RUGDSynth إلى نتائج أفضل من التدريب على بيانات RUGD الحقيقية وحدها، مما يشير إلى القيمة العالية للبيانات الاصطناعية. وتحقق أفضل أداء من خلال الجمع بين كلا المجموعتين، مما يشير إلى أنهما يكملان بعضهما البعض.
انتقال النطاق: نجحت النماذج المدربة على البيانات الاصطناعية و RUGD في الانتقال إلى مجموعة بيانات EXTerra (سياق استكشاف الكواكب)، متفوقة على SAM في المهام غير المرتبطة بالفئة حتى عندما كانت الحدود ضبابية بصرياً.
الأهمية والادعاءات يزعم البحث أن Trinity-Net تقدم نهجاً مرناً لفهم المشهد يتجنب جمود تصنيفات التضاريس الثابتة. من خلال تعلم الأولويات البصرية غير المرتبطة بالروبوت، يمكن للنظام أن يعمل كأساس لمهام لاحقة مثل تقدير إمكانية العبور، والتقدير البصري للموضع (visual odometry)، وتخطيط المهام، القابل للتكيف مع منصات روبوتية وبيئات مختلفة. ويفترض المؤلفون أن صياغة المهمة المقترحة، جنباً إلى جنب مع إصدار مجموعتي بيانات RUGDSynth و EXTerra، ستعمل على تحفيز المزيد من الأبحاث في البيئات الخارجية غير المهيكلة والمساهمة في تطوير استقلالية الأنظمة الروبوتية المستقبلية. ويؤكد العمل أنه بينما تعتمد التسميات الدلالية وإمكانية العبور على السياق، فإن التقسيم القائم على المظهر البصري يوفر تمثيلاً مستقراً وقابلاً للنقل.