Structured Observation Language for Efficient and Generalizable Vision-Language Navigation

تخيل أنك تعلم روبوتاً ليكون مرشداً سياحياً. تريد منه أن يستمع إلى أوامر صوتك، وينظر حول الغرفة، ويمشي بك إلى المطبخ دون أن يصطدم بكرسي أو يضل الطريق. هذا هو عالم "الملاحة البصرية اللغوية" (Vision-Language Navigation - VLN). إنه فرع من فروع الروبوتات حيث يتعين على وكيل اصطناعي الجمع بين ما يراه (الرؤية) وما يسمعه (اللغة) للتحرك عبر العالم. فكر في الأمر كأنه لعبة "سيمون يقول" (Simon Says) تُلعَب في متاهة ثلاثية الأبعاد، ولكن على الروبوت أن يكتشف المسار بنفسه.

لفترة طويلة، حاول العلماء تعليم هذه الروبوتات عبر عرض ملايين الصور الخام عليها وإخبارها بما يجب فعله، آملين أن يتعلم الروبوت التعرف على الأنماط مثل "باب" أو "كرسي" بمجرد التحديق في البكسلات. لكن هذا يشبه محاولة تعليم إنسان القراءة عبر إظهار صورة ضبابية عالية الدقة لصفحة ما وسؤاله عن تخمين الحروف. إنها عملية بطيئة ومكلفة، وغالباً ما يرتبك الروبوت إذا تغيرت الإضاءة أو تحركت قطع الأثاث. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا تعليم الروبوتات التنقل من خلال إعطائها وصفاً بسيطاً وواضحاً للعالم، بدلاً من إجبارها على التحديق في مليون بكسل خام؟

هذا هو بالضبط ما تعالجه ورقة "SOL-Nav". يقترح المؤلفون طريقة جديدة وذكية للتحدث مع الروبوتات. فبدلاً من تغذية الروبوت بصورة ضخمة وفوضوية، يقومون بترجمة ما يراه الروبوت إلى قائمة مرتبة ومنظمة من الكلمات—مثل رسالة نصية تصف الغرفة. ويسمون هذا "لغة الملاحظة المهيكلة" (Structured Observation Language).

إليك كيف تعمل خدعتهم السحرية: تخيل أن رؤية الروبوت للعالم هي صورة. بدلاً من إرسال الصورة بأكملها إلى عقل الروبوت، يقوم نظام "SOL-Nav" بتقسيم تلك الصورة إلى شبكة من المربعات الصغيرة (مثل لوحة الشطرنج). لكل مربع، يطرح النظام ثلاثة أسئلة بسيطة: "كم يبعد هذا؟" (العمق)، "ما هذا؟" (هل هو جدار، أم أرضية، أم طاولة؟)، و"ما لونه؟" (هل هو أزرق، أم رمادي، أم أصفر؟).

ثم يحول النظام هذه الإجابات إلى جملة قصيرة لكل مربع، مثل: "المربع [1,1]: يبعد مترين، أرضية، رمادي فاتح". يقوم النظام بذلك لكامل الشبكة ثم يلصق كل هذه الجمل معاً في كتلة نصية طويلة. يتم بعد ذلك تسليم هذه الكتلة النصية إلى نموذج لغوي قوي (عقل الروبوت)، والذي يقرأ الوصف تماماً كما يقرأ الإنسان خريطة أو مجموعة من الاتجاهات. ثم يقرر النموذج اللغوي الخطوة التالية: "انعطف يساراً"، "تحرك للأمام"، أو "توقف".

تجد الورقة البحثية أن هذا النهج فعال بشكل مدهش. فمن خلال تحويل الرثية إلى نص، لا يحتاج الروبوت إلى التدريب من الص0 ليتعرف على البكسلات؛ بل يمكنه استخدام "المنطق العام" الموجود في النماذج اللغوية مسبقة التدريب. وتظهر النتائج أن هذه الطريقة تعمل بنفس كفاءة، وأحياناً أفضل من، الأنظمة الأكبر والأكثر تعقيداً التي تحاول معالجة الصور الخام مباشرة. في اختبارات الملاحة القياسية، حقق روبوت "SOL-Nav" معدلات نجاح عالية (وصل إلى الهدف في أكثر من 53% من المحاولات في أحد الاختبارات و48% في اختبار آخر) بينما استخدم نموذجاً صغيراً جداً مقارنة بمنافسيه، حيث يبلغ حجمه 0.6 مليار معلمة فقط مقابل 7 مليارات معلمة أو أكثر المستخدمة في الطرق الرائدة الأخرى.

ولعل الجزء الأكثر إثارة هو أن هذه الطريقة بارعة جداً في التعامل مع البيئات الجديدة وغير المرئية سابقاً. فبما أن الروبوت يقرأ وصفاً لـ "أرضية رمادية تبعد مترين" بدلاً من حفظ درجة معينة من اللون الرمادي في صورة محددة، فإنه لا يرتبك عندما تتغير الإضاءة أو يبدو شكل الغرفة مختلفاً. حتى أن المؤلفين اختبروا ذلك على روبوت حقيقي في غرف حقيقية (مثل منطقة شاي وغرفة اجتماعات)، وعمل الأمر بسلاسة، حيث اتخذ القرارات في أقل من ثانية.

ومع ذلك، تقر الورقة أيضاً بوجود مقايضة صغيرة. فمن خلال تحويل العالم إلى قائمة من الكلمات، يفقد الروبوت بعض التفاصيل الدقيقة للغاية، مثل الملمس المحدد للسجادة أو الشكل الخاص لآنية منحنية بشكل غريب. ويشير المؤلفون إلى أنه بينما يعد هذا الأسلوب رائعاً للملاحة العامة، فقد يحتاج إلى القليل من المساعدة في المشاهد المعقدة جداً حيث تهم تلك التفاصيل الدقيقة. ولكن بشكل عام، يظهر "SOL-Nav" أنه في بعض الأحيان، أفضل طريقة لمساعدة الروبوت على رؤية العالم هي التوقف عن إظهار الصور له والبدء في إعطائه وصفاً جيداً وواضحاً.