Language-Guided Semantic Navigation with Monocular SLAM and Vision-Language Models

تخيل أنك تحاول تعليم روبوت كيفية التنقل في غرفتك الفوضوية. تريد أن تعطيه أمراً بسيطاً مثل، "ابحث عن الكتاب الأحمر على الرف". لكن الروبوت أعمى عن المعنى؛ فهو لا يرى سوى مجموعة من البكسلات المتداخلة. لكي يفهم الروبوت هذا، يحتاج إلى قوتين خارقتين تعملان معاً. أولاً، يحتاج إلى خريطة ذهنية للغرفة، بحيث يعرف أين تقع الجدران والأرضيات والأثاث في فضاء ثلاثي الأبعاد دون الاصطدام بها. يُسمى هذا SLAM (التحديد المتزامن للموقع ورسم الخرائط)، وهو بمثابة طريقة الروبوت لقول: "أنا أعرف أين أنا، وأعرف كيف يبدو شكل الغرفة". ثانياً، يحتاج إلى مهارات لغوية. يجب أن يفهم أن "الكتاب الأحمر" ليس مجرد شكل، بل هو كائن محدد له لون واسم. هنا يأتي دور نماذج الرؤية واللغة (Vision-Language Models)—وهي عقول ذكاء اصطناعي يمكنها النظر إلى صورة وقراءة جملة، ثم الربط بينهما.

السؤال الكبير الذي يسأله العلماء هو: هل يمكننا دمج هاتين القوتين في روبوت يكون رخيصاً، وخفيف الوزن، ولا يحتاج إلى مستشعرات باهظة الثمن وثقيلة مثل ماسحات الليزر أو كاميرات العمق؟ معظم الروبوتات اليوم تحتاج إلى "عين ثالثة" (مثل مستشعر العمق) لترى المسافة، مما يجعلها ضخمة ومكلفة. تسأل هذه الورقة البحثية ما إذا كان بإمكان الروبوت الاكتفاء بكاميرا واحدة قياسية (مثل تلك الموجودة في هاتفك) وعقل ذكاء اصطناعي ذكي ليفهم الباقي. أراد الباحثون معرفة ما إذا كان بإمكانهم بناء نظام يكون ذكياً بما يكفي لفهم اللغة الطبيعية وخفيفاً بما يكفي ليعمل على أجهزة بأسعار معقولة.

---

الفكرة الكبرى للورقة البحثية: روبوت بعين واحدة وعقل كبير

تقدم هذه الورقة طريقة جديدة لمساعدة الروبوتات على التنقل في المساحات الداخلية باستخدام كاميرا واحدة فقط وذكاء اصطناعي متطور جداً. قام المؤلفان، رونج-سيوان وو، مي-يونج تشين، ببناء إطار عمل "خفيف الوزن ومعياري". فكر في الأمر كبناء مجموعة "ليغو" مخصصة حيث تترابط القطع مع بعضها بشكل مثالي. بدلاً من اختراع كاميرا جديدة تماماً أو عقل جديد تماماً، أخذوا أداتين قويتين موجودتين بالفعل وقاموا بدمجهما لإنشاء روبوت يمكنه اتباع التعليمات المنطوقة.

يتكون النظام من ثلاثة أجزاء رئيسية. أولاً، هناك العمود الفقري الهندسي، الذي يستخدم أداة تسمى MASt3r-SLAM. تخيل هذا كحاسة التوازن والإدراك المكاني لدى الروبوت. فهو يأخذ بثاً فيديوياً من كاميرا واحدة ويبني فوراً خريطة ثلاثية الأبعاد كثيفة للغرفة. إنه يشبه قيام الروبوت بنحت منحوتة ثلاثية الأبعاد للغرفة في الوقت الفعلي، حيث يحدد أين توجد أرجل الكراسي وحواف الطاولات، وكل ذلك دون الحاجة إلى ماسح ليزر.

ثانياً، يمتلك النظام عقلاً دلالياً مدعوماً بنماذج الرؤية واللغة (VLMs). استخدم الباحثون نموذجين محددين من الذكاء الاصطناği: Gemma 3 و Qwen2.5-VL. إذا كان الجزء الأول يمثل عيني الروبوت وحسه بالمكان، فإن هذا الجزء يمثل مفرداته. عندما ينظر الروبوت إلى لحظة رئيسية في الفيديو الخاص به (تسمى "إطاراً رئيسياً")، فإنه يسأل الذكاء الاصطناعي: "ما هذا؟". لا يكتفي الذكاء الاصطناعي بالقول "كائن"؛ بل يمكنه القول "محمصة حمراء"، أو "كرسي خشبي"، أو "كومة فوضوية من الأوراق". هذا ما يسمى بالفهم "مفتوح المفردات"، مما يعني أن الروبوت يمكنه التعرف على أشياء لم يسبق له رؤيتها من قبل، طالما يمكنه وصفها بالكلمات.

أخيراً، هناك طيار الملاحة. هذا هو الجزء الذي يستمع إليك. إذا قلت: "اذهب وابحث عن المحمصة"، يقوم النظام بترجمة تلك الجملة إلى موقع على الخريطة. ينظر إلى الخريطة ثلاثية الأبعاد التي بناها، ويجد الموقع المصنف كـ "محمصة"، ثم يرسم مساراً للروبوت للوصول إلى هناك دون الاصطدام بشيء.

كيف اختبروا ذلك: المحاكاة والروبوتات الحقيقية

لم يكتف الفريق بالتحدث عن فكرتهم فحسب؛ بل قاموا ببنائها واختبارها بطريقتين. أولاً، استخدموا محاكاة حاسوبية تسمى AI2-THOR، وهي تشبه عالم ألعاب الفيديو حيث يمكنهم التحكم في البيئة بشكل مثالي. ثانياً، وضعوا النظام على روبوت حقيقي يسمى TurtleBot3، وهو روبوت صغير ذو عجلات مزود بكاميرا ويب USB واحدة. قاموا بقيادته في مكتب مزدحم بالأثاث والأجهزة، باستخدام الكاميرا فقط—بدون مستشعرات عمق، ولا ليزرات إضافية، ولا خرائط مبرمجة مسبقاً.

أظهرت النتائج أن النظام يعمل. في الاختبارات الواقعية، نجح النظام في بناء خريطة ثلاثية الأبعاد للغرفة وكان بإمكانه الإجابة على أسئلة مثل "أين الميكروويف؟" أو التنقل إلى أشياء محددة بناءً على تعليمات نصية. وجد الباحثون أنهم استطاعوا تحقيق توازن جيد بين مدى تفصيل الخريطة وسرعة تفكير الروبوت.

المقايضات: السرعة مقابل التفاصيل

أحد أكثر النتائج إثارة للاهتمام في الورقة البحثية هو المقايضة بين ذكاء النموذج وسرعة عمله. اختبر الباحثون أحجاماً مختلفة من نماذج الذكاء الاصطناعي وأنواعاً مختلفة من الأسئلة.

• السرعة: عندما سألوا الذكاء الاصطناعي أسئلة بسيطة وقصيرة مثل "ما هذا الكائن؟" (مثلاً: "ثلاجة")، كان النظام سريعاً جداً. الإعداد الأسرع، باستخدام نموذج أصغر يسمى Gemma-3-4B، استغرق في المتوسط 0.52 ثانية لإعطاء إجابة.
• التفاصيل: عندما طلبوا المزيد من التفاصيل، مثل "صف الكائن الموجود في الخلفية"، استغرق النظام وقتاً أطول. الإعداد الأبطأ، باستخدام نموذج أكبر (Qwen2.5-7B) مع مطالبة تفصيلية، استغرق في المتوسط 5.27 ثانية.

هذا يخبرنا أنه إذا كنت تريد روبوتاً يستجيب فوراً، فعليك إبقاء الأسئلة قصيرة واستخدام عقل ذكاء اصطناعي أصغر. وإذا كنت تريد أن يكون الروبوت وصفياً للغاية، فعليك الانتظار لفترة أطول قليلاً.

كما نظروا أيضاً في جودة الخريطة ثلاثية الأبعاد. وقارنوا بين وضعين: "بدون اتصال" (Offline) (حيث يعالج الروبوت الفيديو بأكمله بعد الانتهاء) و"الوقت الفعلي" (Real-Time) (حيث يعالج البيانات أثناء الحركة).

• وضع "بدون اتصال" (Offline): أنتج خريطة أكثر كثافة وعالية الجودة بـ 40,492.05 نقطة لكل متر مكعب. كان الأمر يشبه صورة عالية الدقة للغرفة.
• وضع "الوقت الفعلي" (Real-Time): كان أقل تفصيلاً، بـ 14,663.76 نقطة لكل متر مكعب، ولكنه كان سريعاً بما يكفي للحفاظ على حركة الروبوت، حيث يعالج حوالي 5 إلى 6 إطارات في الثانية.

ماذا يعني هذا للمستقبل

تخلص الورقة البحثية إلى أن هذا النهج هو طريقة عملية لجعل الروبوتات أكثر ذكاءً دون جعلها باهظة الثمن. من خلال استخدام كاميرا واحدة فقط وذكاء اصطناعي حديث، أثبتوا أن الروبوتات يمكنها فهم اللغة والتنقل في الغرف المعقدة. يشير المؤلفون إلى أن هذا يمثل "مساراً فعالاً من حيث التكلفة" للروبوتات الخدمية، مثل تلك التي قد تساعد في المستشفيات أو المنازل.

ومع ذلك، فإن الورقة البحثية حذرة في ملاحظة أن هذا ليس حلاً سحرياً لكل المشكلات بعد. يعمل النظام بشكل جيد في الاختبارات التي أجروها، لكن المؤلفين يشيرون إلى أنه بالنسبة للاستخدام المستقبلي، يحتاجون إلى جعل الذكاء الاصطناعي أسرع حتى لا يحدث تأخير، ويريدون اختباره في بيئات واقعية أكثر فوضوية. كما يخططون لإضافة المزيد من المستشعرات لاحقاً لجعله أكثر قوة، ولكن في الوقت الحالي، فقد أثبتوا أن كاميرا واحدة وعقل لغوي كبير يمكنهما القيام بالعمل الشاق لروبوت يتنقل ببراعة.