City Navigation in the Wild: Exploring Emergent Navigation from Web-Scale Knowledge in MLLMs
تقدم هذه الورقة البحثية **CityNav**، وهو معيار جديد لتقييم قدرة النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) على إجراء ملاحة حضرية في العالم الحقيقي تعتمد على المعرفة من خلال الإشارات البصرية وحدها، وتقترح **التعبير اللفظي عن المسار (VoP)** لتحسين الأداء عبر حث النماذج على استخدام خرائطها الإدراكية الداخلية بشكل صريح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك ألقيت بشخص ذكي للغاية ومثقف جداً في وسط مدينة ضخمة وغير مألوفة مثل طوكيو أو نيويورك. هذا الشخص قد قرأ كل دليل سياحي، وكل مقال على ويكيبيديا، وشاهد الملايين من الصور لهذه المدن عبر الإنترنت. إنه ذكي للغاية، ولكن هناك عقبة: ليس لديه نظام تحديد المواقع (GPS)، ولا خرائط جوجل، ولا بوصلة. كل ما يملكه هو عيناه وذاكرته.
هذه هي المشكلة التي تحاول هذه الورقة البحثية حلها.
المشكلة: الذكاء الاصطناعي "الذكي ولكنه تائه"
نماذج الذكاء الاصطناعي الحالية (مثل تلك التي تقف وراء ChatGPT) تشبه ذلك الشخص. إنها "متعددة الوسائط"، مما يعني أنها تستطيع "رؤية" الصور و"قراءة" النصوص. ومع ذلك، عندما نطلب منها القيام بشيء ما بالفعل — مثل التنقل في مدينة حقيقية — فإنها تفشل عادةً.
معظم اختبارات الذكاء الاصطناعي تتم في "عوالم محاكية" (مثل ألعاب الفيديو) حيث القواعد بسيطة. لكن العالم الحقيقي "بريٌّ" وعشوائي. فهو يحتوي على طرق مسدودة، وإشارات مرور مربكة بلغات مختلفة، ومسافات شاسعة. معظم وكلاء الذكاء الاصطناعي "يضيعون في التفاصيل" — فهم ينسون من أين جاؤوا للتو، أو يعلقون في حلقات مفرغة، أو يفقدون تتبع هدفهم لأنهم ينظرون فقط إلى زاوية الشارع الوحيدة الموجودة أمامهم مباشرة.
الحل: "التعبير اللفظي عن المسار" (VoP)
ابتكر الباحثون طريقة جديدة للتنقل للذكاء الاصطناعي تسمى AgentNav، باستخدام حيلة ذكية يسمونها التعبير اللفظي عن المسار (Verbalization of Path - VoP).
فكر في الأمر بهذه الطريقة:
تخيل أنك تسير عبر غابة مظلمة. معظم وكلاء الذكاء الاصطناعي يشبهون الأشخاص الذين يمشون ورؤوسهم منخفضة، ينظرون فقط إلى الخطوة التي أمامهم مباشرة. قد يرون شجرة، لكنهم لا يدركون أنهم مروا بنفس الصخرة المغطاة بالطحالب ثلاث مرات بالفعل.
تقنية VoP تحول الذكاء الاصطناعي إلى "راوٍ". بدلاً من مجرد النظر إلى زاوية شارع واختيار اتجاه، يُجبر الذكاء الاصطناعي على التوقف و"التحدث إلى نفسه" بصوت عالٍ. يجب عليه أن يقول:
- "حسناً، أنا أقف حالياً عند زاوية شارع برودواي وشارع كانال."
- "هدفي هو مركز التجارة العالمي الواحد، وهو يقع جنوباً من هنا."
- "خطتي هي مواصلة السير جنوباً في شارع برودواي حتى أصل إلى شارع فيسي، ثم أنعطف يميناً."
من خلال إجبار الذكاء الاصطناعي على التعبير لفظياً عن خريطته الداخلية، فإن الباحثين يمنحونه أساساً "سبورة ذهنية". هذا يمنع الذكاء الاصطناعي من "نسيان" خطته. إنه يشبه الفرق بين شخص يتجول بلا هدف وشخص يتبع قائمة تعليمات مكتوبة يتحقق منها باستمرار.
أدوات "الذاكرة"
للتأكد من أن الذكاء الاصطناعي لن يصاب بالدوار، أعطاه الباحثون ثلاثة أنواع محددة من "الملاحظات الذهنية":
- سجل نظام تحديد المواقع (سجل القرارات): قائمة بسيطة بكل مكان انعطف فيه (مثلاً: "يسار، يسار، يمين، مستقيم").
- إنذار "كنت هنا من قبل" (الزيارة السابقة): وسيلة لتذكر: "مهلاً، لقد حاولت الذهاب يساراً عند هذا التقاطع وكان طريقاً مسدوداً؛ دعنا نجرب اليمين هذه المرة".
- البوصلة الذهنية (الذاكرة الماركوفية): ملخص مكثف لوضعه الحالي حتى لا يضطر لتذكر كل تفصيل صغير من الساعة الماضية، بل فقط الأشياء المهمة.
النتائج: من التيه إلى الخبرة المحلية
اختبر الباحثون هذا على مجموعة بيانات ضخمة وجديدة تسمى CityNav، تغطي نيويورك، وطوكيو، وفيينا، وساو باولو.
وجدوا أنه حتى أكثر نماذج الذكاء الاصطناعي تقدماً (مثل GPT-4o) سيئة جداً في التنقل في المدن بمفردها. ولكن عندما استخدموا تقنية VoP (طريقة "الراوي")، ارتفعت معدلات نجاحهم بشكل هائل. لقد انتقلوا من كونهم تائهين تماماً إلى التنقل بنجاح في مسارات معقدة تمتد لعدة كيلومترات عبر شوارع حقيقية.
الملخص في إيجاز
الفكرة الكبرى للورقة البحثية: لا تكتفِ بقول "اذهب إلى هناك" للذكاء الاصطناعي. بل قل للذكاء الاصطناعي: "صِف أين أنت، وإلى أين تذهب، وكيف تخطط للوصول إلى هناك" في كل مرة يصل فيها إلى مفترق طرق. من خلال تحويل "التفكير" إلى "تحدث"، نحن نحول المتجول التائه إلى ملاح ماهر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.