The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

تخيل أنك تعلم روبوتًا كيفية التنقل في متاهة. للقيام بذلك، يبني الروبوت "خريطة ذهنية" للعالم داخل دماغه. هذه الخريطة ليست صورة؛ بل هي ملخص رياضي مضغوط لما يبدو عليه العالم في أي لحظة معينة. يطلق العلماء على هذا الاسم "نموذج عالم كامن" (latent world model). يتعلم الروبوت هذه الخريطة من خلال مشاهدة مقاطع فيديو لنفسه وهو يتحرك ومحاولة التنبؤ بما سيحدث بعد ذلك. إذا استطاع التنبؤ بالمستقبل بدقة، فإننا نفترض أنه يفهم العالم. بمجرد امتلاكه لهذه الخريطة، يستخدم الروبوت "مخططًا" (planner) — وهو خوارزمية لاتخاذ القرار — لتحديد أفضل مسار للوصول إلى هدف ما، مثل العثور على صندوق كنز. السؤال الكبير في هذا المجال كان دائمًا: إذا فشل الروبوت في الوصول إلى هدف بعيد، فهل السبب هو أن خريطته الذهنية ضبابية وغير دقيقة، أم لأن أداة اتخاذ القرار لديه معطلة؟ تغوص هذه الورقة البحثية في هذا الغموض، وتختبر ما إذا كانت المشكلة تكمن في رؤية الروبوت أم في بوصلته.

استقصى الباحثون في هذه الورقة روبوتًا محددًا يتنقل في بيئة بسيطة مكونة من غرفتين. ووجدوا أن "الخريطة الذهنية" للروبوت كانت في الواقع حادة ودقيقة للغاية، حتى عند النظر بعيدًا في المستقبل. ومع ذلك، استمر الروبوت في الفشل في الوصول إلى الأهداف البعيدة. الاكتشاف المذهل هو أن الروبوت لم يكن يفشل لأنه لا يستطيع "رؤية" الطريق؛ بل كان يفشل لأن "البوصلة" التي يستخدمها لقياس المسافة كانت معطلة. كان الروبوت يحاول تقليل درجة رياضية محددة (المسافة المربعة بين حالته الذهنية الحالية والهدف)، لكن هذه الدرجة توقفت عن كونها منطقية بعد نقطة معينة. كان الأمر أشبه بجهاز تحديد مواقع (GPS) يخبرك أنك تقترب من وجهتك بينما أنت في الواقع تقود في الاتجاه المعاكس.

تظهر الورقة أن الخريطة الداخلية للروبوت لا تزال قادرة على التنبؤ بحالة العالم قبل 75 خطوة بدقة عالية جدًا — وهو ما يتجاوز بكثير الـ 25 خطوة التي حاول الروبوت التخطيط لها. لم تكن المشكلة في الخريطة، بل في "دالة الهدف" (objective function)، وهي القاعدة التي استخدمها المخطط للحكم على النجاح. وجد الباحثون أن الطريقة القياسية لقياس المسافة في عقل الروبوت "تشبعت" ثم "انعكست". وهذا يعني أنه بمجرد أن يصبح الهدف على بُعد أكثر من 120 وحدة، فإن التحرك بعيدًا عن الهدف يؤدي في الواقع إلى خفض درجة التكلفة، مما يخدع الروبوت ويجعله يعتقد أنه يحرز تقدمًا. كانت المعلومات حول مكان الهدف وكيفية الوصول إليه لا تزال موجودة بالكامل في دماغ الروبوت، لكن المخطط الخاص به كان يتجاهلها لأنه ينظر إلى مقياس خاطئ.

ولإصلاح ذلك، لم يقم الباحثون بإعادة تدريب الروبوت أو تزويده بأجهزة أقوى. بد instead، قاموا ببساطة باستبدال البوصلة المعطلة بأخرى جديدة. لقد علموا المخطط أن يهتم بـ "قابلية الوصول" (reachability) (هل يمكنني الوصول حقًا إلى هناك؟) بدلاً من مجرد "القرب" (proximity) (كم يبدو المكان قريبًا؟). فعلوا ذلك من خلال تدريب "مساعد" صغير للتنبؤ بعدد الخطوات التي سيستغرقها الانتقال من إطار إلى آخر، بدلاً من مجرد قياس المسافة بين نقطتين في مساحة رياضية. كان هذا النهج الجديد نجاحًا هائلًا. ففي إعدادات الروبوت الأصلية، قفز معدل النجاح في الوصول إلى أهداف تبعد 100 خطوة من نسبة ضئيلة قدرها 26% إلى نسبة مذهلة بلغت 98%. والأكثر إثارة للإعجاب، كان بإمكان الروبوت الوصول إلى 92% من تلك الأهداف البعيدة باستخدام ثلث الوقت المعتاد فقط.

ومع ذلك، فإن هذا الإصلاح ليس حلًا سحريًا يعمل في كل مكان. فعندما جرب الباحثون نفس الإصلاح على الأوزان (weights) التي أصدرها المؤلفون الأصليون، لم يحسن النجاح إلا من 14% إلى 34%، وهو ما قل عن الـ 70% التي حققتها طريقة خطية أبسط. والسبب في هذا الفشل هو أن "الخريطة الذهنية" للنموذج الأصلي تنحرف كثيرًا عن الواقع عندما يتخيل المستقبل. فقد تم تدريب البوصلة الجديدة على إطارات فيديو حقيقية، لكن المخطط كان يقيم إطارات "متخيلة". ولأن تنبؤات النموذج كانت غير دقيقة للغاية، كانت الإطارات المتخيلة مختلفة جدًا عن الإطارات الحقيقية لكي تعمل البوصلة الجديدة بشكل صحيح. وهذا يسلط الضوء على قاعدة حاسمة: يجب تدريب تكلفة التخطيط المتعلمة على نفس نوع البيانات "المتخيلة" التي سيستخدمها المخطط بالفعل، وإلا فسوف تفشل عندما ينحرف التنبؤ.

كشفت الدراسة أيضًا عن خلل غريب: لم يكن المخطط "الأفضل" هو الذي يمتلك الخريطة الأكثر دقة. في الواقع، المخطط الذي يستخدم دالة تكلفة كانت "أسوأ" في التنبؤ بالمسافة المكانية الدقيقة، خطط بشكل أفضل. وذلك لأن دالة التكلفة الجديدة تعلمت أن تفرض رسومًا إضافية عند عبور جدار، بينما لم تكن القديمة تهتم بالجدران على الإطلاق. كان المخطط القديم يعتقد أن الغرفتين قريبتان لأن مسافتهما الفيزيائية قريبة، متجاهلاً الباب. أما المخطط الجديد فقد فهم أنه يجب عليك المرور عبر الباب، مما جعله ملاحًا أفضل. تخلص الورقة إلى أنه بالنسبة للتخطيط طويل المدى، فإن العائق ليس القدرة على التنبؤ بالمستقبل، بل القدرة على تحديد ما يعنيه حقًا "الوصول إلى هناك". فإذا كانت بوصلتك تشير إلى الاتجاه الخاطئ، فلن تساعدك أي رؤية مثالية في العثور على وجهتك.