Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

ملخص تقني: استقصاء النماذج اللغوية الكبيرة المتجسدة: عندما تضر دقة الملاحظة العالية بحل المشكلات

بيان المشكلة
يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد كعناصر معرفية للأنظمة الروبوتية التي تعمل في بيئات غير منظمة. ومع ذلك، فإن عمليات اتخاذ القرار الغامضة فيها تجعل من الصعب التمييز بين قدرات الاستدلال الحقيقية وبين النجاح العرضي في المهام المتجسدة ذات الحلقة المغلقة. إن مقاييس الأداء، مثل معدلات النجاح الإجمالية، غالبًا ما تفشل في الكشف عما إذا كان الوكيل قد حل المهمة من خلال استدلال متماسك، أو استكشاف عرضي، أو نتيجة تفاعل بين أخطاء الإدراك وفشل الاستدلال. وتحديدًا، لا يزال من غير الواضح كيف تؤثر دقة المدخلات الملحوظة (من البيانات الحسية الخام إلى الحقيقة الرمزية المثالية) على الآليات السلوكية لوكلاء النماذج اللغوية الكبيرة المتجسدة.

المنهجية
يستخدم المؤلفون منهجية ذكاء اصطناዊ تجريبية تتماشى مع تحديد الأنظمة، حيث يتم التعامل مع وكيل النموذج اللغوي الكبير كنظام غامض يتم استقصاؤه من خلال تدخلات محكومة.

• المهمة: تستخدم الدراسة "صندوق القفل" (Lockbox)، وهو لغز ميكانيكي متسلسل يتكون من أربعة مفاصل ذات ترابطات خفية. الهدف هو فتح الصندوق عن طريق تحريك المفاصل بترتيب معين. تتطلب هذه المهمة دمج الملاحظات بمرور الوقت واستنتاج تبعيات الحالة الكامنة.
• الإعداد التجريبي:
  • الإعداد الفيزيائي: ذراع روبوتية من نوع (Franka Emika Panda) مع نهاية طرفية ناعمة تتعامل مع "صندوق قفل" فيزيائي. يستخدم النظام كاميرا (RGB-D) ومستشعرات القوة والعزم.
  • المحاكاة: بيئة محاكاة محكومة تعزل مشكلة الاستدلال عن تباين الحركة الفيزيائية، مما يسمح بتغيير منهجي لقناة الملاحظة.
• التدخلات: يغير البحث دقة الملاحظة المقدمة للنموذج اللغوي الكبير عبر ثلاثة أنماط:
  1. RGB: صور مرئية خام.
  2. RGB-D: صور مرئية مدعومة ببيانات العمق.
  3. الحالة الرمزية للحقيقة المطلقة (Ground-Truth): أوصاف نصية صريحة لحالات المفاصل، مما يتجاوز خط أنابيب الرؤية تمامًا.
• آلية الاستقصاء: في المحاكاة، أدخل المؤلفون ضوضاء ملاحظة محكومة عن طريق قلب النتيجة المدركة للأفعال عشوائيًا (قلب الحالة - state-flips) باحتمالات متفاوتة (0% إلى 60%) لاختبار تأثير العشوائية على الأداء.

النتائج الرئيسية
تكشف الدراسة عن علاقة غير متوقعة بين دقة الملاحظة وأداء المهمة:

1. الدقة مقابل الأداء: خلافًا للافتراض بأن الملاحظات الأكثر دقة تحسن الاستدلال، أدى الوكلاء أداءً أفضل باستخدام مدخلات RGB الخام وأسوأ مع الحالات الرمزية المثالية للحقيقة المطلقة. حقق نمط RGB-D نتائج متوسطة.
   • حقق نموذج GPT-o1 معدل نجاح بنسبة 80% باستخدام مدخلات RGB في 11 خطوة، بينما تطلب شرط الحقيقة المطلقة 15 خطوة للوصول إلى نفس معدل النجاح.
   • حقق نموذج مستوحى من البشر (heuristic) نسبة نجاح 100% في 9 خطوات، مما يسلط الضوء على عدم كفاءة النماذج اللغوية الكبيرة بغض النظر عن المدخلات.
2. تحليل سوء التفسير:
   • أظهرت الأنماط المرئية (RGB/RGB-D) معدلات عالية لسوء تفسير الحالة (حوالي 21-27%)، مما يشير إلى عدم اتساق في التأسيس الإدراكي.
   • ومن المثير للدهشة أن شرط الحقيقة المطلقة أظهر أيضًا معدل سوء تفسير بنسبة ~5%، ويُعزى ذلك إلى "هلوسة" النموذج لتغيرات في الحالة رغم تلقيه بيانات صحيحة وصريحة.
3. الاستجابة غير الرتيبة للضوضاء: في المحاكاة، أدت إضافة ضوضاء محكومة (قلب الحالة عشوائيًا) إلى تحسين الأداء مقارنة بالخط المرجعي الخالي من الضوضاء.
   • بلغت معدلات النجاح ذروتها عند احتمالية قلب حالة بنسبة 40%، محققة زيادة قدرها 2.85 ضعفًا عن الخط المرجعي الخالي من الضوضاء.
   • تراجع الأداء مرة أخرى عند مستويات الضوضاء الأعلى (>40%).
4. آلية التحسن: يرتبط تحقيق مكاسب الأداء تحت ظروف الضوضاء المتوسطة بتقليل حلقات الأفعال المتكررة.
   • ارتبطت حلقات الأفعال (تكرار تسلسلات فرعية من الأفعال دون إحراز تقدم) سلبًا بالنجاح.
   • سمحت الملاحظات المثالية للوكيل بالدخول في هذه الحلقات والبقاء فيها عندما تفشل الأفعال في إحداث التغييرات المتوقعة.
   • عملت الضوضاء الإدراكية المتوسطة على تعطيل هذه الحلقات، مما أجبر الوكيل على استكشاف أفعال بديلة، وبالتالي كسر دورة الفشل.

المساهمات الرئيسية

• إطار عمل استقصاء سلوكي: تضع الورقة منهجية لتقييم النماذج اللغوية الكبيرة المتجسدة من خلال تغيير قنوات الملاحظة للكشف عن الآليات السلوكية الكامنة بدلاً من الاعتماد فقط على المقاييس القائمة على النتائج.
• نتائج الدقة غير المتوقعة: توضح الدراسة أن دقة الملاحظة العالية يمكن أن تعيق فعليًا حل المشكلات، مما يتحدى الافتراض القياسي بأن "البيانات الأفضل" تؤدي إلى "استدلال أفضل".
• تحديد أنماط الفشل: تحدد الدراسة "حلقات الأفعال المتكررة" كنمط فشل حرج في النماذج اللغوية الكبيرة المتجسدة، وتوضح كيف يمكن للأخطاء الإدراكية أن تخفف من حدة هذه المشكلة عن غير قصد من خلال تعطيل أنماط القرار التكرارية.

الأهمية والادعاءات
يزعم المؤلفون أن معدلات النجاح وحدها غير كافية لتقييم النماذج اللغية الكبيرة المتجسدة. فقد يعكس الأداء المقاس "تفاعلًا عرضيًا" بين أخطاء الإدراك وفشل الاستدلال بدلاً من القدرة على حل المشكلات بقوة.

تجادل الورقة بأنه في التفاعلات ذات الحلقة المغلقة، لا تعد الملاحظات مجرد مدخلات سلبية، بل تشكل بنشاط ديناميكيات اتخاذ القرار. وبناءً على ذلك، فإن ما يبدو كأداء متفوق تحت مدخلات أقل دقة لا ينبغي تفسيره كدليل على قوة الاستدلال، بل قد يكون انعكاسًا لأثر جانبي حيث تعمل أخطاء الإدراك المتراكمة بالصدفة على تعطيل أنماط فشل معينة (مثل حلقات الأفعال) التي تستمر بفضل التغذية الراجعة الدقيقة.

يخلص المؤلفون إلى أن التقييم الصارم للنماذج اللغوية الكبيرة المتجسدة يتطلب اختبارات معيارية واقعية ذات حلقة مغلقة مدمجة مع تدخلات سلوكية محكومة للفصل بين القيود الإدراكية وقدرات الاستدلال. ويشيرون إلى أن نتائجهم خاصة بالنماذج والمهام التي تم تقييمها، ويدعون إلى مزيد من العمل لتحديد ما إذا كانت هذه السلوكيات تعمم على بنيات النماذج والمزودين المختلفين.