ملخص تقني: هل المستقبل متوافق؟ تشخيص الاتساق الديناميكي في نماذج العمل العالمي

بيان المشكلة

برزت نماذج الرؤية واللغة والعمل (VLA) كنموذج قابل للتوسع للتحكم في الروبوتات، حيث تقوم برسم خرائط من الملاحظات البصرية والتعليمات اللغوية مباشرة إلى أفعال قابلة للتنفيذ. ومع ذلك، فإن التنبؤ المباشر بالأفعال غالبًا ما يفشل في تمثيل العواقب المستقبلية للفعل بشكل صريح، مما يترك عدم اليقين حول ما إذا كان الانتقال الفيزيائي المتوقع قابلاً للتنفيذ أو متوافقًا مع نتيجة المهمة المنشودة.

تعالج نماذج العمل العالمي (WAMs) هذه المسألة من خلال توسيع نماذج VLA للتنبؤ بالملاحظات المستقبلية والأفعال بشكل مشترك. وبينما يمكن لنماذج WAM توليد مستقبليات تبدو واقعية بصريًا، إلا أن موثوقيتها تظل قيد الفحص. وتحديدًا، ليس من الواضح ما إذا كان المستقبل المُولد مجرد مستقبل واقعي بصريًا أم أنه متوافق ديناميكيًا مع تسلسل الأفعال الذي يدعي نمذجته. تحدد الورقة البحثية الاتساق بين الفعل والحالة (action-state consistency) — وهو التوافق بين الأفعال المتوقعة وانتقالات الحالة المستحثة — كعنصر مفقود في محور الموثوقية لنماذج WAM. ويشير عدم التطابق إلى فشل في التكييف مع الفعل (action conditioning)، حيث قد ينتج النموذج مستقبليات واقعية بصريًا ولكنها غير متوافقة ديناميكيًا، مما يسيء تمثيل التلامس أو حركة الأجسام.

المنهجية

تعريف الاتساق بين الفعل والحالة

يعرف المؤلفون الاتساق بين الفعل والحالة بأنه مقياس عددي لمدى مطابقة الملاحظات المستقبلية المتوقعة للملاحظات الحقيقية التي يتم الحصول عليها من خلال تنفيذ الأفعال المتوقعة. بالنسبة لخطوة زمنية مسار $t$ وأفق زمني $\Delta$، يتم حساب درجة الاتساق $c_t$ كالتالي:
$$c_t(o_{t+\Delta}, \hat{o}_{t+\Delta}) = \exp(-\alpha \cdot d(o_{t+\Delta}, \hat{o}_{t+\Delta}))$$
حيث $\hat{o}$ هي الملاحظة المتوقعة، و $o$ هي الملاحظة الحقيقية، و $\alpha$ هو حد القياس، و $d(\cdot, \cdot)$ هي دالة المسافة. يستخدم المؤلفون متوسط مربع الخطأ (MSE) في الفضاء الكامن (قبل فك ترميز VAE) لتجنب الحساسية تجاه التغيرات على مستوى البكسل وضمان الاتفاق الهيكلي في فضاء الميزات ذي الصلة بالقرار.

النماذج وقواعد البيانات

تقيم الدراسة نموذجين ممثلين لصيغ WAM عبر قاعدتي بيانات:

1. نماذج التنبؤ المشترك: متمثلة في Cosmos-Policy (مدربة مسبقًا على RoboCasa). تقوم هذه النماذج بتمثيل التوزيع المشترك الكامل $p(o_{t+1:t+\Delta}, a_{t+1:t+\Delta} | \dots)$، حيث تولد الملاحظات والأفعال في آن واحد.
2. نماذج الديناميكا العكسية: متمثلة في LingBot-VA (مدربة مسبقًا على RoboTwin 2.0). تقوم هذه النماذج بتفكيك التوزيع المشترك، حيث تتنبأ أولاً بالحالات المستقبلية ثم تستنتج الأفعال المطلوبة لتحقيقها.

محاور التحليل

يستقصي المؤلفون الاتساق بين الفعل والحالة عبر ثلاثة أبعاد:

1. الظهور والقابلية للفصل: ما إذا كانت درجات الاتساق تفصل بشكل منهجي بين المسارات الناجحة والفاشلة.
2. الشروط الحدية: تحديد حالات الفشل حيث يصبح الاتساق غير موثوق، وتحديدًا ظاهرة انهيار الخلفية (background collapse).
3. المواءمة مع المنفعة: ما إذا كانت اتجاهات الاتساق تعكس تنبؤات القيمة المتعلمة، مما يشير إلى جدوى استخدامه كإشارة خالية من القيمة.

استراتيجيات الاختيار وقت الاختبار

للاستفادة من الاتساق في اتخاذ القرار دون الحاجة إلى رؤوس قيمة (value heads) صريحة، تقترح الورقة استراتيجيتين:

• استكشاف الاتساق (Consistency-Exploring): تنفيذ كل فرع من $N$ من الفروع المرشحة في البيئة، واختيار الفرع الذي يسجل أعلى درجة اتساق مع الحالة الملحوظة. يعمل هذا كمعيار أداء علوي.
• إجماع الاتساق (Consistency-Consensus): استراتيجية قابلة للنشر وخالية من القيمة تتجنب إعادة ضبط البيئة. تقوم بتجميع $N$ من المستقبلات المتوقعة في متوسط إجماعي ($\bar{o}_{t+\Delta}$) وتختار الفرع الذي يكون مستقبله المتوقع أكثر اتساقًا مع هذا الإجماع. يعتمد هذا على افتراض أن المتوسط الإجماعي يقرب المستقبل الحقيقي بشكل أفضل من العينات الفردية.

المساهمات الرئيسية

1. توصيف الاتساق بين الفعل والحالة: توضح الدراسة أن الاتساق بين الفعل والحالة قابل للقياس عبر نماذج التنبؤ المشترك ونماذج الديناميكا العكسية، وهو مرتبط بقوة بنجاح المهمة. يمكن لمصنف بسيط باستخدام درجات الاتساق المعيرة التنبؤ بالمسارات الناجحة مقابل الفاشلة بدرجات AUC بلغت 0.77 (Cosmos-Policy) و 0.88 (LingBot-VA).
2. تحديد انهيار الخلفية: يحدد المؤلفون نمط فشل محدد يسمى انهيار الخلفية، حيث تصبح المسارات الفاشلة ذات الديناميكيات المنخفضة متسقة بشكل مخادع. في هذه الحالات، يتنبأ النموذج بخلفية ثابتة أو حركة ضئيلة، وهو أمر يسهل التنبؤ به بشكل تافه، مما يؤدي إلى درجات اتساق عالية رغم فشل المهمة. ويرتبط هذا بانخفاض مقادير الانتقال الكامن ($\Delta z_t$).
3. الاختيار وقت الاختبار الخالي من القيمة: تثبت الورقة أن الاتساق يتبع اتجاهات النجاح والفشل المماثلة لتنبؤات القيمة المتعلمة. وبناءً على ذلك، يمكن استخدامه كـ إشارة ترتيب خالية من القيمة للاختيار وقت الاختبار. تحسن استراتيجية "إجماع الاتساق" معدلات النجاح دون الحاجة إلى نمذجة مكافأة أو تدريب إضافي.

النتائج التجريبية

RoboCasa (التنبؤ المشترك)

باستخدام Cosmos-Policy على 24 مهمة تلاعب في المطبخ:

• الأساس (Baseline): معدل نجاح 66.6%.
• إجماع الاتساق (Consistency-Consensus): حسن معدل النجاح إلى 67.3%، ليقترب من أداء الاختيار القائم على القيمة (67.4%).
• استكشاف الاتساق (Consistency-Exploring): حقق أعلى معدل نجاح بلغ 68.0%، ليكون بمثابة حد علوي.

RoboTwin 2.0 (الديناميكا العكسية)

باستخدام LingBot-VA على أكثر من 50 مهمة تلاعب ثنائية اليد:

• الأساس (Baseline): معدل نجاح 90.2%.
• إجماع الاتساق (Consistency-Consensus): حسن معدل النجاح إلى 93.0%.
  يؤكد هذا النتيجة أن الاختيار الموجه بالاتساق يتجاوز نماذج التنبؤ المشترك ليشمل صيغ الديناميكا العكسية.

التوسع مع عدد المرشحين

أدى زيادة عدد المرشحين المأخوذين ($N$) من 1 إلى 8 إلى تحسين معدلات النجاح باستمرار لكلا النموذجين، مما يشير إلى أن الاتساق يوفر إشارة فعالة للتوسع وقت الاختبار.

الأهمية والادعاءات

تدعي الورقة أن الاتساق بين الفعل والحالة يلعب دورًا مزدوجًا:

1. أداة تشخيصية: إنه مقياس موثوق لتقييم الموثوقية الداخلية لنماذج WAM، حيث يميز بين المستقبلات الواقعة بصريًا ولكنها غير متسقة ديناميكيًا، وتلك التي تمثل بصدق الانتقالات المشروطة بالفعل.
2. إشارة عملية: يوفر آلية مستقلة عن النموذج وخالية من القيمة لتوجيه اتخاذ القرار وقت الاختبار. وهذا أمر مهم للغاية لنماذج WAM التي تفتقر إلى رؤوس قيمة صريحة أو حيث تكون إشارات المكافأة نادرة.

يؤكد المؤلفون أنه بينما يعد الاتساق إشارة قوية، فإنه ليس معصومًا من الخطأ. إن تحديد انهيار الخلفية يسلط الضوء على حالة حدية يمكن أن يكون فيها الاتساق مضللاً. تقترح الورقة أن نماذج WAM المستقبلية لا ينبغي أن تتنبأ بالأفعال أو المستقبلات فحسب، بل يجب أن تكشف صراحةً عما إذا كانت مستقبلياتها المتخيلة متوافقة ديناميكيًا مع الأفعال قيد النظر، مما يمكن الروبوتات من التفكير في مدى موثوقية نتائجها المتوقعة قبل التصرف.