ملخص تقني: World-VLA-Loop

بيان المشكلة

يوفر التعلم المعزز (RL) مساراً لتطوير سياسات الرؤية واللغة والأفعال (VLA) بما يتجاوز محاكاة السلوك، إلا أن تطبيقه في العالم الحقيقي تعيقه التكال Kosten الباهظة، بما في ذلك عمليات التشغيل الفيزيائي المكثفة، ومخاطر السلامة، والأعباء التشغيلية لإعادة الضبط. وبينما توفر نماذج عالم الفيديو المشروطة بالأفعال بديلاً افتراضياً للتدريب، إلا أنها تعاني حالياً من قصورين حرجين:

1. اتباع غير دقيق للأفعال: غالباً ما تفشل نماذج عالم الفيديو الحالية في محاكاة عواقب أخطاء الأفعال الطفيفة بدقة. فهي تميل إلى "الهلوسة" بنتائج ناجحة حتى عندما ينفذ الروبوت أخطاءً بسيطة (إخفاقات القرب من النجاح)، مما يفتقر إلى التأسيس الفيزيائي الدقيق اللازم للتمييز بين النجاح والفشل.
2. الافتقار إلى إشارات المكافأة الأصلية: لا توفر هذه النماذج بطبيعتها إشارات مكافأة لعملية التعلم المعزز. وتعتبر النهج الحالية التي تستمد المكافآات من التنبؤات البصرية (مثل استخدام نماذج رؤية-لغة كبيرة منفصلة أو مقاييس تشابه استدلالية) غير موثوقة عندما تكون التنبؤات الفيديوية الأساسية غير دقيقة، لا سيما في حالات إخفاقات القرب من النجاح الحرجة.

بناءً على ذلك، يصبح المحاكي الثابت المدرب على البيانات الأولية غير متوافق مع سياسة VLA المتطورة. فمع تحسن السياسة وتغير سلوكها، قد لا يعكس المحاكي الثابت بدقة أنماط الفشل الجديدة، مما يؤدي إلى انحراف في كل من المسارات المتوقعة وتقديرات المكافأة.

المنهجية: World-VLA-Loop

يقترح المؤلفون World-VLA-Loop، وهو إطار عمل مغلق الحلقة مصمم لتطوير نموذج عالم الفيديو وسياسة VLA بشكل مشترك. يعمل النظام من خلال أربع مراحل تكرارية:

1. تنسيق مجموعة بيانات SANS

لمعالجة نقص بيانات الفشل الدقيقة، قام المؤلفون بتنسيق مجموعة بيانات Success and Near-Success (SANS). وخلافاً لمجموعات البيانات القياسية التي تركز أساساً على التجارب الناجحة، تدمج SANS صراحةً بين المسارات الناجحة ومسارات "القرب من النجاح" — وهي الحالات التي يفشل فيها الروبوت بسبب عدم دقة طفيفة في تموضع النهاية الطرفية. تم بناء هذه المجموعة من ManiSkill وLIBERO وبيئات روبوتية واقعية، مما يجبر نموذج العالم على تعلم الحدود الحادة بين النجاح والفشل الطفيف.

2. نموذج عالم فيديو مدرك للحالة

جوهر المحاكي هو نموذج عالم فيديو مدرك للحالة مبني على Cosmos-Predict 2.

• البنية: يستخدم بنية Transformer للانتشار (DiT). يتم دمج تضمينات الأفعال (وضعيات النهاية الطرفية بـ 6 درجات حرية وحالات القابض) مباشرة في تضمينات الطابع الزمني للانتشار لضبط عملية التوليد.
• التنبؤ المشترك بالمكافأة: بدلاً من الاعتماد على وحدة خارجية، يتضمن النموذج رأساً للتنبؤ بالمكافأة يعمل على طبقات الانتشار الكامنة (latents). يتنبأ هذا الرأس بمكافآت النجاح/الفشل الثنائية جنباً إلى جنب مع إطارات الفيديو المستقبلية.
• هدف التدريب: يتم تدريب النموذج باستخدام دالة خسارة مشتركة تجمع بين خسارة مطابقة التدفق (للتوليد الفيديو) وخسارة التنبؤ بالمكافأة. هذا الإشراف المشترك يشجع المولد على التمييز بشكل أفضل بين النتائج الناجحة والفاشلة في الفضاء الكامن، مما يحسن كل من الدقة البصرية ودقة المكافأة.

3. التدريب اللاحق لـ VLA باستخدام التعلم المعزز

يعمل نموذج العالم المدرب كبيئة افتراضية لـ Group Relative Policy Optimization (GRPO).

• تتفاعل سياسة VLA (المبنية على OpenVLA-OFT) مع نموذج العالم، الذي يولد الملاحظات البصرية المستقبلية وإشارات المكافأة خطوة بخوة بشكل تلقائي.
• يتم تحديد هذه المكافآت لإنشاء إشارات نجاح ثنائية، مما يسمح للسياسة بالتعلم من عمليات التشغيل المحاكات دون تفاعل فيزيائي.

4. الصقل التكراري مغلق الحلقة

يؤسس الإطار دورة تطوير مشترك:

• بعد تحديث السياسة عبر التعلم المعزز، يتم نشر السياسة المطورة لتوليد عمليات تشغيل جديدة (نجاحات وإخفاقات) في العالم الحقيقي أو البيئة المستهدفة.
• تُستخدم هذه المسارات الجديدة لتعزيز مجموعة بيانات SANS.
• ثم يتم ضبط نموذج العالم بدقة باستخدام هذه المجموعة الموسعة، مما يحسن قدرته على محاكاة أنماط الفشل المحددة للسياسة المحدثة.
• تتكرر هذه الدورة، مما يضمن بقاء المحاكي متوافقاً مع السلوك المتطور للسياسة.

المساهمات الرئيسية

1. مجموعة بيانات SANS: تقديم مجموعة بيانات تدمج صراحةً بين المسارات الناجحة ومسارات القرب من النجاح لتحسين التوافق بين الفعل والنتيجة في نماذج العالم.
2. نموذج عالم مدرك للحالة: بنية مبتكرة تتنبأ بشكل مشترك بإطارات الفيديو المستقبلية والمكافآت الثنائية من طبقات الانتشار الكامنة. يوفر هذا التصميم إشارات مكافأة أصلية وموثوقة ويعزز دقة التنبؤ البصري من خلال التدريب المشترك.
3. إطار عمل World-VLA-Loop: نموذج مغلق الحلقة يقوم بصقل كل من نموذج العالم وسياسة VLA بشكل تكراري. من خلال تغذية مخرجات السيال (rollouts) مرة أخرى في تدريب نموذج العالم، يضمن النظام بقاء المحاكي متوافقاً مع أنماط الفشل الجديدة للسياسة.

النتائج التجريبية

تم تقييم الإطار عبر مهام المحاكاة (اختبارات LIBERO) والمهام الروبوتية في العالم الحقيقي (التقاط ووضع الكوب، دفع المكعب).

• أداء نموذج العالم: حقق النموذج متوسط توافق بصري بنسبة 88.5% وتوافق مكافأة بنسبة 87.25%، مما أظهر دقة عالية في التمييز بين النجاح والفشل.
• مكاسب أداء التعلم المعزز (RL):
  • في اختبارات LIBERO، شهدت سياسة OpenVLA-OFT متوسط تحسن في معدل النجاح بنسبة 12.7% بعد التدريب اللاحق بالتعلم المعزز.
  • في السيناريوهات الواقعية، تحسنت السياسة بنسبة 23.4% و13.3% في مهمتين مختلفتين مقارنة بأساس الضبط الدقيق الخاضع للإشراف (SFT).
• الصقل التكراري: حققت عملية الحلقة المغلقة مكاسب إضافية. بعد دورتين من التحسين المشترك، ارتفعت معدلات النجاح في العالم الحقيقي بنسبة إضافية بلغت 36.7% و26.6% فوق أساس الـ SFT الأولي، مما يؤكد فعالية دورة التطوير المشترك.
• دراسات الاستئصال (Ablation Studies): أدى إزالة بيانات "القرب من النجاح" من التدريب إلى تقليل التوافق البصري بنسبة ~30%، واستخدام نموذج رؤية-لغة خارجي (Qwen3-VL) للحكم على المكافأة أدى إلى دقة أقل مقارنة برأس المكافأة الداخلي، مما أكد ضرورة التصاميم المقترحة.

الأهمية والادعاءات

يزعم البحث أن World-VLA-Loop يقدم اتجاهاً قابلاً للتوسع لتعلم الروبوتات في العالم الحقيقي من خلال تقليل الاعتماد بشكل كبير على التفاعلات الفيزيائية المكلفة. ومن خلال معالجة عدم دقة اتباع الأفعال في نماذج الفيديو الحالية والافتقار إلى إشارات المكافأة الأصلية، يتيح الإطار تدريباً فعالاً للتعلم المعزز داخل بيئة افتراضية. ويؤكد المؤلفون أن نموذج التطوير المشترك أمر بالغ الأهمية؛ فالمحاكي الثابت ينحرف في النهاية عن السياسة المتحسنة، بينما يضمن إطار العمل التكراري الخاص بهم تكيف المحاكي باستمرار مع أنماط الفشل الجديدة للسياسة، مما يحول المحاكاة الموثوقة من عملية لمرة واحدة إلى نظام تعلم تكراري قوي.

يقر المؤلفون بوجود قيود تتعلق بالمهام طويلة المدى (التي تتجاوز 300 إطار) بسبب ذاكرة السياق وانحراف الجودة في نماذج الفيديو التكرارية الحالية، مما يشير إلى عمل مستقبلي في تعزيز الاستقرار طويل الأمد واستكشاف الأهداف الفرعية المتوسطة خطوة بخطوة.