MoWM: Mixture-of-World-Models for Embodied Planning via Latent-to-Pixel Feature Modulation

ملخص تقني: MoWM (خليط من نماذج العالم)

MoWM: خليط من نماذج العالم للتخطيط المجسد عبر تعديل الميزات من الفضاء الكامن إلى البكسل

1. بيان المشكلة

يتطلب تخطيط العمليات المجسدة (Embodied action planning) من الروبوتات ترجمة الملاحظات البصرية والتعليمات اللغوية إلى أفعال دقيقة قابلة للتنفيذ. تتبع الأبحاث الحالية نموذجين رئيسيين لنماذج العالم، وكلاهما يعاني من عيوب متأصلة:

• نماذج العالم القائمة على البكسل (مثل انتشار الفيديو - Video Diffusion): تتفوق هذه النماذج في الحفاظ على التفاصيل البصرية الدقيقة والمظهر. ومع ذلك، فهي تعاني من الحشو البصري (Visual redundancy)، حيث تشفر كميات هائلة من المعلومات غير المرتبطة بالمهمة (مثل الخلفيات الثابتة) التي يمكن أن تحجب إشارات الحركة الضرورية لفك تشفير الإجراء بدقة.
• نماذج العالم القائمة على الفضاء الكامن (Latent-based): تعمل هذه النماذج في فضاء ميزات مضغوط، مما يجعلها واعية بالحركة (Motion-aware) للغاية وفعالة في التقاط الديناميكيات الزمنية. ومع ذلك، فإن المستوى العالي من الضغط غالبًا ما يُثبط التفاصيل المكانية الدقيقة، وهي تفاصيل حاسمة للتحكم الدقيق والتفاعل مع الأشياء.

التحدي الجوهري هو إنشاء تمثيل يكون دقيقًا مكانيًا (من أجل التفاصيل) وواعيًا بالحركة (من أجل التحكم) في آن واحد.

2. المنهجية

يقترح المؤلفون MoWM، وهو إطار عمل هجين يدمج التمثيلات من نموذجين للعالم يكمل كل منهما الآخر. ينقسم الهيكل إلى مرحلتين متمايزتين:

المرحلة 1: التدريب المسبق المستقل لنماذج العالم الهجينة

• نموذج عالم فضاء البكسل ($G$): يعتمد على نموذج Stable Video Diffusion (SVD)، ويتم ضبطه بدقة على بيانات مجسدة للتنبؤ بتسلسلات الفيديو المستقبلية مشروطة بالتعليمات النصية. وهو يلتقط التفاصيل البصرية منخفضة المستوى وعالية الدقة.
• نموذج عالم الفضاء الكامن ($F$): باستخدام بنية قائمة على المحولات (Transformer) مع مشفر V-JEPA، يتعلم هذا النموذج التنبؤ بـ "رموز الحالة" (State tokens) المستقبلية في فضاء كامن مضغوط. ويركز على الديناميكيات الزمنية العالمية وأنماط الحركة.

المرحلة 2: التخطيط النهائي للعمل عبر تعديل الميزات

• استخراج الميزات: يوفر نموذج البكسل تنسورات ميزات متعددة المقاييس ($\Phi_{pixel}$) من طبقات U-Net المختلفة. ويوفر النموذج الكامن تسلسلًا من الرموز الكامنة ($\Phi_{latent}$).
• دمج الميزات: يتم إسقاط كلا تدفقي الميزات إلى أبعاد تضمين مشتركة. يستخدم النموذج آلية دمج قائمة على التوصيل (Concatenation-based fusion) متبوعة بإسقاط خطي لإنشاء تمثيل مدمج ($\Phi_{fused}$).
• آلية المتبقي (Residual Mechanism): لضمان عدم فقدان الدقة المكانية، تقوم آلية بوابة قابلة للتعلم بدمج الميزات المدمجة مع ميزات البكسل الأصلية: $\Phi_{final} = W_{gate}\Phi_{fused} + \Phi'_{pixel}$.
• فك تشفير الإجراء: تعمل الميزة المدمجة النهائية ($\Phi_{final}$) كشرط لمفكك تشفير سياسة الانتشار (Diffusion Policy)، والذي يقوم بعملية إزالة الضجيج بشكل تكراري لمتجه الإجراء لإنتاج أوامر الروبوت النهائية.

3. المساهمات الرئيسية

• البنية الهجينة: تقديم طريقة مبتكرة للجمع بين "الماهية" (تفاصيل مستوى البكسل) و"الكيفية" (ديناميكيات المستوى الكامن) في الذكاء الاصطناعي المجسد.
• تعديل الكامن إلى البكسل: تطوير استراتيجية دمج تستخدم الميزات الكامنة الواعية بالحركة لـ "توجيه" أو تعديل ميزات البكسل، مما يؤدي فعليًا إلى تصفية الضوضاء البصرية غير المرتبطة بالمهمة.
• التحليل الشامل: تقديم دراسة متعمقة للانحيازات الاستقرائية للفضاءات البكسلية مقابل الكامنة، مما يثبت أن الميزات الكامنة تساعد النموذج على التركيز على المعلومات المركزية المتعلقة بالإجراء.

** 4. النتائج**

• الأداء المتفوق (SOTA) على CALVIN: حقق MoWM نتائج هي الأفضل في مجالها على معيار CALVIN، متفوقًا على النماذج القائمة على VLA (مثل Pi0 و OpenVLA) والنماذج القائمة على نماذج العالم (مثل VPP). ومن الملاحظ أنه أظهر تحسنًا بنسبة 12.7% في معدلات النجاح للمهام طويلة المدى (المرحلة الخامسة).
• التحقق من العالم الحقيقي: تم نشر النموذج بنجاح على منصة روبوت AgileX لأداء مهمة طي الملابس المعقدة وطويلة المدى، مما أظهر قدرته على التعميم من المحاكاة إلى فيزياء العالم الحقيقي.
• نجاح اختبار الاستئصال (Ablation): أكدت التجارب أن الدمج القائم على التوصيل تفوق على آليات الانتباه المتقاطع (Cross-attention) والنهج القائم على البكسل فقط، مما يثبت أن حقن الديناميكيات الكامنة في تمثيلات البكسل فعال للغاية لفك تشفير الإجراء.

5. الأهمية

ينقل هذا العمل التركيز في التخطيط المجسد من "توليد بكسلات مثالية" إلى "توليد ميزات مثالية للتحكم". ومن خلال إثبات أن خليطًا من فضاءات التمثيل المختلفة يمكن أن يتغلب على قيود النماذج الفردية، يوفر MoWM مخططًا لبناء وكلاء مجسدين واسعي النطاق في المستقبل. وهو يشير إلى أن الطريق نحو التلاعب الروبوتي القوي وطويل المدى يكمن في التكامل الذكي بين الإدراك البصري عالي الدقة والاستدلال الفيزيائي المجرد.