Fast-WAM: Do World Action Models Need Test-time Future Imagination?
تقدم الورقة البحثية Fast-WAM، وهي بنية لنموذج عالم-فعل (World Action Model) تُظهر أن التخيل الصريح للمستقبل عند وقت الاختبار ليس ضرورياً لتحقيق أداء قوي في التحكم المجسد، مما يكشف أن الفائدة الرئيسية لنمذجة الفيديو تكمن في تحسين تمثيلات العالم أثناء التدريب بدلاً من توليد الملاحظات المستقبلية.
المؤلفون الأصليون:Tianyuan Yuan, Zibin Dong, Yicheng Liu, Hang Zhao
تخيل أنك تعلم روبوتًا كيفية طي منشفة. لديك طريقتان رئيسيتان لتعليمه:
نهج "الحالم": قبل أن يحرك الروبوت ذراعه، يغمض "عينيه" ويقضي وقتًا طويلاً في تخيل كل طريقة ممكنة قد تتحرك بها المنشفة في الثواني القليلة القادمة. إنه يحاكي المستقبل في رأسه، ثم يقرر ما يجب فعله بناءً على ذلك الحلم.
نهج "الطاهي الخبير": لا يضيع هذا الروبوت وقته في الحلم بالمستقبل. لقد تعلم كيف تتحرك الأشياء من خلال مشاهدة آلاف الفيديوهات أثناء دراسته. الآن، عندما يرى المنشفة، فإنه يستخدم هذا الفهم العميق ليحرك ذراعه فورًا.
Fast-WAM هو عقل روبوتي جديد يطرح سؤالاً بسيطاً: "هل نحتاج حقاً إلى جعل الروبوت يحلم بالمستقبل في لحظة الفعل، أم أن السحر الحقيقي يكم تكمن في مرحلة التعلم فقط؟"
وجد مؤلفو هذه الورقة البحثية أن نهج "الحالم" بطيء للغاية. يقضي الروبوت وقتاً طويلاً في تخيل المستقبل لدرجة أنه يتحرك ببطء شديد. لكن نهج "الطاهي الخبير" (الذي يسمونه Fast-WAM) يؤدي المهمة بنفس الكفاءة، ولكنه أسرع بـ 4 مرات.
إليك تفصيل اكتشافهم باستخدام تشبيهات بسيطة:
1. الطريقة القديمة: "تخيل، ثم افعل"
تعمل معظم نماذج الروبوتات الحالية مثل مخرج سينمائي يصور مشهداً قبل تمثيله.
العملية: يرى الروبوت مهمة ما (مثلاً: "ارفع الكوب"). أولاً، يقوم بإنشاء فيديو في رأسه يظهر عملية رفع الكوب. ثم يشاهد ذلك الفيديو الخيالي ويقول: "حسناً، بناءً على هذا الفيديو، سأحرك ذراعي بهذه الطريقة".
المشكلة: إن إنشاء ذلك الفيديو الخيالي يتطلب الكثير من قوة الحوسبة والوقت. الأمر يشبه محاولة قيادة سيارة بينما لا تزال ترسم خريطة الطريق أمامك. إنه أمر دقيق، ولكنه بطيء.
2. الطريقة الجديدة: Fast-WAM (الـ "صالة الرياضية الذهنية")
أدرك المؤلفون أن جزء "التخيل" قد يكون غير ضروري أثناء المهمة الفعلية.
التدريب (الصالة الرياضية): أثناء تعلم الروبوت (التدريب)، فإنه يقوم بالفعل بممارسة تخيل المستقبل. يشاهد الفيديوهات ويتوقع ما سيحدث بعد ذلك. هذا يشبه ممارسة لاعب الجمباز للحركات الشقلبية في الصالة الرياضية لبناء ذاكرة عضلية وفهم الفيزياء. هذه الخطوة حاسمة لأنها تعلم الروبوت كيف يعمل العالم المادي.
الاستنتاج (المباراة): عندما يحين وقت أداء المهمة فعلياً (وقت الاختبار)، يتخطى Fast-WAM مرحلة الحلم. إنه لا ينشئ فيديو. بدلاً من ذلك، يستخدم فقط "الذاكرة العضلية" والمعرفة الفيزيائية التي بناها في الصالة الرياضية ليتحرك فوراً.
النتيجة: الأمر يشبه لاعب الجمباز الذي لا يحتاج لتخيل الحركة قبل كل قفزة؛ جسده يعرف ببساطة ما يجب فعله بسبب التدريب.
3. الاكتشاف الكبير
اختبر الباحثون هذا من خلال إنشاء نسخ مختلفة من الروبوت:
النسخة (أ): "الحالم" (يتخيل المستقبل، ثم يتصرف).
النسخة (ب): "Fast-WAM" (يتدرب عبر التخيل، لكنه يتصرف فوراً).
النسخة (ج): "بدون تدريب" (يتصرف فقط، ولم يمارس التخيل أبداً).
النتيجة الصادمة:
النسخة (أ) والنسخة (ب) كانتا متساويتين تقريباً في جودة أداء المهام.
النسخة (ج) (التي لم تمارس التخيل أبداً) فشلت فشلاً ذريعاً.
الاستنتاج: السر ليس في "تفكير الروبوت في المستقبل" أثناء عمله. السر هو تعلم كيفية عمل العالم أثناء التدريب. بمجرد أن يفهم الروبوت الفيزياء والسبب والنتيجة، فإنه لا يحتاج لإضاعة الوقت في محاكاة المستقبل في الوقت الفعلي.
لماذا هذا مهم؟
السرعة: Fast-WAM سريع للغاية (190 مللي ثانية). يمكنه الاستجابة في الوقت الفعلي، مما يجعله آمناً وعملياً للروبوتات في العالم الحقيقي.
الكفاءة: يوفر كمية هائلة من قدرة الحوسبة. لا تحتاج إلى سوبر كمبيوتر لتشغيل الروبوت؛ جهاز كمبيوتر عادي يفي بالغرض.
البساطة: يثبت أننا لسنا بحاجة إلى أنظمة "رؤية مستقبلية" معقدة وبطيئة لبناء روبوتات ذكية. نحتاج فقط إلى تعليمهم جيداً، ثم تركهم يتصرفون بناءً على الغريزة.
باختصار: يعلم Fast-WAM الروبوتات أن تكون خبراء في الفيزياء حتى لا يضطروا لأن يكونوا آلات حاسبة بطيئة عند وقت الحركة. إنه الفرق بين لاعب شطرنج عظيم يرى اللوحة بأكملها فوراً، وبين شخص يتعين عليه حساب كل حركة بمفرده قبل القيام بها. اللاعب العظيم يفوز بسبب تدريبه، وليس لأنه يحسب بشكل أبطأ.
إليك ملخص تقني مفصل لورقة البحث "Fast-WAM: هل تحتاج نماذج أفعال العالم إلى تخيل المستقبل وقت الاختبار؟"
1. بيان المشكلة
برزت نماذج أفعال العالم (World Action Models - WAMs) كبديل واعد لنماذج الرؤية واللغة والأفعال (VLA) للتحكم المجسد. وخلافًا لنماذج VLA القياسية التي تربط الملاحظات بالأفعال مباشرة، تقوم نماذج WAM بنمذجة كيفية تطور الملاحظات البصرية تحت تأثير الأفعال بشكل صريح. ومع ذلك، تتبع معظم نماذج WAM الحالية نموذج "التخيل ثم التنفيذ" (imagine-then-execute):
التخيل: يقوم النموذج بتوليد (إزالة الضجيج عن) إطارات فيديو مستقبلية بشكل تكراري أثناء وقت الاختبار.
التنفيذ: يتنبأ النموذج بالأفعال بناءً على هذه الإطارات المستقبلية المتخيلة.
المشكلة الجوهرية: يسبب هذا النموذج تأخراً زمنياً كبيراً (latency) في وقت الاختبار بسبب عملية إزالة الضجيج التكرارية للفيديو، مما يجعل التحكم في الوقت الفعلي أمراً صعباً. علاوة على ذلك، لا يزال من غير الواضح ما إذا كانت مكاسب الأداء في نماذج WAM تنبع من:
(أ) التخيل الصريح للمستقبل: الفائدة الناتجة عن امتلاك بصيرة عبر إطارات الفيديو المستقبلية المولدة أثناء الاستدلال.
(ب) التدريب المشترك للفيديو (Video Co-training): الفائدة الناتجة عن تعلم تمثيلات بصرية ذات معنى فيزيائي خلال مرحلة التدريب عبر هدف التنبؤ بالفيديو.
تقوم الأنظمة الحالية بدمج هذين العاملين، مما يجعل من المستحيل عزل أي منهما هو الذي يقود الأداء.
2. المنهجية: Fast-WAM
يقترح المؤلفون Fast-WAM، وهو بنية مصممة لفصل نمذجة الفيديو أثناء التدريب عن التوليد الصريح للمستقبل أثناء الاستدلال.
البنية الأساسية
العمود الفقري (Backbone): مبني على نموذج Wan2.2-5B من نوع (Video Diffusion Transformer - DiT).
خليط المحولات (Mixture-of-Transformer - MoT): يتكون النموذج من نموذج Video DiT مشترك وAction Expert DiT متخصص.
هيكل الرموز (Token Structure):
رموز الإطار الأول النظيفة: تعمل كمرساة بصرية مشتركة (الملاحظة الحالية).
رموز الفيديو المستقبلية المشوشة: تُستخدم فقط أثناء التدريب لنمذجة الفيديو.
رموز الأفعال (Action Tokens): يتم معالجتها بواسطة خبير الأفعال (Action Expert).
رموز الأفعال يمكنها الانتباه إلى الإطار الحالي والتعليمات اللغوية.
رموز الأفعال لا يمكنها الانتباه إلى رموز الفيديو المستقبلية (لمنع تسرب المعلومات).
يتشارك فرعا الفيديو والأفعال الانتباه إلى تضمينات اللغة (language embeddings).
التدريب مقابل الاستدلال
التدريب (التدريب المشترك): يتم تدريب النموذج باستخدام هدف مطابقة التدفق المشترك (joint flow matching objective). يتعلم النموذج في آن واحد التنبؤ بمجموعات الأفعال (a1:H) والتمثيلات الكامنة للفيديو المستقبلي (z1:T). دالة الخسارة هي L=Lact+λLvid. وهذا يجبر العمود الفقري البصري على تعلم تمثيلات متجذرة فيزيائياً.
الاستدلال (السياسة المباشرة): يتخطى Fast-WAM خطوة توليد الفيديو المستقبلي بالكامل.
يأخذ الملاحظة الحالية والتعليمات.
يمررها عبر عمود الفيديو الفقري في تمريرة أمامية واحدة (single forward pass) لاستخراج التمثيلات الكامنة للعالم.
يتنبأ مباشرة بمجموعة الأفعال باستخدام خبير الأفعال.
النتيجة: لا توجد عملية إزالة ضجيج تكرارية لإطارات الفيديو المستقبلية؛ مما يقلل التأخير إلى تمريرة واحدة فقط.
المتغيرات الخاضعة للتحكم
لاختبار فرضيتهم بدقة، أنشأ المؤلفون ثلاثة متغيرات تحت نفس الإطار:
Fast-WAM (النموذج المقترح): يتدرب باستخدام التدريب المشترك للفيديو؛ ويستنتج بدون توليد المستقبل.
Fast-WAM-Joint: يتدرب باستخدام التدريب المشترك للفيديو؛ ويستنتج عبر إزالة الضجيج المشتركة للفيديو والأفعال (نموذج "التخيل ثم التنفيذ" القياسي).
Fast-WAM-IDM: يتدرب باستخدام التدريب المشترك للفيديو؛ ويستنتج عبر توليد الفيديو المستقبلي أولاً، ثم التنبؤ بالأفعال (نموذج "التخيل ثم التنفيذ" السببي).
Fast-WAM w.o. Video Co-train: له نفس بنية Fast-WAM ولكن مع إزالة خسارة التنبؤ بالفيديو أثناء التدريب (يعمل كعنصر تحكم لتقييم هدف التدريب).
3. المساهمات الرئيسية
الرؤية المفاهيمية: حددت الورقة وعزلت مصدر أداء نماذج WAM، بحجة أن القيمة الأساسية تكمن في نمذجة الفيديو أثناء التدريب وليس في تخيل المستقبل أثناء الاختبار.
بنية Fast-WAM: تصميم مبتكر يحافظ على الفوائد التمثيلية لنمذجة العالم مع تمكين الاستدلال في الوقت الفعلي عبر إزالة خطوة توليد الفيديو المستقبلي المكلفة حوسبياً.
الأدلة التجريبية: من خلال دراسات الاستبعاد المنضبطة، أثبت المؤلفون أن إزالة هدف التدريب المشترك للفيديو تسبب انخفاضاً هائلاً في الأداء، بينما إزالة التخيل في وقت الاختبار (Fast-WAM) تؤدي إلى فقدان طفيف في الأداء مقارنة بالمتغيرات القائمة على التخيل.
4. النتائج التجريبية
الاختبارات المرجعية (Benchmarks)
المحاكاة: تم التقييم على LIBERO (4 مجموعات) و RoboTwin 2.0 (التحكم باليدين).
العالم الحقيقي: تم التقييم في مهمة طي المنشفة (towel-folding) باستخدام منصة Galaxea R1 Lite.
نتائج الأداء
دقة تنافسية: يحقق Fast-WAM نتائج هي الأفضل في فئته دون الحاجة لتدريب مجسد مسبق.
RoboTwin: نسبة نجاح 91.8% (مقابل 92.2% لنموذج LingBot-VA المدرب مسبقاً).
LIBERO: متوسط نسبة نجاح 97.6% (متفوقاً على OpenVLA و π0.5).
المفاضلة بين "التدريب المشترك" و"التخيل":
Fast-WAM (بدون تخيل)≈Fast-WAM-Joint/IDM (مع تخيل). الفجوة في الأداء بينهما ضئيلة جداً.
Fast-WAM w.o. Video Co-train يعاني من انخفاض كبير (على سبيل المثال، انخفضت نسبة النجاح في RoboTwin من ~91% إلى 83.8%؛ وفي LIBERO إلى 93.5%).
الاستنتاج: هدف التنبؤ بالفيديو أثناء التدريب هو العامل الحاسم؛ أما التوليد الصريح للمستقبل في وقت الاختبار فهو غير ضروري إلى حد كبير.
الكفاءة في العالم الحقيقي:
التأخير (Latency): يعمل Fast-WAM بسرعة 190 مللي ثانية (وقت فعلي).
المقارنة: هو أسرع بـ 4 مرات من Fast-WAM-IDM (810 مللي ثانية) وأسرع بكثير من متغيرات Joint.
جودة المهمة: في مهمة طي المنشفة، تسبب إزالة التدريب المشترك للفيديو في انهيار معدلات النجاح إلى ~10% وزيادة أوقات الإنجاز بشكل كبير، مما يؤكد أن تمثيل العالم المتعلم أمر حيوي للمناولة المعقدة.
5. الأهمية
الكفاءة: يثبت Fast-WAM أن الوكلاء المجسدين عاليي الأداء لا يحتاجون إلى "الحلم" بالمستقبل أثناء التشغيل. هذا يزيل عقبة توليد الفيديو التكراري، مما يسمح بالتحكم في الوقت الفعلي على الأجهزة القياسية.
تحول في النموذج (Paradigm Shift): تشير النتائج إلى أنه ينبغي للمجتمع العلمي التركيز على تحسين تعلم تمثيل العالم أثناء التدريب بدلاً من تحسين خطوط أنابيب التوليد المعقدة أثناء الاستد.
الانتشار العملي: من خلال تحقيق أداء رائد (SOTA) مع تأخير قدره 190 مللي ثانية ودون الحاجة لتدريب مجسد مسبق مكلف، يقدم Fast-WAM مساراً قابلاً للتطبيق للغاية لنشر روبوتات عامة الغرض في بيئات ديناميكية في العالم الحقيقي.
باختصار، تجادل الورقة بأن نماذج أفعال العالم (WAMs) قيمة لأنها تتعلم تمثيلات أفضل أثناء التدريب، وليس لأنها تتخيل المستقبل أثناء التنفيذ. يستفيد Fast-WAM من هذه الرؤية لإنشاء بديل أسرع وأكثر فعالية لنماذج WAM الحالية.