🤖 AI

Sword: Style-Robust World Models as Simulators via Dynamic Latent Bootstrapping for VLA Policy Post-Training

تقترح الورقة البحثية إطار عمل Sword، وهو نموذج عالم (World Model) قوي يوظف تعزيز الأسلوب الموجه بالبنية (Structure-Guided Style Augmentation) والتمهيد الكامن الديناميكي (Dynamic Latent Bootstrapping) للتخفيف من إخفاقات التعميم وتراكم الأخطاء في عمليات التشغيل المغلقة الحلقة (closed-loop rollouts)، مما يعزز بشكل كبير من دقة ونجاح تدريب ما بعد التعلم المعزز لسياسات الرؤية واللغة والعمل (Vision-Language-Action policies) على معيار LIBERO.

المؤلفون الأصليون: Jiaxuan Gao, Yongjian Guo, Zhong Guan, Wen Huang, Wanlun Ma, Xi Xiao, Junwu Xiong, Sheng Wen

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaxuan Gao, Yongjian Guo, Zhong Guan, Wen Huang, Wanlun Ma, Xi Xiao, Junwu Xiong, Sheng Wen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية القيام بمهمة، مثل التقاط كوب. عادةً، يتعين عليك ترك الروبوت يتدرب في العالم الحقيقي، وهو أمر بطيء، ومكلف، وينطوي على مخاطر إذا كسر شيئاً ما. ولحل هذه المشكلة، يستخدم العلماء "نماذج العالم" (World Models). فكر في "نموذج العالم" كأنه محرك ألعاب فيديو فائق الذكاء يمكن للروبوت استخدامه للتدرب داخل عقله الخاص. بدلاً من تحريك ذراعه الحقيقية، "يتخيل" الروبوت المستقبل: "إذا حركت ذراعي بهذه الطريقة، فسيبدو الكوب بهذا الشكل في المرة القادمة".

ومع ذلك، تواجه محركات ألعاب الفيديو الحالية للروبوتات مشكلتين كبيرتين:

إنها انتقائية جداً بشأن المناظر المحيطة. إذا تغير الإضاءة أو لون الطاولة في العالم الحقيقي، يصاب خيال الروبوت بالارتباك ويبدأ في "الهلوسة" (رؤية أشياء ليست موجودة).
تسوء جودتها كلما طالت مدة اللعب. إذا حاول الروبوت تخيل سلسلة طويلة من الأحداث، فإن الأخطاء الصغيرة في الثواني القليلة الأولى تتراكم، مما يحول بقية الفيديو إلى كتلة ضبابية وغير مفهومة.

يقدم البحث نظاماً جديداً يسمى Sword لإصلاح هاتين المشكلتين. وإليك كيف يعمل، باستخدام تشبيهات بسيية:

1. "صالة الألعاب الرياضية المتغيرة الأنماط" (تعزيز النمط الموجه بالهيكل)

المشكلة: تخيل روبوتاً تدرب فقط في غرفة ذات جدران زرقاء وأضواء ساطعة. إذا وضعته في غرفة ذات جدران صفراء وأضواء خافتة، سيصاب بالذعر لأنه لم يتعلم أن "الجدران" هي جدران بغض النظر عن لونها؛ لقد حفظ "الطلاء" بدلاً من حفظ "الفيزياء".

حل Sword: وضع المؤلفون الروبوت في "صالة ألعاب رياضية متغيرة الأنماط". إنهم يستخدمون أداة خاصة لتغيير مظهر فيديوهات التدريب باستمرار—جعل الجدران حمراء، أو الأضواء خافتة، أو نقش الخشب على الطاولة، أو تغيير لون ذراع الروبوت.

العقدة: هم لا يغيرون الألوان عشوائياً فحسب؛ بل يستخدمون "شبكة أمان" (توجيه هندسي) للتأكد من أن الروبوت لا يفقد تتبع أماكن الأشياء. يمكن للطاولة أن يتغير لونها، لكن لا يمكنها فجأة أن تتحول إلى سحابة عائمة.
النتيجة: يتوقف الروبوت عن حفظ ألوان محددة ويبدأ في تعلم قواعد الفيزياء الحقيقية. يتعلم أنه "إذا دفعت الكوب، فسينزلق"، بغض النظر عن شكل الكوب. وهذا يجعله أفضل بكثير في التعامل مع البيئات الجديدة وغير المرئية سابقاً.

2. "البروفة ذات التصحيح الذاتي" (التمهيد الكامن الديناميكي)

المشكلة: تخيل طالباً يؤدي اختباراً. في الفصل (التدريب)، يعطيه المعلم الإجابات للأسئلة السابقة لكي يركز على السؤال التالي. يُسمى هذا "الإجبار بالمعلم" (Teacher Forcing). ولكن في الاختبار الحقيقي (الاستنتاج)، يتعين على الطالب تذكر إجاباته السابقة لحل المشكلة التالية. إذا ارتكب خطأً صغيراً في البداية، فسيقع في حلقة مفرغة من الأخطاء.

حل Sword: ابتكر المؤلفون طريقة "بروفة ذات تصحيح ذاتي" تسمى التمهيد الكامن الديناميكي (Dynamic Latent Bootstrapping).

بدلاً من إعطاء الروبوت دائماً الإجابات "الحقيقية المثالية" أثناء التدريب، يبدأون ببطء في السماح للروبوت باستخدام توقعاته الخاصة كنقطة انطلاق للخطوة التالية.
"خدعة الذاكرة": للقيام بذلك دون أن تنفجر ذاكرة الروبوت (مما قد يتطلب مساحة تخزين حاسوبية هائلة)، يقومون بضغط "أفكار" الروبوت في ذاكرة مؤقتة (cache) صغيرة وفعالة (مثل مفكرة عالية السرعة) بدلاً من حفظ إطارات فيديو كاملة.
النتيجة: يتعلم الروبوت كيفية التعافي من أخطائه أثناء عملية التعلم نفسها. إنه يتدرب تماماً بنفس الطريقة التي سيؤدي بها في العالم الحقيقي، لذا عندما يتعين عليه القيام بالمهمة فعلياً، فإنه لا ينهار بعد بضع ثوانٍ.

النتائج

اختبر الفريق نظام Sword على معيار قياسي للروبوتات يسمى LIBERO.

الجودة البصرية: عندما طُلب منه تخيل سلسلة طويلة من الأحداث، حافظ Sword على وضوح وحدة الفيديو. بينما أصبحت الطريقة القديمة (WoVR) ضبابية وبدأت ترى أشياء غير موجودة (هلوسات).
القوة والتحمل: عندما تغيرت الإضاءة أو الخلفية، استمر Sword في العمل بشكل مثالي، بينما فشلت الطريقة القديمة فوراً.
معدل النجاح: عندما استخدموا Sword لتدريب سياسة روبوت باستخدام التعلم المعزز، نجح الروبوت في المهام بمعدل أكبر بكثير مما حققه عند التدريب باستخدام المحاكي القديم.

باختصار: Sword هو "آلة أحلام" أفضل للروبوتات. فهو يعلمها تجاهل المشتتات السطحية (مثل تغيرات الإضاءة) ويدربها على التعامل مع أخطائها، مما ينتج عنه روبوت يمكنه تخيل المستقبل بدقة والعمل بأمان في العالم الحقيقي.

ملخص تقني: Sword – نماذج العالم القوية كأدوات محاكاة عبر التمهيد الكامن الديناميكي

1. بيان المشكلة

برز دمج نماذج الرؤية واللغة والعمل (VLA) مع نماذج العالم (World Models) كنموذج واعد للمناولة الروبوتية، مما يسمح بتحسين السياسات داخل "الخيال" (بيئات محاكاة) لتجاوز التكاليف الباهظة للتفاعل الفيزيائي. ومع ذلك، فإن نماذج العالم الحالية، عند نشرها كمحاكيات لمعايير محددة مثل LIBERO، تواجه قيودين حرجين يقوضان موثوقيتها:

ضعف التعميم والحساسية للاضطرابات: غالبًا ما تفرط النماذج الحالية في الملاءمة (overfitting) مع الأنسجة البصرية وتكوينات الأشكال الثابتة لبيئات التدريب الخاصة بها. وعند تعرضها لاضطرابات خارج التوزيع (OOD) — مثل التغيرات في لون الخلفية، أو الإضاءة، أو مظهر الأشياء — تفشل هذه النماذج في التعميم. وبدلاً من نمذجة الديناميكيات الفيزيائية الأساسية، تعتمد على ارتباطات إحصائية سطحية، مما يؤدي إلى حدوث هلاوس متتالية كارثية (مثل الضبابية الشديدة، أو فرط التعرض للضوء، أو الانهيار الهيكلي) أثناء عمليات التشغيل ذات الحلقة المغلقة.
تراكم الخطأ التنبئي الذاتي (انحياز التعرض): تستخدم منهجيات التدريب القياسية "الإرغام بالمعلم" (Teacher Forcing)، حيث تُستخدم الإطارات الحقيقية كـسياق للتنبؤ بالحالات المستقبلية. ومع ذلك، أثناء الاستنتاج، يجب على النموذج الاعتماد على تنبؤاته غير المثالية. يتسبب هذا التحول في التوزيع في تراكم الأخطاء الصغيرة وتضخيمها عبر عمليات التشغيل طويلة المدى، مما يؤدي إلى تدهور دقة الحالات المستقبلية المتوقعة ويجعل المحاكي غير موثوق لتدريب التعلم التعزيزي (RL) اللاحق.

2. المنهجية: إطار عمل Sword

لمعالجة هذه الثغرات، يقترح المؤلفون Sword، وهو إطار عمل لنموذج عالم قوي مصمم لفصل دلالات البيئة عن الديناميكيات المتعلقة بالمهمة ومواءمة توزيعات التدريب والاستنتاج. يتكون الإطار من مكونين أساسيين:

2.1 تعزيز الأسلوب الموجه بالهيكل

لتحسين التعميم ومنع الإفراط في الملاءمة مع الأنسجة البصرية منخفضة المستوى، يقدم Sword مسار تعزيز أسلوب عشوائي أثناء التدريب.

الآلية: بناءً على بنية Cosmos-Transfer 2.5، تطبق الطريقة تحويلات أسلوب مستمرة (مثل السطوع، والتشبع، ولون الذراع الروبوتية، ومظهر الطاولة) على الملاحظات.
التوجيه بالهيكل: لضمان بقاء هذه التحويلات منطقية فيزيائياً ومتسقة دلالياً، يتم توجيه عملية التعزيز بواسطة أولويات هندسية ومهمات محددة. يتم حقن وسائط مساعدة، مثل خرائط العمق وأقنعة التجزئة الدلالية (المستخرجة عبر DepthAnything وGroundingDINO وSAM2)، في فرع التحكم الهندسي. كما يقوم مطالب مشترك يجمع بين دلالات المهمة وأهداف الأسلوب بتوجيه فرع التحكم النصي.
الهدف: يجبر هذا النموذج على تعلم الديناميكيات الفيزيائية الثابتة ( $S_{env}$ ) والقيود الهندسية ( $G_{env}$ ) بدلاً من الإشارات السطلية على مستوى البكسل، مما يعزز المتانة في ظروف خارج التوزيع (OOD).

2.2 التمهيد الكامن الديناميكي (DLB)

للتخفيف من انحياز التعرض الناتج عن عدم التطابق بين "الإرغام بالمعلم" (في التدريب) والتوليد التنبئي الذاتي (في الاستنتاج)، يقترح Sword "التمهيد الكامن الديناميكي".

الآلية: بدلاً من الانتقال المفاجئ من "الإرغام بالمعلم" إلى التكييف الذاتي، ينفذ DLB انتقالاً تدريجياً. فهو يحافظ على ذاكرة تخزين مؤقت كامنة ديناميكية في فضاء VAE الكامن (مما يقلل من عبء الذاكرة من مئات الجيجابايت إلى أقل من 20 جيجابايت مقارنة بفك التشفير في فضاء البكسل).
العملية: أثناء التدريب، يتم كتابة التنبؤات الكامنة الخاصة بالنموذج باستمرار في هذه الذاكرة المؤقتة. تزيد دالة الهدف في التدريب تدريجياً من احتمالية استخدام هذه التنبؤات المخزنة كإشارات سياقية تاريخية، بدلاً من الإطارات الحقيقية.
الهدف: يخلق هذا حلقة تدريب "ممهدة" حيث يتعلم النموذج تصحيح الأخطاء الناجمة عن تنبؤاته الخاصة، مما يضمن مواءمة توزيع التدريب مع توزيع الاستنتاج واستقرار عمليات التشغيل طويلة المدى.

2.3 بنية النموذج

يستخدم الإطار Wan 2.2 TI2V كعمود فقري، وهو محول انتشار توليدي (diffusion-based generative Transformer). يتم حقن الأفعال كنصوص لتوجيه التنبؤ بالإطارات. يعمل النموذج في فضاء كامن حيث يتنبأ كامن سياقي واحد بكامنين مستقبليين (يتم فك تشفيرهما إلى 8 إطارات)، مع دمج الإطار الأول من الحلقة كشرط عالمي لتعزيز الاتساق الزمني.

3. المساهمات الرئيسية

يلخص البحث مساهماته كما يلي:

تعزيز الأسلوب الموجه بالهيكل: مسار ينوع الظروف البصرية مع الحفاظ على الهيكل الهندسي ودلالات المهمة، مما يشجع على تعلم الديناميكيات ذات الصلة بالانتقال بدلاً من الأنسجة السطحية.
التمهيد الكامن الديناميكي: آلية فعالة من حيث الذاكرة تقوم بتكييف النموذج تدريجياً على تنبؤاته الكامنة الخاصة أثناء التدريب، مما يقلل بفعالية من عدم التطابق بين التدريب والاستنتاج المتأصل في "الإرغام بالمعلم".
تقييم شامل: تقييم منهجي على معيار LIBERO يوضح تفوق Sword على خط الأساس WoVR في التعميم، وجودة التوليد، ودقة المحاكي، ومعدل نجاح تدريب السياسة (VLA) اللاحق.

4. النتائج التجريبية

أُجريت التجارب على معيار LIBERO-Spatial باستخدام مجموعة بيانات مكونة من 1,600 حلقة تشغيل (1,500 للتدريب و100 للتقييم). شمل التقييم مجموعة اختبار خارج التوزيع (LIBERO-Mixed) مع تغييرات أسلوبية غير مرئية.

التعميم: تحت ظروف خارج التوزيع (مثل تغيرات الإضاءة والألوان)، أظهر خط الأساس WoVR تدهوراً شديداً، حيث أصبحت التنبؤات ضبابية وانهارت هيكلياً بحلول الإطار 30. في المقابل، حافظ Sword على تنبؤات مستقرة ودقيقة واتساق أسلوبي طوال الآفاق الزمنية الطويلة.
جودة التنبؤ: أظهرت المقاييس الكمية (LPIPS, FID, FVD, FloLPIPS) تفوق Sword المستمر على WoVR. والجدير بالذكر أنه في مجموعة البيانات المختلطة خارج التوزيع، حقق Sword انخفاضاً كبيراً في FVD (32.59 مقابل 119.62 لـ WoVR)، مما يشير إلى قدرة فائقة على الحد من الضبابية والاضطراب.
المتانة والدقة: في عمليات المحاكاة ذات الحلقة المغلقة التي تتضمن تفاعلات فيزيائية (مثل الإمساك)، فشل WoVR في اتباع تسلسلات الأفعال بدقة، حيث كان غالباً ما يغلق القوابض قبل الأوان أو يفقد تتبع الأشياء. أظهر Sword قدرة تحكم أفضل في الأفعال، حيث حافظ بشكل صحيح على القوابض مفتوحة حتى تحقيق المحاذاة ونفذ عمليات الإمساक التصحيحية بنجاح.
معدل نجاح السياسة: عند استخدامه كمحاكي للتدريب اللاحق بالتعلم التعزيزي (باستخدام GRPO مع OpenVLA-OFT)، مكن Sword الوكلاء (VLA) من تحقيق معدلات نجاح أعلى (61.72% عند الخطوة 172) مقارنة بخط الأساس WoVR (53.12%).

دراسات الاستبعاد (Ablation Studies)

فعالية DLB: أدى إزالة DLB إلى تدهور مستمر في الأداء عبر جميع المقاييس، لا سيما في استقرار الآفاق الطويلة واتساق الإضاءة، مما يؤكد دوره في تقليل انحياز التعرض.
تصميم الذاكرة المؤقتة: كشفت دراسة الاستبعاد حول استراتيجيات الذاكرة المؤقتة (جداول القراءة وآليات الكتابة الراجعة) أن جدول قراءة الذاكرة المؤقتة (تحديداً التحلل الخطي - Linear Decay) كان له التأثير الأكبر على الأداء، بينما أظهرت استراتيجيات الكتابة الراجعة (المباشرة مقابل EMA، أو الفردية مقابل جميع الأجزاء) تأثيراً أقل انتظاماً. وكان التكوين الأمثل يجمع بين التحلل الخطي، والاستبدال المباشر، وجميع الأجزاء.

5. الأهمية والادعاءات

يزعم البحث أن Sword يعالج الثغرات الحرجة لاستخدام نماذج العالم كمحاكيات لتحسين سياسات VLA. من خلال النجاح في تقييد النموذج لتعلم الديناميكيات الفيزيائية الثابتة عبر تعزيز الأسلوب وحل فجوة التدريب والاستنتاج عبر التمهيد الكامن الديناميكي، يقضي الإطار على الأخطاء المتتالية المنتشرة في النهج الحالي.

يؤكد المؤلفون أن Sword يوفر محاكياً توليدياً عالي الدقة ومتيناً يحسن بشكل كبير من التعميم ومعدل النجاح الإجمالي للسياسات المحسنة. ويضعون هذا العمل كخطوة نحو جعل التعلم التعزيزي القائم على "الخيال" بديلاً قابلاً للتطبيق للتفاعل الروبوتي الفيزيائي، رغم إشارتهم المتواضعة إلى أن مقارناتهم الحالية تقتصر على خط الأساس WoVR بسبب القيود الحسابية، مع خطط لإجراء مقارنات أوسع في العمل المستقبلي.