💻 computer science

DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control

يُعد DiT4DiT نموذجاً جديداً للفيديو-الأكشن (Video-Action Model) يعمل من طرف إلى طرف، حيث يستفيد من ميزات إزالة الضجيج الوسيطة من محول انتشار الفيديو (video Diffusion Transformer) لتوجيه التنبؤ بالحركة عبر إطار عمل متتالي موحد، محققاً أداءً هو الأفضل في فئته وتحسناً كبيراً في كفاءة العينات في مهام التحكم الروبوتي.

المؤلفون الأصليون: Teli Ma, Jia Zheng, Zifan Wang, Chuili Jiang, Andy Cui, Junwei Liang, Shuo Yang

نُشر 2026-03-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Teli Ma, Jia Zheng, Zifan Wang, Chuili Jiang, Andy Cui, Junwei Liang, Shuo Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث DiT4DiT، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

الفكرة الكبرى: تعليم الروبوتات كيف "تتخيل" قبل أن "تتحرك"

تخيل أنك تعلم طفلاً كيفية صنع شطيرة.

الطريقة القديمة (الروبوتات الحالية): تري الطفل صورة واحدة لشطيرة وتقول له: "اصنع مثل هذه". سيضطر الطفل لتخمين كيف يتحرك الخبز، وكيف ينزلق الجبن، وكيف يقطع السكين، وكل ذلك بناءً على صور ثابتة. عليه أن يتعلم فيزياء العالم من الصالب عبر التجربة والخطأ آلاف المرات.
طريقة DiT4DiT: بدلاً من عرض صورة، تعرض للطفل فيلم فيديو لشخص يصنع الشطيرة. يشاهد الطفل الفيلم، ويرى الخبز وهو يسقط، والجبن وهو يذوب، والسكين وهي تقطع. إنه يتعلم "قصة" صنع الشطيرة. وعندما يحين دوره، لا يقوم بمجرد التخمين؛ بل "يتذكر" الفيلم ويحاكي تدفق الحركة.

DiT4DiT هو عقل روبوتي جديد يتعلم من خلال مشاهدة أفلام للمستقبل، بدلاً من مجرد النظر إلى صور ثابتة.

المشكلة: الروبوتات "عمياء فيزيائياً"

تستخدم معظم الروبوتات الحديثة نماذج VLA (الرؤية، اللغة، والحركة). فكر في هذه النماذج كأنها روبوتات بارعة جداً في القراءة والنظر إلى الصور، لكنها سيئة جداً في فهم كيفية تحرك الأشياء.

هي تتدرب على صور ثابتة (مثل صورة كوب).
لا تفهم بشكل طبيعي أنه إذا دفعت كوباً، فإنه سينزلق، ويتمايل، وربما يسقط.
لتعلم هذا، تحتاج إلى كميات هائلة من بيانات التجربة والخطأ، وهو أمر بطيء ومكلف.

الحل: الروبوت "المخرج السينمائي"

أدرك الباحثون أن نماذج توليد الفيديو (الذكاء الاصطناي الذي ينشئ الأفلام) هي بالفعل خبيرة في الفيزياء. إذا كان بإمكان الذكاء الاصطناعي إنشاء فيديو واقعي لكوب يسقط، فلا بد أنه يفهم الجاذبية، والاحتكاك، والزخم.

يربط DiT4DiT (محول الانتشار للانتشار - Diffusion Transformer for Diffusion Transformer) بين عقلين من الذكاء الاصطناعي:

صانع الأفلام (Video DiT): هذا الجزء يتنبأ بشكل المستقبل. إنه يتخيل الثواني القليلة القادمة من الفيديو بناءً على ما يراه الآن وما أخبرته به.
منفذ الحركة (Action DiT): هذا الجزء يقرر ما يجب أن تفعله أذرع الروبوت فعلياً.

الخدعة السحرية:
عادةً، ستنتظر حتى ينتهي "صانع الأفلام" من إنتاج الفيديو بالكامل، ثم تخبر "منفذ الحركة" بما يجب فعله.
لكن DiT4DiT أكثر ذكاءً. فهو يقول: "مهلاً، يا منفذ الحركة، لا تنتظر انتهاء الفيلم! فقط ألقِ نظرة خاطفة على منتصف عملية صناعة الفيلم".

إنه يأخذ "المسودة الأولية" لفيديو المستقبل (الخطوات المتوسطة حيث لا يزال الذكاء الاصطناعي يحاول تحديد التفاصيل) ويستخدمها كدليل لحركات الروبوت. الأمر يشبه قائد الأوركسترا الذي يستمع إلى العازفين أثناء ضبط آلاتهم، بدلاً من الانتظار حتى تبدأ الحفلة الموسيقية النهائية ليخبرهم كيف يعزفون.

كيف يعمل: "رقصة الخطوات الثلاث"

تقدم الورقة طريقة تدريب ذكية تسمى Dual Flow-Matching (مطابقة التدفق المزدوج). تخيل رقصة ذات ثلاث إيقاعات متميزة:

إيقاع الفيديو (الفيلم): يقوم الذكاء الاصطناعي بتوليد فيديو مستقبلي. يفعل ذلك عن طريق إزالة "الضجيج" (التشويش) ببطء من شاشة فارغة حتى تظهر صورة واضحة.
تجميد اللقطة (السر الخفي): في لحظة محددة من هذه العملية (عندما تكون الصورة ضبابية ولكن الأشكال واضحة)، يتوقف النظام مؤقتاً. يأخذ لقطة لـ "أفكار" الذكاء الاصطناعي (الميزات الخفية) في تلك اللحظة بالضبط.
إيقاع الحركة (الخطوة): ينظر عقل حركة الروبوت إلى تلك اللقطة. ويسأل: "بناءً على هذا المستقبل الضبابي، ماذا يجب أن تفعل ذراعي الآن لجعل هذا المستقبل يحدث؟"

من خلال تدريب هذين العقلين معاً في نفس الوقت، يتعلم الروبوت أن التنبؤ بالمستقبل والتحكم في الجسم هما مهارة واحدة.

لماذا يعد هذا أمراً هاماً؟ (النتائج)

اختبر الباحثون هذا النموذج في تحديين صعبين للغاية للروبوتات: LIBERO (محاكاة لذراع روبوت تقوم بمهام معينة) و RoboCasa (محاكاة لروبوت بشري يقوم بأعمال منزلية).

السرعة: تعلم 10 مرات أسرع من الطرق السابقة. الأمر يشبه تخطي الروبوت لمرحلة "التجربة والخطأ" والانتقال مباشرة إلى مرحلة "لقد فهمت الأمر".
معدل النجاح:
- في اختبار LIBERO، نجح بنسبة 98.6% من المرات. (أفضل نتيجة سابقة كانت حوالي 97%).
- في اختبار RoboCasa (وهو أصعب بكثير)، نجح بنسبة 50.8% من المرات. وهذا رقم ضخم لأن الروبوتات السابقة كانت تكافح لتجاوز 40%.
العالم الحقيقي: اختبروه على روبوت بشري حقيقي من نوع Unitree G1. على الرغم من أن الروبوت كان لديه كاميرا واحدة فقط ولم يرَ الأجسام المحددة من قبل (مثل نوع جديد من الأكواب أو الزهور)، إلا أنه استطاع القيام بالمهمة.
- تشبيه: إذا علمت روبوتاً كيفية رص أكواب بلاستيكية، ثم أعطيته أكواباً زجاجية، فقد يسقطها الروبوت العادي. لكن DiT4DiT فهم فيزياء الرص، لذا تعامل مع الأكواب الزجاجية بشكل مثالي.

"السر" في الكفاءة

وجد الباحثون شيئاً مفاجئاً: أنت لا تحتاج إلى الفيلم كاملاً.

إذا انتظرت حتى يصبح الفيديو واضحاً تماماً، فسيكون الروبوت بطيئاً جداً.
إذا استخدمت الجزء "الضبابي" من عملية توليد الفيديو، فسيكون الروبوت أسرع وأكثر دقة في الواقع.
اتضح أن "المسودة الأولية" تحتوي على المعلومات الأكثر فائدة للحركة. الانتظار للحصول على "المسودة النهائية" يشتت الروبوت بتفاصيل دقيقة جداً (بكسلات) لا تهم في الصورة الكبيرة.

الملخص

DiT4DiT هو روبوت يتعلم من خلال تخيل المستقبل. بدلاً من مجرد حفظ الصور، يتعلم "قصة" كيفية تحرك الأشياء. ومن خلال إلقاء نظرة على "المسودة الأولية" لتوليد فيديو مستقبلي، يمكنه معرفة كيفية تحريك أذرعه بدقة لجعل ذلك المستقبل حقيقة.

إنه الفرق بين روبوت يحفظ خريطة (ويضيع إذا تغير الطريق) وروبوت يفهم التضاريس (ويمكنه السير في أي مكان). هذا يجعل الروبوتات أسرع في التدريب، وأذكى في المهام الجديدة، وجاهزة للعالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث "DiT4DIT: النمذجة المشتركة لديناميكيات الفيديو والأفعال من أجل تحكم روبوتي قابل للتعميم".

1. بيان المشكلة

حققت نماذج الرؤية واللغة والأفعال (VLA) الحالية نجاحاً كبيراً في مجال الروبوتات، لكنها تعاني من قيد بنيوي جوهري: فخلفياتها (backbones) مدربة أساساً على أزواج الصور والنصوص الثابتة. وبناءً على ذلك، تفتقر هذه النماذج إلى فهم متأصل للديناميكيات الفيزيائية، والبنية الزمكانية، والحركة المستمرة. فهي تضطر لتعلم هذه التفاعلات الفيزيائية المعقدة من الصفر أثناء تدريب السياسة (policy) في مراحل لاحقة، مما يتطلب كميات هائلة من البيانات المصنفة بالأفعال، وغالباً ما يؤدي إلى ضعف في كفاءة العينات والقدرة على التعميم في السيناريوهات الواقعية.

بينما تقوم نماذج توليد الفيديو (VGMs) بتشفير غني للديناميكيات الفيزيائية والهياكل السببية بشكل طبيعي، فإن النهج الحالية لدمجها في الروبوتات غالباً ما تكون متعددة المراحل (على سبيل المثال، استخدام نماذج الفيديو فقط لتخليق البيانات أو استخراج الميزات الكامنة) بدلاً من أن تكون متكاملة الطرفين (end-to-end). وهذا يثير سؤالين حرجين:

هل يمكن لتوليد الفيديو نفسه أن يعمل كهدف تدريبي (proxy) فعال لسياسات الأفعال القوية؟
كيف يمكن استخراج التمثيلات الزمكانية التي تعلمتها نماذج الفيديو وربطها بإنتاج الأفعال بفعالية ضمن إطار عمل موحد؟

2. المنهجية: DiT4DIT

يقترح المؤلفون DiT4DIT، وهو نموذج فيديو-فعل (VAM) متكامل الطرفين يوحد بين محول انتشار الفيديو (Video DiT) ومحول انتشار الفعل (Action DiT) ضمن إطار عمل واحد.

البنية الأساسية

تصميم Dual-DiT: يتكون النظام من محولي انتشار (Diffusion Transformers) مقترنين.
- Video DiT: يعتمد على Cosmos-Predict2.5-2B، ويتنبأ بإطارات الفيديو المستقبلية بناءً على الملاحظات الحالية والتعليمات اللغوية. وبدلاً من انتظار الإطار النهائي المنقى (denoised)، فإنه يعمل كمستخرج للميزات.
- Action DiT: يعتمد على GR00T-N1، ويتنبأ بأفعال التحكم الروبوتية (مواضع المفاصل/وضعيات نهاية الأداة EEF).
استخراج الميزات عبر التخلص التدريجي المتوسط (Intermediate Denoising): على عكس الأعمال السابقة التي تستخدم إطارات مستقبلية مُعاد بناؤها، يقوم DiT4DIT باستخراج الحالات الخفية المتوسطة ( $h^{\tau_f}_t$ ) من الـ Video DiT أثناء عملية التخلص التدريجي عند خطوة زمنية تدفق محددة وثابتة $\tau_f$ . تعمل هذه الميزات كشروط مرتبطة زمنياً لـ Action DiT.
المدخلات: يتلقى Action DiT حالات الاستقبال الذاتي (proprioceptive states)، ومسارات الأفعال المشوشة، والميزات المرئية المستخرجة من Video DiT.

الابتكارات التقنية الرئيسية

هدف مطابقة التدفق المزدوج (Dual Flow-Matching Objective):
يتم تدريب النموذج باستخدام خسارة مطابقة تدفق مشتركة توحد وتُحسن توليد الفيديو والتنبؤ بالأفعال في آن واحد.
$\mathcal{L}_{total} = \mathcal{L}_{action} + \lambda \mathcal{L}_{video}$
يسمح هذا للسياسة (policy) بالتعلم مباشرة من التوزيع المشترك لديناميكيات الفيديو والأفعال، مما يربط التحكم بالنماذج المرئية التوليدية.
مخطط الخطوات الزمنية الثلاثي غير المتماثل (Asymmetric Tri-Timestep Scheme):
لمعالجة المتطلبات المتعارضة للنمذجة التوليدية (التي تحتاج إلى عينات مسار كاملة) واستخراج الميزات (التي تحتاج إلى مدخلات مستقرة وحتمية)، قام المؤلفون بفصل الخطوات الزمنية للانتشار:
- $\tau_v$ (الخطوة الزمنية للفيديو): يتم أخذ عينات منها بانتظام من $U[0, 1]$ لتدريب Video DiT على مسار التخلص التدريجي الكامل.
- $\tau_f$ (خطوة استخراج الميزات): خطوة زمنية حتمية ثابتة تُستخدم لاستخراج الحالات الخفية من Video DiT. يضمن هذا تلقي Action DiT لميزات مرئية متسقة ومستقرة بغض النظر عن مستوى ضجيج توليد الفيديو.
- $\tau_a$ (الخطوة الزمنية للفعل): يتم أخذ عينات منها من توزيع بيتا (Beta distribution) (منحاز نحو مراحل التحكم الحرجة) لتحسين تعلم Action DiT للديناميكيات العكسية.
التدريب المتكامل الطرفين (End-to-End Training):
يتجنب إطار العمل التحسين منفصل المراحل؛ حيث يتم ضبط (fine-tuning) كل من Video DiT وAction DiT بشكل مشترك، مما يسمح لنموذج الفعل بتعلم كيفية استخراج الميزات الفعالة في مراحل مختلفة من عملية توليد الفيديو.

3. المساهمات الرئيسية

نموذج جديد: يقدم أول نموذج "فيديو-فعل" متكامل الطرفين يربط بين توليد الفيديو والأفعال عبر بنية Dual DiT، متجاوزاً مرحلة ما قبل التدريب على الصور والنصوص الثابتة.
الفيديو كوسيط للتوسع (Scaling Proxy): يثبت أن توليد الفيديو هو إشارة ما قبل تدريب غير خاضعة للإشراف تتفوق على ربط الأشياء (object-level grounding) أو محاذاة الميزات الكامنة (مثل أسلوب FLARE)، مما يوفر كفاءة أفضل في العينات وسرعة في التقارب.
آلية التحسين المشترك: يقترح هدف مطابقة تدفق مزدوج مع تصميم الخطوات الزمنية الثلاثية، مما يسمح بتدريب مشترك متماسك حيث تُشترط سياسة الفعل بديناميكيات مرئية مدركة فيزيائياً ومتوسطة.
الكفاءة: يحقق أداءً يضاهي أحدث المعايير (SOTA) مع كميات أقل بكثير من بيانات التدريب وسرعة أكبر في التقارب مقارنة بنماذج VLA الثابتة.

4. النتائج التجريبية

قام المؤلفون بتقييم DiT4DIT في محاكيات (LIBERO، RoboCasa-GR1) وفي عمليات نشر واقعية (روبوت بشري Unitree G1).

اختبار LIBERO (المحاكاة):
- حقق معدل نجاح متوسط جديد (SOTA) قدره 98.6%، متفوقاً على نماذج VLA قوية مثل $\pi0.5$ (96.9%) وCogVLA (97.4%).
- أظهر أداءً استثنائياً في LIBERO-Long (97.6%)، مما يثبت قدرته على التعامل مع المهام ذات الأفق الممتد من خلال تحسين نمذجة انتقال الحالة الفيزيائية.
اختبار RoboCasa-GR1 Tabletop (المحاكاة):
- حقق معدل نجاح متوسط قدره 50.8% عبر 24 مهمة منزلية معقدة.
- تفوق على نموذج GR00T-N1.5 المحسن والمدرب مسبقاً بنسبة 9.0%، وعلى النموذج الثابت المماثل في عدد المعلمات Qwen3DiT بنسبة 14.6%.
- أظهر أداءً فائقاً في المهام التي تتطلب تنسيقاً مكانياً دقيقاً (مثل CanToDrawerClose: 74.0% مقابل 56.0%).
النشر الواقعي على Unitere G1:
- حافظ على أداء قوي في 7 مهام متنوعة (مثل ترتيب الزهور، رص الكوب، تعبئة الصناديق).
- التعميم الصفري (Zero-Shot Generalization): نجح في التكيف مع الأشياء غير المرئية، وتغيرات الفئات، وتغيرات الكميات، حيث انهارت النماذج الثابتة (Qwen3DiT) (بنسبة نجاح 0% في عدة مهام).
- كفاءة العينات: حسن كفاءة العينات بنسبة أكثر من 10 أضعاف وسرّع التقارب بما يصل إلى 7 أضعاف مقارنة بالنماذج المرتكزة على الدلالات (semantic-centric).

5. الأهمية والأثر

إعادة تعريف تعلم الروبوتات: تثبت الورقة أن توليد الفيديو ليس مجرد مهمة إضافية، بل هو وسيط توسع (scaling proxy) قوي لتعلم سياسة الروبوت. فهو يوفر مساراً أكثر كفاءة في البيانات لتعلم التحكم الفيزيائي منخفض المستوى مقارنة بالتدريب المسبق على الصور والنصوص الثابتة.
التعميم: من خلال ربط الأفعال بالديناميكيات المستمرة لتوليد الفيديو، يحقق النموذج تعميماً صفرياً فائقاً على الأشياء الجديدة وتحولات التوزيع، وهو ما يعد عقبة حرجة أمام النشر في العالم الحقيقي.
النشر العملي: رغم التكلفة الحسابية لتوليد الفيديو، يحقق إطار العمل تحكماً في الوقت الفعلي (6 هرتز) على روبوت بشري، ويثبت أن المقايضة تؤدي إلى معدلات نجاح ومتانة أعلى بكثير.
المصدر المفتوح: يطلق المؤلفون الكود والنماذج، مما يعزز المزيد من الأبحاث في نماذج العالم التوليدية للروبوتات.

في الختام، يجسد DiT4DIT الفجوة بين نماذج الفيديو التوليدية والتحكم الروبوتي، ويثبت أن الاستفادة من الديناميكيات الفيزيائية الضمنية من خلال نمذجة الفيديو والفعل المشتركة تؤدي إلى وكلاء مجسدين (embodied agents) أكثر قدرة وكفاءة وقابلية للتعميم.