🤖 AI

DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA

يُعد DIAL إطار عمل مبتكرًا للرؤية واللغة والعمل يقوم بفصل اتخاذ القرار عالي المستوى عن التحكم الحركي منخفض المستوى عبر عنق زجاجة مقصود كامن قابل للتفاضل، مما يُمكّن نموذج لغة رؤية (VLM) من "النظام-2" من تخليق استشراف بصري كامن يوجه سياسة "النظام-1" خفيفة الوزن، وبالتالي تحقيق أداء رائد مع عدد أقل بكثير من العروض التوضيحية وتعميم قوي صفري القدرة.

المؤلفون الأصليون: Yi Chen, Yuying Ge, Hui Zhou, Mingyu Ding, Yixiao Ge, Xihui Liu

نُشر 2026-04-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yi Chen, Yuying Ge, Hui Zhou, Mingyu Ding, Yixiao Ge, Xihui Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية صنع شطيرة. لديك طريقتان مختلفتان تماماً للقيام بذلك:

الطريقة القديمة (طريقة "الديكتاتور"): تصرخ بأمر مثل "اصنع شطيرة!"، فيحاول عقل الروبوت فوراً استنتاج كل حركة عضلية مطلوبة للإمساك بالخبز، وفرد المايونيز، وتقطيع الطماطم. الأمر يشبه محاولة كتابة رواية عبر كتابة كل الحروف دفعة واحدة دون التفكير في الحبكة. غالباً ما يرتبك الروبوت، أو ينسى معنى كلمة "شطيرة"، أو يحشر يده ببساطة داخل المحمصة.
الطريقة الجديدة (DIAL): أنت تقسم المهمة إلى دورين متميزين: المخطط الاستراتيجي والمنفذ.

يقدم هذا البحث DIAL، وهو إطار عمل جديد يستخدم نهج "المخطط مقابل المنفذ" لجعل الروبوتات أكثر ذكاءً، وأسرع في التعلم، وأفضل في التعامل مع المواقف الجديدة.

إليك كيف يعمل DIAL، مقسماً إلى تشبيهات بسيطة:

1. العقلان: "المخطط" و"رد الفعل"

يقسم DIAL عقل الروبوت إلى نظامين، مستوحى من طريقة تفكير البشر:

النظام 2 (المخطط الاستراتيجي / المهندس المعماري): هذا هو عقل "التفكير البطيء" للروبوت. إنه ذكاء اصطناعي ضخم ومُدرب مسبقاً (مثل أمين مكتبة فائق الذكاء) يفهم اللغة والصور.
- ماذا يفعل: بدلاً من إخبار الروبوت كيف يحرك ذراعه، ينظر المخطط الاستراتيجي إلى التعليمات ("صب الشاي") والمشهد الحالي، ثم يتخيل المستقبل. إنه ينشئ "فيلمًا ذهنيًا" لما سيبدو عليه الطاولة بعد صب الشاي.
- السحر: هو لا يتكهن فحسب؛ بل يتنبأ بـ النتيجة المرئية في رمز مضغوط خاص (نية كامنة - latent intent). إنه يشبه المهندس المعماري الذي يرسم مخططاً للمنزل المكتمل قبل وضع لبنة واحدة.
النظام 1 (المنفذ / رد الفعل): هذا هو عقل "التفكير السريع" للروبوت. إنه متحكم خفيف الوزن وفائق السرعة.
- ماذا يفعل: ينظر إلى الطاولة الحالية، وينظر إلى "المخطط" الخاص بالمخطط الاستراتيجي (الصورة المستقبلية)، ثم يسأل: "ما هي حركات اليد المحددة التي أحتاجها الآن لتحويل الطاولة الحالية إلى ذلك المخطط المستقبلي؟"
- السحر: يعمل كنموذج ديناميكا عكسية كامنة (Latent Inverse Dynamics). باللغة البسيطة، هو "مهندس عكسي" يستنتج الخطوات الدقيقة لسد الفجوة بين "أين نحن الآن" و"أين نريد أن نكون".

2. السر الخفي: "العنق الضيق القابل للتفاضل" (Differentiable Bottleneck)

في أنظمة الروبوتات القديمة، كان المخطط والمنفذ يتواصلان غالباً عبر خط هاتف معطل. كان المخطط يقول "صب الشاي"، ويحاول المنفذ تخمين ما يعنيه ذلك، وغالباً ما يتجاهل الفهم العميق للمخطط.

يقدم DIAL عنق زجاجة صارماً.

تخيل الأمر مثل القمع. يجب على المخطط الاستراتيجي صب خطته بالكامل في هذا القمع (النية الكامنة). المنفذ لا يمكنه رؤية التعليمات الأصلية أو الفيديو الخام؛ يمكنه فقط رؤية ما يخرج من القمع.
هذا يجبر المخطط الاستراتيجي على أن يكون واضحاً للغاية. إذا كان المخطط سيئاً، سيفشل المنفذ. وإذا فشل المنفذ، سيتم تصحيح المخطط. إنهما مجبران على العمل معاً بشكل مثالي لأنهما ملتصقان ببعضهما عبر قناة اتصال واحدة ضيقة.

3. التدريب: "الإحماء" قبل السباق

واحدة من أكبر مشاكل تدريب الروبوتات هي أنها ترتبك عندما تحاول تعليمها كل شيء في وقت واحد. يستخدم DIAL طريقة تدريب ذكية من خطوتين:

المرحلة 1: الإحماء المنفصل (تدريبات الممارسة)
- أولاً، يتدرب المخطط الاستراتيجي بمفرده. يشاهد آلاف الفيديوهات لبشر يقومون بمهام مختلفة ويتعلم التنبؤ بكيفية ظهور المستقبل، دون القلق بشأن تحريك ذراع الروبوت. يصبح بارعاً في "الاستشراف البصري".
- في الوقت نفسه، يتدرب المنفذ بمفرده. يُعطى المخطط المستقبلي المثالي (من قِبل معلم بشري) ويتعلم كيفية تحريك الذراع لتتطابق معه.
- التشبيه: يشبه الأمر فريق كرة قدم يتدرب على خطة اللعب (المخطط) وعلى حركات القدم (المنفذ) بشكل منفصل قبل أن يلعبوا مباراة معاً.
المرحلة 2: التآزر المتكامل (اللعبة الحقيقية)
- الآن، يتم توصيلهما. يولد المخطط الاستراتيجي مخططاته الخاصة، ويحاول المنفذ اتباعها. ولأن كلاهما تدرب بشكل منفصل أولاً، فإنهما لا يصطدمان ببعضهما.
- والأهم من ذلك، إذا ارتكب المنفذ خطأً، فإن إشارة الخطأ تتدفق عبر العنق الضيق إلى المخطط الاستراتيجي، لتخبره: "مهلاً، مخططك كان غير دقيق قليلاً؛ عدّل صورتك الذهنية". هذا يسمح للنظام بأكمله بالتعلم من أخطائه دون نسيان ما يعرفه بالفعل.

4. لماذا يعد هذا أمراً هاماً (النتائج)

يظهر البحث أن DIAL يغير قواعد اللعبة لثلاثة أسباب:

كفاءة في البيانات بمقدار 10 أضعاف: نظرًا لأن المخطط الاستراتيجي يتعلم من فيديوهات البشر (وهي رخيصة وسهلة العثور عليها) والمنفذ يتعلم من بيانات الروبوت (وهي مكلفة وصعبة)، فإن الروبوت يتعلم أسرع بـ 10 مرات من الطرق السابقة. إنه يشبه طالباً يقرأ كتاباً مدرسياً (بيانات بشرية) ثم يقوم بتجربة معملية واحدة (بيانات روبوت) لإتقان الموضوع، بدلاً من إجراء 100 تجربة معملية بمفرده.
التعميم الصفري (Zero-Shot Generalization): إذا دربت روبوتاً على صب الماء من زجاجة حمراء، فإن الروبوتات القديمة غالباً ما تفشل عندما تعطيها زجاجة زرقاء. ومع ذلك، فإن DIAL يفهم مفهوم "الصب" لأن مخططه الاستراتيجي يركز على النية (الحالة المستقبلية لامتلاء الكوب) وليس على لون الزجاجة المحدد. يمكنه التعامل مع أشياء جديدة، وخلفيات جديدة، وتوليفات لم يسبق له رؤيتها من قبل.
المتانة (Robustness): في العالم الحقيقي، تحدث أخطاء. DIAL أفضل في تجاهل المشتتات (مثل مرور قطة بجانبه) لأن "مخططه" يركز على الهدف، وليس على الفوضى المحيطة.

الملخص

DIAL يشبه توظيف مهندس معماري رؤيوي وبناء ماهر.

المهندس المعماري (النظام 2) لا يلمس الأدوات؛ هو فقط يرسم صورة مفصلة ودقيقة للمنزل المكتمل.
البناء (النظام 1) لا يشغل باله بالتصميم؛ هو فقط ينظر إلى الصورة وإلى كومة الطوب الحالية ويحدد بالضبط كيفية تحريكها لتتطابق مع الصورة.
وهما مرتبطان بقاعدة صارمة: يمكن للبناء العمل فقط بناءً على صورة المهندس المعماري.

هذا الفصل يسمح للروبوت بالتعلم بشكل أسرع، وفهم التعليمات بشكل أفضل، والتعامل مع مواقف العالم الحقيقي الفوضوية ببراعة تشبه براعة البشر، كل ذلك باستخدام جزء ضئيل من البيانات التي احتاجتها الروبوتات السابقة.

إليك ملخص تقني مفصل لورقة البحث "DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA".

1. بيان المشكلة

لقد تسارعت وتيرة تطوير نماذج الرؤية واللغة والأفعال (VLA) بفضل نماذج الرؤية واللغة (VLMs) سابقة التدريب. ومع ذلك، تواجه مناهج الـ VLA المباشرة (end-to-end) معضلة هيكلية حرجة:

عدم استغلال نماذج الـ VLM: تتعامل معظم الأساليب مع نماذج الـ VLM كمجرد مشفرات متعددة الوسائط لاستخراج الميزات، مما يفشل في الاستفما من قدراتها العالية في اتخاذ القرار والاستنتاج.
عدم استقرار التدريب: غالباً ما يؤدي رسم الخرائط المباشر من ميزات الرؤية واللغة إلى أفعال منخفضة المستوى إلى انهيار التمثيلات الدلالية الغنية للـ VLM أو الإفراط في التكيف (overfitting) مع أنماط أفعال زائفة بسبب التدرجات غير المستقرة.
الافتقار إلى التجذر الفيزيائي: بينما تستخدم بعض الأساليب نمذجة عالم مساعدة، فإنها غالباً ما تعامل التنبؤ بالمستقبل كـ "سياق اختياري" بدلاً من كونه "قيداً هيكلياً صارماً". وهذا يسمح للسياسات بتجاوز قصد الـ VLM، والاعتماد على ارتباطات سطحية بدلاً من الفهم الفيزيائي الحقيقي.
عدم كفاءة البيانات: تتطلب الأساليب الحالية كميات هائلة من بيانات الروبوت التجريبية لتحقيق أداء معقول، مما يحد من القدرة على التوسع.

التحدي الجوهري هو تصميم نموذج VLA مباشر يربط بصرامة بين التنفيذ الحركي منخفض المستوى وقصد الـ VLM عالي المستوى، مع الحفاظ على استقرار التدريب وكفاءة البيانات.

2. المنهجية: إطار عمل DIAL

يقدم DIAL (فك الارتباط بين القصد والفعل عبر نمذجة العالم الكامن) بنية نظام مزدوج مستوحاة بيولوجياً، تربط بين الاستنتاج عالي المستوى (النظام-2) والتنفيذ منخفض المستوى (النظام-1) عبر عنق زجاجة للقصد الكامن القابل للتفاضل.

أ. نظرة عامة على البنية

النظام-2 (الـ "دماغ" - القصد التنبئي):
- الدور: يعمل كـ نموذج عالم كامن (Latent World Model). بدلاً من توليد نصوص أو بكسلات خام، يقوم بتخليق استشراف بصري كامن ( $x_t$ ) ضمن فضاء الميزات الأصلي لمحول الرؤية (ViT) الخاص بنموذج الـ VLM.
- الآلية: يأخذ التعليمات اللغوية ( $l_t$ ) والملاحظات الحالية ( $o_t$ ) للتنبؤ بحالة الهدف الفرعي المستقبلية ( $o_{t+H}$ ) في الفضاء الكامن.
- الهدف: يتم تدريبه لتقليل متوسط مربع الخطأ (MSE) بين القصد الكامن المتوقع والميزات المستقبلية الحقيقية المستخرجة بواسطة مشفر الـ ViT نفسه (المجمد). هذا يجبر الـ VLM على تعلم الديناميكيات المتجذرة فيزيائياً.
النظام-1 (الـ "مخيخ" - السياسة التفاعلية):
- الدور: يعمل كـ نموذج ديناميكيات عكسية كامن (Latent Inverse Dynamics Model).
- الآቻلية: هو سياسة خفيفة الوزن تعتمد على مطابقة التدفق (Flow-matching) (بناءً على محولات الانتشار، DiT). يأخذ الملاحظة الحالية ( $o_t$ )، والحالة الحسية العميقة ( $q_t$ )، والقصد الكامن المتوقع ( $x_t$ ) من النظام-2.
- الوظيفة: يحسب الأفعال الحركية الدقيقة المطلوبة لسد الفجوة بين الحالة الحالية والقصد الكامن المستقبلي. وهو يعامل توليد الفعل كمسألة نقل أمثل (optimal transport) ضمن الفضاء الكامن الموحد.

ب. نموذج التدريب: من الإحماء المنفصل إلى الترابط الكامل

لضمان استقرار التحسين ومنع انهيار التمثيل، يستخدم DIAL استراتيجية تدريب على مرحلتين:

المرحلة 1: الإحماء المنفصل (Decoupled Warmup):
- يتم تدريب النظام-2 للتنبؤ بالحالات الكامنة المستقبلية باستخدام بيانات متنوعة خالية من الأفعال (أو مستقبليات حقيقية).
- يتم تدريب النظام-1 لرسم الخرائط من الملاحظات إلى الأفعال باستخدام ميزات المستقبل الحقيقية (بتجاوز تنبؤات النظام-2 في البداية).
- الهدف: يسمح هذا لـ "الدماغ" بتعلم الديناميكيات الفيزيائية ولـ "المخيخ" بإتقان التحكم الحسي الحركي بشكل مستقل، مما يمنع تداخل التدرجات.
المرحلة 2: التآزر المتكامل (End-to-End Synergy):
- يصبح النظام-1 الآن مشروطاً بـ القصد الكامن المُخلق ( $x_t$ ) من النظام-2.
- يصبح خط الإنتاج بالكامل قابلاً للتفاضل. تتدفق التدرجات من فقدان الفعل (action loss) عبر عنق الزجاجة الكامن لتنقية هيكل الـ VLM الأساسي.
- الهدف: هذا يجبر قصد الـ VLM على التطور إلى تمثيل "واعٍ بالفعل"، متوافق تماماً مع متطلبات التنفيذ.

3. المساهمات الرئيسية

بنية VLA مبتكرة: يقدم DIAL عنق زجاجة كامن قابل للتفاضل يفرض هيكلياً على السياسة الاعتماد على القصد التنبئي للـ VLM. بخلاف المخططات الهرمية (غير القابلة للتفاضل) أو نماذج الـ VLA القياسية المباشرة (التي تعاني من ارتباط ضعيف)، يضمن DIAL أن التنفيذ مرساة في الاستنتاج عالي المستوى.
تدريب من المنفصل إلى الموحد: تعمل استراتيجية الإحماء المزدوج المقترحة على استقرار التدريب من خلال فصل تعلم الديناميكيات الفيزيائية (النظام-2) والتحكم الحركي (النظام-1) قبل توحيدهما. وهذا يمنع "النسيان الكارثي" لمعرفة الـ VLM.
أداء متفوق وقابلية للتوسع: يحقق DIAL أداءً فائقاً مع كفاءة في البيانات أعلى بمقدار 10 أضعاف (باستخدام 10% فقط من بيانات الروبوت المطلوبة للطرق السابقة). وقد نجح في الاستفادة من البيانات البشرية غير المتجانسة (EgoDex) لتحسين التعميم في حالات Zero-shot.

4. النتائج التجريبية

قام المؤلفون بتقييم DIAL على معيار RoboCasa GR1 Tabletop (24 مهمة) ونشروه على روبوت بشري حقيقي من طراز IRON-R01-1.11.

الأداء في المحاكاة (البيانات الكاملة): حقق DIAL معدل نجاح متوسط قدره 70.2%، متفوقاً بشكل كبير على أقوى النماذج المرجعية: FLARE (55.0%) وGR00T-N1.6 (47.6%).
الكفاءة في التعلم القليل (Few-Shot): في إعداد التعلم القليل (100 مسار لكل مهمة)، حقق DI_AL نسبة نجاح 58.3%، متجاوزاً FLARE المدرب على 10 أضعاف أكثر من البيانات (1,000 مسار).
النشر في العالم الحقيقي:
- الاستقرار: أدى إزالة الإحماء المنفصل إلى انخفاض حاد في الأداء (من 77.5% إلى 57.5% داخل التوزيع)، مما يثبت ضرورة مرحلة الإحماء.
- التعميم: أظهر DIAL قدرة قوية على الانتقال (Zero-shot transfer) إلى أشياء غير مرئية، وتوليفات جديدة، وبيئات غنية بالمشتتات.
- تأثير البيانات البشرية: أدى دمج التوضيحات البشرية (EgoDex) إلى تعزيز التعميم خارج التوزيع (OOD) بشكل كبير (على سبيل المثال، تحسن أنواع الأشياء غير المرئية من 34.8% إلى 41.1%).
دراسات الاستبعاد (Ablation Studies):
- الاتساق الكامن: استبدال الـ ViT المشترك بـ DINO-v2 (DIAL-DINO) أدى إلى انخفاض الأداء، مما أكد أن الاستنتاج والتحكم يجب أن يتشاركا في فضاء كامن موحد.
- العنق الهيكلي: أدت إزالة العنق الضيق (على سبيل المثال، معاملة القصد كسياق اختياري) إلى تعلم الاختصارات (shortcut learning) وأداء أقل.

5. الأهمية والتوجهات المستقبلية

تحول في النموذج: يتجاوز DIAL معاملة نماذج الـ VLM كمشفرات سلبية، ليعيد تموضعها كصناع قرار تنبئيين نشطين يشفرون قصد المهمة صراحة.
القابلية للتوسع: من خلال فصل "الاستنتاج" (النظام-2) عن "التنفيذ" (النظام-1)، يسمح الإطار بالتكرار السريع. يمكن ربل نماذج VLM الجديدة مع خبراء أفعال مدربين مسبقاً، ويمكن للنظام التوسع باستخدام فيديوهات بشرية ضخمة غير معلمة للتدريب المسبق على الاستشراف البصري.
التجذر الفيزيائي: نجح الإطار في جسر الفجوة بين الاستنتاج الدلالي المجرد والتحكم الفيزيائي الدقيق، مما يقدم نموذجاً قوياً لبناء وكلاء مجسدين (embodied agents) عامين يمكنهم التعميم في سيناريوهات العالم الحقيقي غير المرئية.

باختصار، يحل DIAL المعضلة الهيكلية لنماذج VLA المباشرة عبر تقديم عنق زجاجة للاستشراف البصري الكامن، مما يتيح تعلم روبوت مستقر، عالي الكفاءة في البيانات، وعالي القدرة على التعميم من خلال عملية تدريب منفصلة ولكن موحدة.