🤖 AI

DiLA: Disentangled Latent Action World Models

يقدم DiLA نموذج عالم مبتكر يحل المفاضلة بين تجريد الأفعال ودقة التوليد من خلال الاستفادة من التآزر بين تعلم الفعل الكامن وفك الارتباط بين المحتوى والبنية لتحقيق توليد فيديو عالي الجودة ومساحات أفعال قابلة للتفسير دون الحاجة إلى بيانات مصنفة.

المؤلفون الأصليون: Tianqiu Zhang, Muyang Lyu, Yufan Zhang, Fang Fang, Si Wu

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianqiu Zhang, Muyang Lyu, Yufan Zhang, Fang Fang, Si Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث DiLA، مقسمة إلى مفاهيم بسيطة باستخدام تشبيهات من الحياة اليومية.

المشكلة الكبرى: معضلة "الضبابية مقابل الملل"

تخيل أنك تحاول تعليم روبوت فهم كيفية عمل العالم بمجرد مشاهدة الفيديوهات، دون أن يخبره أحد بما يفعله الروبوت. هذا ما يسمى بـ نموذج الفعل الكامن (Latent Action Model - LAM).

يحتاج الروبوت إلى اكتشاف شيئين:

الفعل: ماذا يحدث؟ (مثلاً: "اليد تتحرك لليسار").
النتيجة: كيف سيبدو الإطار التالي؟ (مثلاً: "الكوب أصبح الآن على اليسار").

المقايضة:

إذا ركز الروبوت أكثر من اللازم على الفعل (جعله مجرداً وبسيطاً للغاية)، ستصبح الفيديوهات التي يولدها ضبابية ومنخفضة الجودة. الأمر يشبه وصف فيلم بأنه "رجل يمشي"، ولكن عندما تحاول رسم المشهد، تكون التفاصيل مفقودة.
إذا ركز الروبوت أكثر من اللازم على جودة التوليد (جعل الفيديو يبدو مثالياً)، فسيصاب بالارتباك. سيبدأ في الاعتقاد بأن لون القميص أو ملمس الجدار هو جزء من "الفعل". وبالتالي سيفشل في تعلم الحركة الفعلية.

تضطر الطرق الحالية عادةً للاختيار بين أحدهما، أو تستخدم عملية معقدة من خطوتين لا تعملان جيداً معاً.

الحل: DiLA (المهندس والرسام)

يقترح المؤلفون DiLA (نموذج عالم الأفعال الكامنة المنفصلة). فكرتهم الكبيرة هي تقسيم عقل الروبوت إلى فريقين متخصصين يعملان معاً: الهيكل (Structure) والمحتوى (Content).

فكر في الأمر كبناء منزل:

فريق الهيكل (المهندس المعماري): يهتم هذا الفريق فقط بـ المخطط الهندسي. أين توجد الجدران؟ أين يوجد الباب؟ كيف يتحرك الباب؟ هو يتجاهل لون الطلاء، أو ورق الحائط، أو الأثاث. مهمته هي فهم الحركة والتخطيط.
فريق المحتوى (الرسام): يهتم هذا الفريق بـ التفاصيل. ما هو لون الجدار؟ هل الأرضية خشبية أم بلاط؟ هو لا يهتم بالمخطط الهندسي؛ هو فقط يتذكر مظهر المنزل.

كيف يعملان معاً:

ينظر المهندس إلى إطارين ويقول: "الباب تحرك من اليسار إلى اليمين". يقوم المهندس بتجريد كل شيء من الطلاء والملمس، تاركاً فقط الحركة.
ولأن المهندس مُجبر على تجاهل الطلاء (عنق زجاجة/Bottleneck)، فإنه يصبح بارعاً جداً في رصد الحركة الصافية.
يتذكر الرسام الألوان والملامس الأصلية.
لتوليد الإطار التالي، يدمجان مخطط المهندس الجديد (الباب أصبح الآن على اليمين) مع ذاكرة الرسام (الباب لا يزال من الخشب الأحمر).

السحر: "التطور المشترك" (Co-Evolving)

تزعم الورقة البحثية أن هذين الفريقين يساعدان بعضهما البعض ليصبحا أكثر ذكاءً. وهذا ما يسمى التطور المشترك.

المهندس يدفع الرسام: لأن المهندس مُجبر على تجاهل التفاصيل لتوقع الحركة، فإنه يجبر الرسام على تحمل مسؤولية جميع التفاصيل المرئية.
الرسام يساعد المهندس: لأن الرسام يتعامل مع كل "الضجيج" (الألوان، الملامس)، يمكن للمهندس التركيز تماماً على الحركة دون تشتت.

إنه يشبه الرقص حيث يقود أحد الشريكين الخطوات (الهيكل) بينما يتولى الآخر مسؤولية الملابس (المحتوى). إذا حاولا القيام بالاثنين معاً، فسوف يتعثران. أما إذا قسما العمل، فسينسجمان في الرقص بشكل مثالي.

ما الذي يمكن لـ DiLA فعله (بناءً على الورقة البحثية)

اختبر الباحثون هذا على أنواع مختلفة من الفيديوهات، من البشر الذين يحركون الأشياء إلى الروبوتات التي تتنقل في الغرف. إليكم ما وجدوه:

توليد فيديو فائق الجودة: ينتج DiLA فيديوهات أكثر وضوحاً وحدة من الطرق السابقة لأنه لا يرتبك بمحاولة توقع كل من الحركة والملمس في آن واحد.
نقل القدرات عبر الأنظمة المختلفة (الخدعة السحرية): هذا هو الجزء الأكثر روعة. يمكن لـ DiLA تعلم فعل من فيديو واحد وتطبيقه على فيديو مختلف تماماً.
- مثال: يمكنه مشاهدة إنسان يلتقط كوباً، واستخراج "الحركة الصافية" لعملية الالتقاط، ثم تطبيق نفس الحركة على ذراع روبوت في فيديو مختلف تماماً. ذراع الروبوت حينها "تلتقط" جسماً، رغم أنها لا تشبه الإنسان في الشكل.
- مثال آخر: يمكنه أخذ حركة كاميرا من لعبة فيديو وتطبيقها على فيديو لروبوت في العالم الحقيقي.
التخطيط البصري: يمكن للروبوت استخدام هذا الفهم للتخطيط مسبقاً. إذا قلت له "اذهب إلى الزر"، يمكنه محاكاة الخطوات المستقبلية في ذهنه لتحديد أفضل طريقة للوصول إلى هناك.
فهم الحركة "الصافية": أظهر الباحثون أن DiLA يتعلم "خريطة" للأفعال. إذا نظرت إلى الخريطة، ستجد أن "التحرك لليسار" يقع في نقطة ما، و"التحرك لليمين" في نقطة أخرى، مما يشكل مساراً مستمراً وسلساً. إنه يفهم أن "الحركة" هي مفهوم منفصل عن "ما الذي يتحرك".

الملخص

يحل DiLA مشكلة تعليم الروبوتات فهم العالم من الفيديوهات عن طريق تقسيم المهمة إلى جزأين: الحركة (الهيكل) والمظهر (المحتوى). ومن خلال إجبار هذين الجزأين على العمل بشكل منفصل ولكن متكامل، يتعلم الروبوت توقع الفيديوهات المستقبلية بجودة عالية مع فهم الأفعال المجردة التي تحدث فيها أيضاً. وهذا يسمح بنقل المهارات من البشر إلى الروبوتات والتخطيط لحركاته بفعالية.

ملخص تقني: DiLA: نماذج عالم الأفعال الكامنة المفككة

1. بيان المشكلة

تهدف نماذج الفعل الكامن (LAMs) إلى تعلم نماذج العالم من مقاطع الفيديو غير المصنفة عبر استنتاج أفعال مجردة بين الإطارات المتتالية، لتكون بمثابة بدائل لإشارات التحكم الصريحة. ومع ذلك، تواجه نماذج (LAMs) الحالية مقايضة جوهرية، تُعرف بـ "مقايضة LAM"، بين تجريد الفعل ودقة التوليد.

المعضلة: لضمان أن تكون الأفعال قابلة للنقل والمجردة، تفرض النماذج عادةً اختناقات تنبؤية قوية (مثل التكميم المتجهي أو الاختناقات التباينية). وبينما تشجع هذه الاختناقات على التجريد، إلا أنها غالبًا ما تعطل المنوع (manifold) الجوهري لفضاء الفعل الكامن، مما يؤدي إلى التبسيط المفرط وتدهور جودة توليد الفيديو. وعلى العكس من ذلك، فإن تخفيف هذه الاختناقات يحسن التوليد ولكنه يؤدي إلى تمثيلات متشابكة حيث تلتقط الأفعال الكامنة تفاصيل بصرية غير ذات صلة بدلاً من الديناميكيات الصافية.
القيود الحالية: تعطي معظم النهج الحالية الأولوية للتجريد على حساب جودة التوليد، وغالبًا ما تتبنى نماذج تدريب مكونة من مرحلتين منفصلتين، حيث يتم التخلص من نموذج الديناميكيات الأمامي (FDM) لصالح نماذج انتشار (diffusion models) مدربة مسبقًا ومنفصلة. بينما تعتمد طرق أخرى على الفصل الصريح للحركة (مثل التدفق البصري) عن المحتوى، لكنها تفشل في تحسين هذه العمليات بشكل مشترك ضمن إطار عمل واحد ذاتي الإشراف.

2. المنهجية: DiLA

يقترح المؤلفون DiLA (الفعل الكامن المفكك)، وهو نموذج عالم جديد يحل مقايضة (LAM) عبر فك الارتباط بين المحتوى والبنية. الرؤية الجوهرية هي أن فك الارتباط وتعلم الفعل الكامن هما عمليتان متطورتان معًا: حيث يعمل الاختناق التنبئي المتأصل في تعلم الفعل الكامن كقوة دافعة لفك الارتباط.

البنية

يعالج DiLA تسلسلات الفيديو عبر مسارين متخصصين، باستخدام مشفر DINOv2 لاستخراج الميزات وفك تشفير RAE مدرب مسبقًا للتصور.

مسار البنية (الديناميكيات):
- الهدف: عزل التخطيطات المكانية المتعلقة بالحركة (المواقع، الأشكال) لتعلم أفعال كامنة ثابتة تجاه المحتوى البصري.
- الآلية: يقوم مشفر البنية بضغط الرموز (tokens) إلى تضمينات بنية ( $s_t$ ). يقوم نموذج الديناميكيات العكسي (IDM) بحساب الأفعال الكامنة المجردة ( $z_t$ ) من الفرق الزمني لهذه التضمينات ( $\Delta s_t$ ).
- القيد: يفرض اختناق معلومات صارم على (IDM) للتنبؤ بالديناميكيات الهيكلية فقط. يقوم نموذج الديناميكيات الأمامي (FDM)، الذي يتم تنفيذه كترانسفورمر مكاني-زماني خفيف الوزن، بالتنبؤ بالحالة الهيكلية التالية ( $\hat{s}_{t+1}$ ) بناءً على الحالة الحالية والفعل الكامن.
- القوة الدافعة: يجبر الاختناق النموذج على تقطير ديناميكيات الحركة في $z_t$ مع نقل التفاصيل البصرية الثابتة إلى مسار المحتوى، حيث لا يمكن ضغط تفاصيل المحتوى عالية الإنتروبيا بفعالية في الفعل الكامن منخفض الأبعاد دون إعاقة دقة التنبؤ.
مسار المحتوى (المظهر):
- الهدف: استخراج وتخزين الميزات البصرية الثابتة زمنيًا (الألوان، الأنسجة، المعالم).
- الآلية: يقوم مشفر المحتوى بضغط الرموز إلى تضمينات ( $c_t$ )، والتي تتم معالجتها بواسطة بنية Mamba لتجميع السياق التاريخي. هذا يحاكي تحليل الميزات البطيئة (Slow Feature Analysis)، حيث يراكم الميزات الثابتة مع ظهورها.
- الدور: يحافظ على التفاصيل البصرية لضمان توليد عالي الدقة ويتعامل مع تحديثات الاعتقاد فيما يتعلق بالخلفيات المحجوبة، مما يسمح لمسار البنية بالتخصص حصريًا في الديناميكيات الفيزيائية.
فك التشفير للدمج (Fusion Decoder):
- يجمع بين الحالة الهيكلية المتوقعة ( $\hat{s}_{t+1}$ )، وذاكرة المحتوى ( $c^{mem}_t$ )، والتضمين البصري الأولي ( $e_0$ ) لإعادة بناء التضمين البصري المستهدف ( $\hat{e}_{t+1}$ ).
- يعد التكييف مع $e_0$ أمرًا بالغ الأهمية لتوفير التفاصيل عالية التردد التي فُقدت أثناء الضغط.

أهداف التدريب

يتم تدريب DiLA باستخدام نموذج "إجبار المعلم" (teacher-forcing) ذاتي الإشراف على تسلسلات الفيديو دون تسميات أفعال حقيقية. إجمالي الخسارة ( $L_{total}$ ) هو مزيج مرجح من:

التنبؤ باللاكن البصري ( $L_e$ ): إعادة بناء التضمين المستهدف.
التنبؤ بالبنية ( $L_s$ ): تقليل الخطأ في التنبؤ بالحالة الهيكلية التالية.
اتساق الفعل الكامن ( $L_z$ ): ضمان الاتساق بين الأفعال المستنتجة للأمام وللخلف.
التنظيم ( $L_{reg}$ ): يفرض تناظر المجموعة (التحولات الزمنية العكسية تنتج ناقلات أفعال متقابلة)، ويقيد معيار المتجه للحفاظ على منوع مدمج، وينظم التباين لزيادة إنتروبيا المعلومات.

3. المساهمات الرئيسية

إطار عمل موحد: DiLA هو أول نموذج عالم للفعل الكامن مفكك يوفق بين المقايضة بين تجريد الفعل الكامن ودقة التوليد عبر فك الارتباط بين المحتوى والبنية.
آلية التطور المشترك: يوضح البحث أن الاختناق التنبئي يعمل كقوة دافعة لعزل التخطيطات المكانية عن المظهر، وبالعكس، فإن هذا الفصل يسهل تعلم أفعال كامنة عالية التجريد.
الأداء: تظهر التجار𝓷ات الواسعة أن DiLA يحقق نتائج متفوقة في جودة توليد الفيديو، ونقل الأفعال عبر مختلف الأجساد (cross-embodiment)، والتخطيط البصري مقارنة بالنماذج المرجعية الحالية.
القابلية للتفسير: يتعلم النموذج فضاء فعل كامن مهيكل وقابل للتفسير يدعم التخطيط البصري لأسفل ويفصل بفعالية بين ديناميكيات الحركة والمظهر الثابت.

4. النتائج التجريبية

أُجريت التجارب على مجموعات بيانات واسعة النطاق تشمل Something-Something-v2 (SSv2)، وRT-1 (الروبوتات)، وRECON (الملاحة الخارجية)، وLoopNav (Minecraft).

جودة توليد الفيديو: في SSv2 وRT-1، تفوق DiLA على النماذج المرجعية الرائدة (LAPA, Moto, AdaWorld, Villa-X) في كل من SSIM (الاتساق الهيكلي) وLPIPS (التشابه الإدراكي). ومن الجدير بالذكر أن إزالة مسار المحتوى ("DiLA w/o content") أدت إلى انخفاض كبير في جودة التوليد، مما يؤكد ضرورة بنية المسار المزدوج.
نقل الأفعال: نجح DiLA في نقل الأفعال الكامنة عبر أجساد مختلفة (مثل الإنسان إلى الروبوت) وعبر المجالات (من الافتراضي إلى الواقع في الملاحة). وقد حافظ على جودة توليد عالية مع نقل أفعال دلالية معقدة مثل "التقاط" الأشياء عبر تغيرات زاوية الرؤية.
التحقق من فك الارتباط:
- تجارب إعادة الربط (Rebinding): من خلال دمج البنية من فيديو واحد مع المحتوى من فيديو آخر، أنتج DiLA تسلسلات تحافظ على الديناميكيات المكانية للمصدر مع اكتساب مظهر المرجع.
- عزل الحركة: أدى تجميد تضمين البنية مع تطوير ذاكرة المحتوى إلى إنتاج تسلسل ثابت تمامًا، مما يؤكد أن مسار المحتوى لا يشفر أي معلومات حركية.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة مكونات IDM/FDM إلى فشل النموذج في فك الارتباط، حيث احتفظت تضمينات البنية بتفاصيل محتوى زائدة.
- أدت استبدال الاختناق المستمر بمتطلبات (VQ) أو (VAE) إلى جودة توليد أدنى وتقارب أبطأ، مما يشير إلى أن المتطلبات الصارمة تعطل المنوع منخفض الأبعاد الأصيل للأفعال الكامنة.
التخطيط البصري: في اختبار VP2، تفوق التكيف مع التحكم التنبئي بالنموذج (MPC) الذي يستخدم DiLA على النموذج المرجعي AdaWorld، خاصة في مهام مثل "الضغط على الزر"، مما يوضح فائدته في التحكم الروبوتي.

5. الأهمية والادعاءات

يزعم البحث أن DiLA يضع إطار عمل موحدًا يحقق في آن واحد تجريدًا عالي المستوى للأفعال وتوليدًا عالي الدقة، مما يدفع حدود تعلم نماذج العالم ذاتي الإشراف.

حل المقايضة: يجادل المؤلفون بأن فك ارتباط البنية عن المحتوى هو المفتاح لحل التوتر بين التجريد والتوليد. فالاختناق التنبئي ليس مجرد قيد، بل هو آلية تدفع النموذج لتعلم ديناميكيات الانتقال الصافية.
المتانة: يشكل فضاء الفعل الكامن المتعلم منيعًا (manifold) مستمرًا ومهيكلًا دلاليًا يدعم النقل عبر مختلف الأجساء والبيئات دون الحاجة إلى إشراف صريح.
القيود: يقر المؤلفون بتواضع بأن التجريد المتأصل في الأفعال الكامنة قد يضحي بدقة التحكم الدقيقة، مما قد يؤدي إلى عدم الاستقرار في مهام التحكم (video-to-control). كما يشيرون إلى أن فك الارتباط الحالي يفصل التخطيطات المكانية عن التفاصيل البصرية، لكنه لا يدعم بعد الفصل الكامل لديناميكيات الكائنات المتعددة. بالإضافة إلى ذلك، يظل النهج عرضة لأخطاء التراكم التكراري (autoregressive compounding errors) في توليد الفيديو طويل الأمد.

باخت ملخص، يفترض DiLA أنه من خلال الاستفادة من الاختناق التنبئي لدفع فك الارتباط بين المحتوى والبنية، يمكن تعلم نماذج عالم تكون مجردة بما يكفي للتخطيد والنقل، ومفصلة بما يكفي لتوليد عالي الدقة.