ملخص تقني: Causal Forcing++

بيان المشكلة

يتطلب توليد الفيديو التفاعلي في الوقت الفعلي زمن انتقال منخفض، وبثاً مستمراً، وتدفقاً (rollout) قابلاً للتحكم. وبينما حققت طرق تقطير الانتشار ذات الترتيب الذاتي (AR) -التي تعتمد على نظام الـ 4 خطوات لكل كتلة (chunk-wise 4-step)- نجاحاً في هذا المجال، إلا أنها تظل محدودة بسبب خشونة دقة الاستجابة وزمن أخذ العينات غير الضئيل.

يستقصي المؤلفون نظاماً أكثر عدوانية وغير مستكشف بشكل كافٍ: الترتيب الذاتي على مستوى الإطار الواحد (frame-wise autoregression) مع 1-2 خطوة فقط من أخذ العينات. في هذا الإعداد، يحدد المؤلفون أن تهيئة الطالب ذي الترتيب الذاتي قليل الخطوات (قبل عملية تقطير نماذج الانتشار غير المتماثلة، أو DMD) هي العقبة الحرجة. تفشل الاستراتيجيات الحالية في هذا النظام لأسباب متكاملة:

1. تهيئة ODE ثنائية الاتجاه (مثل CausVid وSelf Forcing): غير متوافقة هيكلياً. يعتمد مسار المعلم (teacher) على إطارات مستقبلية غير متاحة للطالب ذي الترتيب الذاتي، مما ينتهك خاصية الحقن على مستوى الإطار، ويؤدي إلى انهيار الهدف نحو توقع شرطي، مما ينتج مخرجات ضبابية.
2. التهيئة المباشرة متعددة الخطوات للترتيب الذاتي (مثل LiveAvatar وWorldPlay): تفتقر إلى القدرة على التوليد في خطوات قليلة جداً. في ظل إعدادات الـ 1-2 خطوة العدوانية، تتضخم أخطاء التقريب لكل إطار بشكل حاد أثناء التدفق الذاتي (self-rollout)، مما يؤدي إلى انهيار النموذج.
3. تهيئة Causal ODE (مثل Causal Forcing): صحيحة نظرياً ولكنها غير قابلة للتوسع. فهي تتطلب من معلم الترتيب الذاتي حساب وتخزين مسارات كاملة لـ Probability Flow ODE (PF-ODE) لكل عينة تدريب مسبقاً (على سبيل المثال، 48 خطوة)، مما يخلق اختناقاً هائلاً في معالجة البيانات وتخزينها (حوالي 11,600 ساعة من وحدة معالجة الرسومات و1,900 جيجابايت من التخزين لـ 80 ألف فيديو).

المنهجية: Causal Forcing++

يقترح البحث Causal Forcing++، وهو مسار عمل قابل للتوسع يستبدل تهيئة Causal ODE المكلفة بـ Causal Consistency Distillation (Causal CD).

الرؤية الجوهرية

يلاحظ المؤلفون أن كل من Causal ODE distillation وCausal CD يشتركان في نفس هدف التعلم: خريطة التدفق الشرطية للترتيب الذاتي (AR-conditional flow map) (أو دالة الاتساق) الخاصة بالمعلم.

• Causal ODE Distillation: تقوم بعمل انحدار (regression) للحالات المشوشة $x_t$ مباشرة إلى النهايات النظيفة $x_0$ باستخدام مسارات مولدة مسبقاً بالكامل.
• Causal CD: تفرض الاتساق محلياً بين الخطوات الزمنية المتجاورة ($t$ و $t-\Delta t$) باستخدام خطوة واحدة من معلم ODE عبر الإنترنت (online) على فيديوهات حقيقية.

مسار العمل (The Pipeline)

يحافظ مسار Causal Forcing++ على الهيكل ثلاثي المراحل لـ Causal Forcing ولكنه يعدل المرحلة الثانية:

1. المرحلة 1: تدريب انتشار الترتيب الذاتي متعدد الخطوات عبر "إجبار المعلم" (teacher forcing).
2. المرحلة 2 (المعدلة): تهيئة Causal CD. بدلاً من حساب المسارات الكاملة مسبقاً، يتم تدريب الطالب لمطابقة خريطة تدفق المعلم باستخدام خطوة ODE واحدة بين الخطوات الزمنية المتجاورة على بيانات حقيقية. هذا يتجنب توليد المسارات دون اتصال (offline) تماماً.
3. المرحلة 3: تقطير DMD غير المتماثل مع التدفق الذاتي للطالب، حيث يظل المعلم والناقد (critic) ثنائيي الاتجاه بينما يكون الطالب ذا ترتيب ذاتي.

التوسع إلى النماذج العالمية (World Models)

تم توسيع مسار العمل ليشمل توليد النماذج العالمية المشروطة بالأفعال (على نمط Genie3). ومن خلال تقطير مولد ثنائي الاتجاه مشروط بوضعية الكاميرا إلى نموذج عالم تفاعلي ذي ترتيب ذاتي، تمكن هذه الطريقة من توليد فيديو تفاعلي منخفض زمن الانتقال وقابل للتحكم بناءً على إشارات الأفعال.

تحليل البدائل

يستقصي البحث أيضاً Causal Score Distillation (Causal DMD) كتهيئة. وبينما تنتج إطارات أولية أكثر حدة (بسبب سلوك البحث عن النمط/mode-seeking)، إلا أنها تعاني من انحياز التعرض (exposure bias) الشديد أثناء التدفق الذاتي. إن الكتلة الاحتمالية المركزة لـ DMD تجعلها حساسة للغاية لأخطاء التاريخ المتراكمة، مما يسبب انحرافاً سريعاً في الجودة في الإطارات اللاحقة. في المقابل، فإن سلوك تغطية النمط (forward KL) الخاص بـ Causal CD أكثر متانة تجاه تحولات التاريخ.

المساهمات الرئيسية

1. تحديد عقبة التهيئة: يثبت البحث أن استراتيجيات التهيئة الحالية إما معيبة هيكلياً، أو تفتقر إلى القدرة على الخطوات القليلة، أو مكلفة للغاية بحيث لا يمكن توسيعها لتوليد 1-2 خطوة على مستوى الإطار.
2. مسار Causal Forcing++: منهجية مبدئية تستخدم Causal CD للتهيئة، وهي مكافئة نظرياً لـ Causal ODE distillation في الهدف، ولكنها أكثر كفاءة بشكل كبير.
3. مكاسب الكفاءة: من خلال استبدال توليد المسارات دون اتصال بالإشراف عبر خطوة واحدة عبر الإنترنت، قللت الطريقة تكاليف المرحلة الثانية بنحو 4 أضعاف وألغت متطلبات التخزين الإضافية.
4. الأداء في الأنظمة العدوانية: تحقق الطريقة نتائج رائدة (SOTA) في توليد 2-خطوة على مستوى الإطار، وهو نظام فشلت فيه الطرق السابقة أو انهارت فيه.

النتائج التجريبية

عند التقييم على Wan2.1-1.3B مع مجموعة بيانات 80 ألف فيديو، أظهر Causal Forcing++ ما يلي:

• الجودة: في إعداد 2-خطوة على مستوى الإطار، يتفوق Causal Forcing++ على طريقة Causal Forcing (4 خطوات لكل كتلة) بمقدار 0.1 في إجمالي VBench، و0.3 في جودة VBench، و0.335 في VisionReward.
• زمن الانتقال: قلل من زمن انتقال الإطار الأول بنسبة 50% (من 0.60 ثانية إلى 0.27 ثانية) مع زيادة الإنتاجية بنحو 1.4 ضعف.
• دراسات الاستبعاد (Ablation Studies):
  • Causal CD مقابل Causal ODE: يطابق Causal CD أو يتفوق على Causal ODE عبر إعدادات 1-خطوة، 2-خطوة، و4-خطوات، مع تقليل تكلفة المرحلة الثانية من حوالي 11,600 إلى حوالي 2,900 ساعة من وحدة معالجة الرسومات A800.
  • ضرورة التهيئة: أدى التهيئة المباشرة متعددة الخطوات للترتيب الذاتي إلى أداء ضعيف في إعدادات الخطوات القليلة (على سبيل المثال، درجة الديناميكية القريبة من الصفر في إعدادات الخطوة الواحدة)، مما يؤكد ضرورة التقطير الصريح للخطوات القليلة.
  • Causal DMD: رغم تحسنه عن التهيئة متعددة الخطوات، إلا أن Causal DMD يتراجع عن Causal CD بسبب انحياز التعرض.

الأهمية

يزعم البحث أن Causal Forcing++ هو أول طريقة تنجح في تحقيق توليد فيديو تفاعلي عالي الجودة في الوقت الفعلي ضمن النظام العدواني لـ 2-خطوة على مستوى الإطار. ومن خلال حل عقبة القابلية للتوسع لتهيئة Causal ODE، جعلت هذه الطريقة تقطير الانتشار ذي الترتيب الذاتي منخفض زمن الانتقال أمراً واقعياً للتطبيقات واسعة النطاق. تسد هذه الطريقة الفجوة بين التعبير العالي لنماذج الانتشار ومتطلبات التفاعل للنماذج العالمية في الوقت الفعلي، مما يوفر مساراً قابلاً للتوسع نحو التوليد التفاعلي على نمط Genie3.