DiReCT: Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "DiReCT: التنسيق المتمايز للمسارات التباينية من أجل توليد فيديو مُحسّن فيزيائياً".

1. بيان المشكلة

تنتج مولدات الفيديو الحالية القائمة على "مطابقة التدفق" (Flow-matching) فيديوهات عالية الدقة ومتماسكة زمنياً، ولكنها غالباً ما تنتهك القوانين الفيزيائية الأساسية (مثل مرور الأجسام عبر بعضها البعض، أو الجاذبية غير الصحيحة، أو الحركات الكينماتيكية المستحيلة).

• السبب الجذري: أهداف إعادة البناء القياسية (مثل مسافة $\ell_2$ على مستوى البكسل أو المسافات الكامنة) تعاقب الانحرافات في الإطارات دون التمييز بين الديناميكيات المتسقة فيزيائياً والديناميكيات المستحيلة.
• عقبة تشابك الدلالة والفيزياء: أظهر التعلم التبايني (وتحديداً مطابقة التدفق التباينية $\Delta$FM) نتائج واعدة في فصل المسارات لمختلف الظروف، لكنه يفشل في توليد الفيديو المشروط بالنص (Text-conditioned).
  • في حالة "النص إلى فيديو"، يربط أمر نصي واحد بين المحتوى الدلالي (ما يتم تصويره) والسلوك الفيزيائي (كيفية حركته).
  • أخذ العينات السلبية العشوائية (اختيار أمر مختلف عشوائياً) يؤدي غالباً إلى "ظروف سلبية" تتشارك في بنية هيكلية كبيرة في مجال السرعة مع "الشرط الإيجابي" بسبب التقارب الدلالي.
  • صراع التدرج (Gradient Conflict): عندما تكون الظروف الإيجابية والسلبية متشابهة دلالياً، فإن تدرج التباين (الذي يدفع المسارات بعيداً عن بعضها) يعارض مباشرة تدرج مطابقة التدفق (الذي يسحب المسار نحو الهدف). هذا الصراع يؤدي إلى تدهور أداء التدريب بدلاً من تحسينه.

2. المنهجية: DiReCT

يقترح المؤلفون إطار عمل DiReCT (التنسيق المتمايز للمسارات التباينية)، وهو إطار عمل خفيف الوزن لما بعد التدريب، يحل صراع التدرج من خلال تعلم تبايني متعدد المقاييس مدرك للتشابك.

أ. الأساس النظري

صاغ المؤلفون صراع التدرج بشكل رسمي، واستنتجوا شرط محاذاة دقيقاً. وقد أثبتوا أن التعلم التبايني يكون مفيداً فقط عندما يكون الفارق في السرعة ($\delta$) بين الأهداف الإيجابية والسلبية كبيراً بما يكفي ليتفوق على حد التداخل الذاتي. إذا كان $\delta$ صغيراً (تداخل دلالي)، فإن التدرجات تتعارض مع بعضها البعض.

ب. استراتيجية التباين ثنائية المقياس

يقوم DiReCT بتفكيك هدف التباين إلى حدين متكاملين للتعامل مع مستويات مختلفة من طيف صراع التدرج:

1. التعلم التبايني الكلي (MaNS):

   • الهدف: فصل المسارات عالمياً دون تداخل.
   • الآلية: يتم تقسيم الأوامر النصية للتدريب إلى $K$ من العناقيد الدلالية باستخدام مشفر نصي ثابت. بالنسبة لعينة إيجابية معينة، يتم سحب العينات السلبية حصرياً من عناقيد دلالية مختلفة.
   • الأثر: يضمن ذلك أن العينات السلبية بعيدة دلالياً، مما يضمن وجود فجوة سرعة كبيرة ($\|\delta\|$) وإشارة تدرج تعاونية.

2. التعلم التبايني الجزئي (MiNS):

   • الهدف: التمييز الفيزيائي الدقيق بين المشاهد المتشابهة دلالياً.
   • الآلية: إنشاء "عينات سلبية صعبة" تشترك في نفس دلالات المشهد ولكنها تختلف على طول محور فيزيائي واحد ومتحكم به.
   • التنفيذ: يقوم نموذج لغوي كبير (Qwen2.5-7B-Instruct) بتعديل الأمر الأصلي عن طريق تغيير بُعد فيزيائي واحد فقط من أصل خمسة أبعاد:
     • الكينماتيكا (ملف السرعة/التسارع).
     • القوى (اتجاه/نوع القوة).
     • المادة (اللزوجة، المرونة، الاحتكاك).
     • التفاعل (الارتداد مقابل الالتصاق، التحطم مقابل الانبعاج).
     • المقدار (الشدة/الحجم).
   • توليد العينة السلبية الصعبة: يقوم النموذج الأساسي بتوليد فيديو من هذا الأمر المعدل. ثم يتم تدريب النموذج على دفع مجال السرعة الخاص به بعيداً عن هذا المسار غير المتسق فيزيائياً مع الحفاظ على البنية البصرية للمشهد.

ج. التثبيت التوزيعي (Distributional Anchoring)

لمنع النسيان الكارثي (حيث قد يفقد النموذج الجودة البصرية أو التماسك الزمني أثناء تعلم الفيزياء)، يتضمن DiReCT منظم مجال السرعة. يقوم هذا المنظم بمعاقبة التباعد بين مجال السرعة للنموذج الذي تم ضبطه بدقة ومجال النموذج المرجعي الثابت ($\theta_{ref}$)، وهو ما يعمل بمثابة مكافئ لتباعد KL في مجال السرعة.

د. الهدف المشترك

تجمع دالة الخسارة الإجمالية بين:

1. مطابقة التدفق القياسية (إعادة البناء).
2. خسارة التباين الكلي (MaNS).
3. خسارة التباين الجزئي (MiNS).
4. خسارة التثبيت التوزيعي (لمنع الانحراف).

3. المساهمات الرئيسية

1. صياغة صراع التدرج: حددت الورقة وأثبتت رياضياً أن مطابقة التدفق التباينية الساذجة تفشل في الإعدادات المشروطة بالنص بسبب التشابك الدلالي-الفيزيائي، مما وضع شرطاً دقيقاً للحالات التي يضر فيها أخذ العينات السلبية بالتدريب.
2. إطار عمل DiReCT: طريقة مبتكرة لما بعد التدريب تفصل إشارة التباين إلى مقاييس كلي (دلالي متباعد) وجزئي (فيزيائي معدل)، مما يحل صراع التدرج بفعالية دون الحاجة إلى وقت تدريب إضافي مقارنة بالضبط الدقيق الخاضع للإشراف (SFT) القياسي.
3. توليد السلبيات المدركة للفيزياء: خط إنتاج يستخدم النماذج اللغوية الكبيرة لتوليد عينات سلبية صعبة تعزل انتهاكات فيزيائية محددة مع الحفاظ على دلالات المشهد، مما يسمح بتعلم فيزيائي دقيق.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج Wan 2.1-1.3B (نموذج بـ 1.3 مليار معلمة) مقابل النماذج المرجعية وأحدث النماذج المتاحة.

• الاختبارات المعيارية:
  • VideoPhy: يقيس الفهم الفيزيائي الشائع والالتزام الدلالي.
  • WorldModelBench: يقيم اتباع التعليمات، والمنطق الشائع، والالتزام بقوانين فيزيائية محددة (حفظ الكتلة، الاختراق، ديناميكيات السوائل).
• الأداء:
  • VideoPhy: حسن Di $\text{ReCT}$ درجة الفهم الفيزيائي (PC) بنسبة 16.7% عن النموذج الأساسي وبنسبة 11.3% عن SFT.
  • WorldModelBench: حقق Di $\text{ReCT}$ أعلى إجمالي درجات (5.68)، متفوقاً على CogVideoX-5B (5.33) و Mochi (4.91).
  • الكفاءة: حقق Di $\text{ReCT}$ هذه النتائج باستخدام 1.3 مليار معلمة فقط، متفوقاً بشكل كبير على نماذج تمتلك 3.8 إلى 7.7 ضعف عدد معلماتها.
• ديناميكيات التدريب: على عكس SFT، الذي يصل إلى مرحلة التشبع بعد حوالي 5 آلاف خطوة، يستمر Di $\text{ReCT}$ في التحسن طوال 15 ألف خطوة، مما يشير إلى أن إشارة التباين توفر قيمة تعلم مستدامة.
• التحسينات النوعية: تُظهر المقارنات النوعية أن Di $\text{ReCT}$ يتعامل بشكل صحيح مع الكينماتيكا الأمامية (حركة السيارات للأمام)، ويحافظ على سلامة الأجسام (عدم اندماج راكبي الأمواج مع الأشرعة)، ويحاكي الطفو (طفو الخشب في مجرى الماء)، بينما تفشل النماذج المرجعية في هذه القيود الفيزيائية.

5. الأهمية

• الكفاءة فوق الحجم: تثبت الورقة أن الضبط الدقيق المستهدف والمدرك للفيزياء أكثر فعالية لتحسين الواقعية الفيزيائية من مجرد زيادة حجم النموذج.
• حل مشكلة التشابك: يوفر Di $\text{ReCT}$ حلاً قابلاً للتعميم لمشكلة "التشابك الدلالي-الفيزيائي" في توليد الفيديو المشروط بالنص، ويقدم مخططاً لكيفية تطبيق التعلم التبايني في مساحات التكييف المستمرة والمتشابكة.
• العملية: لا يضيف هذا الأسلوب أي تكلفة تذكر عند الاستنتاج (Inference) وتكاليف تدريب دنيا (مقاربة لـ SFT)، مما يجعله ترقية قابلة للتطبيق لخطوط إنتاج توليد الفيديو الحالية.
• نماذج العالم (World Modeling): من خلال تحسين الفهم الفيزيائي الشائع، يقرب Di $\text{ReCT}$ مولدات الفيديو من العمل كنماذج عالم موثوقة قادرة على التنبؤ بالنتائج المعقولة فيزيائياً، وهو أمر بالغ الأهمية لتطبيقات مثل القيادة الذاتية أو محاكاة الروبوتات.