DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation

إليك ملخص تقني مفصل لورقة البحث: "DCDM: نماذج الانتشار القائمة على مبدأ 'فرق تسد' للحفاظ على الاتساق في توليد الفيديو."

1. بيان المشكلة

حققت نماذج توليد الفيديو الحديثة دقة بصرية عالية واتساقاً زمنياً قصير المدى، لكنها لا تزال تعاني من أجل تحقيق الاتساق طويل المدى عبر ثلاثة أبعاد متميزة:

1. اتساق المعرفة العالمية داخل اللقطة (Intra-clip World Knowledge Consistency): ضمان أن تكون الكائنات، والسمات، والتفاعلات الفيزيائية داخل مقطع فيديو واحد منطقية دلالياً وفيزيائياً (على سبيل المثال: تجنب التناقضات في سلوك الأشياء).
2. اتساق الكاميرا بين المقاطع (Inter-clip Camera Consistency): الحفاظ على حركة كاميرا وانتقالات رؤية دقيقة، مستقرة، وصحيحة هندسياً عبر مقاطع مختلفة.
3. اتساق العناصر بين اللقطات (Inter-shot Element Consistency): الحفاظ على هوية الشخصيات، والمشاهد، والأساليب عبر لقطات متعددة في السرديات طويلة المدى (الاتساق بعيد المدى).

التحدي الجوهري: إن فرض هذه الأنواع الثلاثة من الاتساق ضمن نموذج انتشار واحد متجانس (Monolithic) أمر صعب؛ إذ يؤدي ذلك إلى تشابك تمثيلي، حيث يتعين على النموذج التفكير في آن واحد في الدلالات (Semantics)، والهندسة (Geometry)، والاعتمادات الزمنية طويلة المدى، مما يؤدي غالباً إلى مقايضات غير مثالية بين القدرة على التحكم، والاتساق، والكفاءة الحسابية.

2. المنهجية: نموذج الانتشار القائم على مبدأ "فرق تسد" (DCDM)

يقترح المؤلفون DCDM، وهو إطار عمل على مستوى النظام يقوم بتفكيك نمذجة اتساق الفيديو إلى ثلاثة مكونات مخصصة مع مشاركة هيكل أساسي موحد من نوع "محول الانتشار" (Diffusion Transformer - DiT).

أ. اتساق المعرفة العالمية داخل اللقطة (الاستدلال الدلالي)

• الهدف: ضمان الاتساق الدلالي والفيزيائي داخل المقطع الواحد.
• الآلية: توسيع المطالبة (Prompt Extension) القائم على النماذج اللغوية الكبيرة (LLM).
  • غالباً ما تكون مطالبات المستخدم غير محددة بدقة. يستخدم DCDM نموذجاً لغوياً كبيراً (مثل Qwen3) لتحليل المطالبة المدخلة واستنتاج التفاصيل الضمنية صراحةً (الكيانات، السمات، العلاقات المكانية، الأفعال).
  • يقوم النموذج اللغوي بتوليد مطالبة محسنة ($\tilde{p}$) يتم بعد ذلك تضمينها وتغذيتها كشرط نصي ($c_{text}$) في هيكل الـ DiT.
  • الفائدة: هذا يفصل الاستدلال الدلالي عن التوليد البصري، مما يربط الفيديو بمعرفة عالمية صريحة لتقليل التناقضات.

ب. اتساق الكاميرا بين المقاطع (التحكم الهندسي)

• الهدف: تحقيق تحكم دقيق ومستقر في حركة الكاميرا.
• الآلية: التمثيل الزمني للكاميرا في فضاء الضجيج (Noise Space).
  • التصنيف: يقوم نموذج لغوي كبير بتصنيف حركة الكاميرا في المطالبة إلى فئات محددة مسبقاً (مثل: تحريك لليسار، زووم للداخل، ثابت).
  • التشويه بالانعكاس (Noise Warping): بدلاً من الاعتماد على الشرط النصي فقط، يبني DCDM تمثيلاً للكاميرا في فضاء الضجيج. يبدأ من ضجيج غاوسي قياسي ($z_1$) ثم ينشره عبر الزمن باستخدام عامل إعادة إسقاط ($W_{t \leftarrow t-1}$) مشتق من الخصائص الداخلية والخارجية للكاميرا.
  • المزج (Blending): يتم مزج الضجيج المشوه مع ضجيج غاوسي مستقل للحفاظ على العشوائية مع فرض الاتساق الزمني: $z_t = \sqrt{\lambda}\tilde{z}_t + \sqrt{1-\lambda}\epsilon_t$.
  • حقن التهيئة (Initialization Injection): يستبدل هذا الضجيج المهيكل مدخل الضجيج الأولي ($x_T$) لعملية الانتشار، مما يربط مسار إزالة الضجيج بأكمله بحركة الكاميرا المطلوبة.
  • التعزيز: تُستخدم استراتيجية "النص إلى صورة" للتهيئة، حيث يتم توليد صورة مرجعية أولاً لتقليل غموض المظهر قبل ربط الـ DiT بالصورة وتمثيل الكاميرا معاً.

ج. اتساق العناصر بين اللقطات (التماسك السردي)

• الهدف: الحفاظ على هوية الشخصيات والأسلوب عبر تسلسلات طويلة (بالدقائق) دون تكلفة حسابية باهظة.
• الآلية: الانتباه الذاتي المتناثر بين اللقطات (Sparse Inter-shot Self-Attention).
  • المشكلة: الانتباه الكامل عبر جميع الإطارات في فيديو طويل أمر مكلف حسابياً ($O(N^2)$).
  • الحل: يستخدم النموذج آلية "الانتباه المتقاطع بنوافذ" (Windowed Cross-Attention) لتحديد نطاق المطالبات لقطات محددة. ولتحقيق الاتساق بين اللقطات، يستخدم نمط "انتباه ذاتي متناثر":
    • داخل اللقطة (Intra-shot): انتباه ثنائي الاتجاه كثيف داخل اللقطة لضمان سلاسة الحركة.
    • بين اللقطات (Inter-shot): يتم إنشاء ملخص للسياق العالمي عبر اختيار مجموعة فرعية صغيرة من رموز (Tokens) المفتاح والقيمة (Key-Value) (مثلاً من الإطار الأول) من كل لقطة. تشكل هذه الملخصات ذاكرة مؤقتة عالمية ($KV_{global}$).
    • منطق الانتباه: تقوم الاستعلامات (Queries) من اللقطة الحالية بالانتباه لكل من الرموز المحلية ورموز الملخص العالمي.
  • التعقيد: يقلل التعقيد من $O((N_s L_{shot})^2)$ إلى حوالي $O(N_s \cdot L_{shot} \cdot S)$، حيث $S$ هو عدد رموز الملخص ($S \ll L_{shot}$).

3. المساهمات الرئيسية

1. إطار عمل موحد: يقترح DCDM، وهو بنية نظام شاملة تفكك اتساق الفيديو إلى ثلاثة أبعاد متكاملة (داخل اللقطة، بين المقاطع، وبين اللقطات) بدلاً من حشرها في نموذج واحد متجانس.
2. التأسيس الدلالي: يقدم آلية توسيع للمطالبات تعتمد على النماذج اللغوية الكبيرة لإثراء الدلالات الضمنية، مما يحسن بشكل كبير من اتساق المعرفة العالمية داخل اللقطة.
3. التحكم الهندسي: يطور تمثيلاً زمنياً للكاميرا يُحقن في فضاء الضجيج، مما يتيح تحكماً دقيقاً ومستقراً في حركة الكاميرا لا يمكن للشرط النصي وحده تحقيقه.
4. النمذجة طويلة المدى الفعالة: يقدم آلية الانتباه الذاتي المتناثر بين اللقطات، مما يسمح بتوليد فيديوهات تصل مدتها إلى دقائق مع تماسك سردي قوي وذاكرة مستمرة للشخصيات والمشاهد مع الحفاظ على الكفاءة الحسابية.

4. النتائج

• الاختبار: تم التحقق من صحة النموذج في مجموعة اختبار مسابقة AAAI'26 Consistency in Video Generative Models (CVM).
• الأداء: حقق الإطار مرتبة "أفضل فريق" (Top Team) في المسابقة.
• الأدلة النوعية:
  • داخل اللقطة: أظهرت الفيديوهات المولدة فيزياء معقولة وسمات كائنات متسقة (مثل: رجل يركب حيواناً معيناً دون حدوث تشوه في شكله).
  • بين المقاطع: أظهرت تنفيذًا دقيقًا لحركات الكاميرا المعقدة (مثل: التقدم للأمام "Dolly in"، أو التحرك جانبياً "Truck right") مع هندسة مستقرة.
  • بين اللقطات: نجحت في الحفاظ على هوية الشخصية وأسلوب المشهد عبر لقطات متعددة في سرديات طويلة (مثل: قصة متعددة اللقطات عن "متتبع" في بيئة سايبربانك).

5. الأهمية

تثبت هذه الورقة أن النمذجة على مستوى النظام تتفوق على النهج المتجانس (Monolithic) لمهام توليد الفيديو المعقدة. فمن خلال "تقسيم وتدبير" المشكلة:

• يتم فصل الاستدلال الدلالي (الذي تديره النماذج اللغوية)، والتحكم الهندسي (الذي يديره تشويه فضاء الضجيج)، والتماسك السردي (الذي يديره الانتباه المتناثر).
• يوفر المسار نحو توليد محتوى فيديو طويل، وقابل للتحكم، ومتسق، يلتزم بالبنى السينمائية، مما يعالج عقبة حرجة في أبحاث الفيديو الحالية في الذكاء الاصماعي التوليدي.
• يقدم النهج مخططاً مستقبلياً لنماذج الفيديو للتعامل مع القيود متعددة الأبعاد دون التضحية بالكفاءة أو الجودة.