ملخص تقني: AdaState – المرتكزات ذاتية التطور لتوليد الفيديو المتدفق

1. بيان المشكلة

تقوم نماذج انتشار الفيديو ذات التوليد الذاتي (Autoregressive video diffusion models) بتوليد فيديو متدفق عبر إنتاج إطارات متتالية، مع ربط كل جزء جديد بالمحتوى الذي تم توليده مسبقاً. ثمة قيد هيكلي جوهري في هذه النماذج يتمثل في اعتمادها على مرتكز ثابت (static anchor): حيث يشغل التمثيل المفتاحي-القيمي (KV representation) للإطار الأول موقعاً متميزاً (الموقع 0) في ذاكرة التخزين المؤقت للانتباه (attention cache).

بسبب ظاهرة "بالوعة الانتباه" (attention-sink)، حيث يركز "softmax" السببي الكتلة على المواقع الأولية، يجذب هذا المرتكز الثابت انتباهاً غير متناسب طوال عملية التوليد. وبينما يضمن هذا الثبات الاتساق، إلا أنه يقمع ديناميكيات الفيديو؛ إذ يصبح النموذج مقيداً فعلياً بمنظور البداية، مما يمنع تطور المشهد الطبيعي، وحركة الكاميرا، وتطور الموضوع. ومع استمرار التوليد، يكافح النموذج للتوفيق بين المشهد المتطور والمرجع المجمد، مما يؤدي إما إلى:

1. الضحالة الزمنية (Temporal Shallness): حيث يتم كبح الحركة وتطور المشهد للحفاظ على الاتساق مع الإطار الأول.
2. الانجراف والتشوهات (Drift and Artifacts): إذا تمت إزالة المرتكز أو تحديثه بطرق استدلالية، تتراكم الأخطاء، مما يسبب انهياراً بصرياً أو فقداناً لهوية الموضوع.

تفشل الحلول الحالية في معالجة السبب الجذري. فالطرق التي تحتفظ بمرتكزات ثابتة (مثل LongLive وInfinity-RoPE) تجمد المشهد، بينما تتقارب الطرق التي تستخدم تحديثات غير مرتبطة بالمحتوى (مثل أساليب EMA مثل Reward Forcing وMemRoPE) نحو متوسط ضبابي لا يمكنه التكيف مع تغيرات المشهد المحددة. أما الاستبدالات الاستدلالية (مثل Rolling Sink) فهي تنحاز لتوليد محتوى يعيد إنتاج الإطارات الماضية بدلاً من الاستمرارات الجديدة.

2. المنهجية: AdaState

يقترح المؤلفون AdaState، وهو إطار عمل يستبدل مرتكز الإطار الأول الثابت بـ حالة تكيفية (adaptive state)—وهي متغير كامن خفي يتطور جنباً إلى جنب مع المحتوى.

الآلية الجوهرية

• الحالة التكيفية ككامن خفي: بدلاً من الإطار الأول المجمد، يحافظ النموذج على حالة $s$ في الموقع 0 في ذاكرة التخزين المؤقت (KV cache). هذه الحالة هي كامن خفي يتم إزالة الضجيج عنه (denoised) بالتزامن مع محتوى الفيديو عند كل جزء، ولكنها لا تُعرض أبداً في مخرجات الفيديو النهائية.
• إزالة الضجيج المشترك والتكرار (Joint Denoising and Recurrence): عند كل خطوة توليد $n$، يقوم المولد $G_\theta$ بإزالة الضجيج بشكل مشترك لكل من إطارات المحتوى الحالي $x^{(n)}_c$ وإطارات الحالة $s_n$ من ضجيج غاوسي مستقل، مشروطاً بذاكرة التخزين المؤقت $h_n$.
  • يدخل الـ KV الخاص بالمحتنت الصافي في النافذة المنزلقة للسياق قصير المدى.
  • يقوم الـ KV الخاص بالحالة الصافية بالاستبدال في الموقع 0 في ذاكرة التخزين، ليعمل كمرجع للمشهد للجزء التالي.
• صياغة الزمن النسبي: على عكس التوليد القياسي الذي يشفر الزمن المطلق، يعامل AdaState الزمن كقيمة نسبية. يرى كل خطوة توليد نفس الهيكل الموضعي بغض النظر عن طول التوليد المستمر. انتقال الحالة يكون متطابقاً في كل جزء، مما يحول عملية التوليد الذاتي المتتالية إلى عملية تكرارية حيث:
  • تعمل إزالة الضجيج (Denoising) كدالة الانتقال.
  • تعمل ذاكرة التخزين المؤقت (KV Cache) كناقل للحالة الخفية.
  • لا يتطلب الأمر أي وحدات خارجية، أو آليات بوابات (gating)، أو وحدات ذاكرة منفصلة.

التدريب الموزون بالأفق (Horizon-Weighted Training)

لضمان تعلم النموذج كيفية استخدام الحالة التكيفية بفعالية، قدم المؤلفون تقطير مطابقة التوزيع الموزون بالأفق (Horizon-Weighted DMD).

• المشكلة: في عمليات التوليد المتتالية، تتراكم الأخطاء في الإطارات اللاحقة. توزيع أوزان الخسارة الموحد القياسي يسمح للمُحسّن بالتركيز على الإطارات المبكرة والنظيفة، متجاهلاً الإطارات اللاحقة الحرجة حيث يجب أن تعوض الحالة التكيفية غياب محتوى المشهد الأصلي.
• الحل: يتم تطبيق وزن تصاعدي خطي $w_i$ على خسارة DMD، يزداد مع مؤشر الإطار $i$. هذا يجبر المُحسّن على تركيز القدرة على الإطارات اللاحقة حيث يكون الاتساق بوساطة الحالة أمراً حيوياً للغاية.
  $$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$$

3. المساهمات الرئيسية

1. تحديد التحيز الهيكلي: حددت الورقة أن المرتكز الثابت في انتشار الفيديو ذاتي التوليد يخلق تحيزاً في الانتباه الهيكلي الذي يقمع الديناميكيات، مما يقيد تكوين المشهد بالمنظور الأولي.
2. بنية الحالة التكيفية: اقترح المؤلفون استبدال المرتكز الثابت بحالة تكيفية خفية يتم تدريبها عبر DMD الموزون بالأفق. تتطور هذه الحالة مع المحتوى، مما يسمح للنموذج بتوليد مرجع المشهد الخاص به في كل خطوة.
3. صياغة تكرارية بدون وحدات خارجية: يوضح العمل أن عملية إزالة الضجيج نفسها يمكن أن تعمل كتكرار. الحالة التكيفية هي متغير خفي يتم تحديثه بواسطة عملية صقل النموذج المتكررة ويتم حمله عبر ذاكرة التخزين المؤقت (KV cache)، دون الحاجة إلى ذاكرة خارجية أو آليات بوابات.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج مستخلص من Wan2.1-T2V-1.3B باستخدام Self-Forcing، حيث تم تدريبه على عمليات توليد مكونة من 21 إطاراً واختباره عند 5 ثوانٍ (ضمن أفق التدريب) و30 ثانية (6 أضعاف أفق التدريب).

• الأداء النوعي:
  • المرتكزات الثابتة (مثل Infinity-RoPE وRolling Forcing): تحافظ على الهوية ولكنها تجمد المشهد، مما يظهر غياب حركة الكاميرا أو تطور المشهد.
  • بدون مرجع (مثل Self-Forcing وCausal Forcing): تظهر ديناميكيات عالية في البداية ولكنها تعاني من انجراف الألوان والتشوهات البصرية مع امتداد التوليد خارج أفق التدريب.
  • AdaState: يحقق توازناً فريداً؛ فهو يحافظ على هوية الموضوع مع تمكين تطور المشهد الطبيعي، وانزلاق الكاميرا، والحركة المستمرة حتى 30 ثانية.
• الأداء الكمي:
  • ضمن الأفق (5 ثوانٍ): يحقق AdaState أعلى درجة إجمالية في VBench وVisionReward، مع درجة ديناميكية أعلى بكثير من طرق المرتكز الثابت.
  • خارج الأفق (30 ثانية): يعد AdaState الطريقة الوحيدة التي لا تتدهور فيها الدرجة الديناميكية. إنه يشغل المنطقة "العليا-اليمنى" من منحنى المقايضة بين الاتساق والديناميكية، حيث يحافظ على اتساق عالٍ مع تحقيق أعلى درجة ديناميكية بين جميع النماذج المرجعية.
  • دراسة المستخدم: في دراسة شملت 40 مقيّماً، حصل AdaState على أعلى الدرجات في كل من "التقدم المتماسك" و"الالتزام بالمطالب (Prompt Adherence)"، متفوقاً على نماذج عدم وجود مرجع، والمرتكز الثابت، ونماذج EMA المرجعية.

5. الأهمية والادعاءات

تدعي الورقة أن AdaState يكسر بشكل أساسي مقايضة الاتساق-الديناميكية التي تؤرق توليد الفيديو المتدفق الحالي. من خلال معاملة عملية التوليد كتكرار حيث تقوم عملية إزالة الضجيج الخاصة بالنموذج بتحديث مرجع مشهد خفي، يتيح AdaState ما يلي:

• حركة أغنى: حركة كاميرا طبيعية وأفعال موضوع متطورة بمرور الوقت.
• استقرار طويل الأمد: القدرة على توليد فيديوهات متماسكة بعيداً جداً عن أفق التدريب دون تراكم الانجراف أو تجميد المشهد.
• بساطة معمارية: لا يتطلب الحل أي تغييرات معمارية في نموذج DiT الأساسي، ولا خسائر إضافية، ولا وحدات ذاكرة خارجية، بل يعتمد فقط على ذاكرة التخزين المؤقت (KV cache) وآليات الانتباه الموجودة.

يضع المؤلفون هذا العمل كخطوة نحو الحالة التكيفية المتكررة في التوليد الذاتي، مشيرين إلى أن هذه الصياغة يمكن تطبيقها في مجالات أخرى حيث يتركز الانتباه على مواضع ماضية ثابتة. ومع ذلك، فقد أشاروا بتواضع إلى القيود، مثل التحديد الاستدلالي لسعة الحالة (إطار واحد حالياً) والحاجة إلى عمل مستقبلي على الذاكرة الخارجية المهيكلة للمشاهد المعقدة للغاية والمتعددة الشخصيات.