Steering Video Diffusion Transformers with Massive Activations

إليك ملخص تقني مفصل لورقة البحث بعنوان "توجيه محولات انتشار الفيديو باستخدام التنشيطات الضخمة" (STAS).

1. بيان المشكلة

بينما حققت محولات انتشار الفيديو (Video Diffusion Transformers - DiTs) تقدماً كبيراً في توليد الفيديو من النص، إلا أن استغلال إشارات النموذج الداخلية لتعزيز الجودة دون تدريب إضافي أو عبء حسابي يظل تحدياً مفتوحاً. تعتمد الطرق الحالية غالباً على:

• أهداف وقت التدريب: تتطلب إعادة تدريب واسعة النطاق أو تحسين التفضيلات.
• الاستدلال القائم على القواعد التجريبية: استخدام نماذج مساعدة، أو أولويات ضوضاء خارجية، أو عمليات تمرير أمامي متعددة، مما يزيد من التكلفة الحسابية.

حدد المؤلفون فجوة في فهم كيفية عمل التنشيطات الضخمة (Massive Activations - MAs) — وهي نبضات نادرة وعالية المقدار في أبعاد الحالة الخفية — وتحديداً ضمن السياق الزمني لتوليد الفيديو. بخلاف محولات الصور (Image DiTs)، تمتلك محولات الفيديو بُعداً زمنياً وهياكل ضغط كامنة محددة (chunking) قد تخلق أنماط تنشيط فريدة، ولكن لم يتم تحليل هذه الأنماط أو استغلالها بشكل منهجي للتوجيه.

2. الملاحظات الرئيسية

أجرى المؤلفون تحليلاً منهجياً للتنشيطات الضخمة عبر عدة بنيات لمحولات فيديو (Wan2.1, Wan2.2, CogVideoX) واكتشفوا هيكلية هرمية موضعية متميزة تنفرد بها عملية توليد الفيديو:

1. هيمنة الإطار الأول: تُظهر الرموز (tokens) المقابلة لـ الإطار الكامن الأول باستمرار أكبر مقادير للتنشيطات الضخمة عبر التسلسل بأكمله، حيث تعمل كمرتكزات زمنية عالمية.
2. نبضات الحدود الدورية: تُظهر مقادير التنشيطات الضخمة نمطاً دورياً، حيث تبرز بشكل كبير عند حدود الإطارات الكامنة (رموز البداية والنهاية لكل كتلة زمنية/chunk). تتوافق هذه الحدود مع الفواصل حيث يحدث الضغط الزمني في الـ VAE.
3. الاضمحلال الزمني: تكون هذه الأنماط الهيكلية أكثر وضوحاً خلال خطوات إزالة الضوضاء المبكرة وتضمحل مع تقدم عملية أخذ العينات.
4. الأثر الوظيفي:
   • تعطيل التنشيطات الضخمة عند الإطار الأول يؤدي إلى تدهور الجودة البصرية.
   • تعطيل التنشيطات الضخمة عند رموز الحدود يسبب انقطاعات زمنية (وميض/flickering) بين الكتل.
   • تضخيم التنشيطات الضخمة عند هذه المواضع المحددة يحسن كل من الدقة البصرية والتماسك الزمني.

3. المنهجية: توجيه التنشيط الهيكلي (STAS)

بناءً على هذه الملاحظات، يقترح المؤلفون STAS، وهو طريقة توجيه ذاتي تشبه التوجيه الذاتي (self-guidance) ولا تتطلب تدريباً، تقوم بتوجيه قيم التنشيط الضخمة انتقائياً عند مواضع الرموز ذات الأهمية الهيكلية.

• الآلية الجوهرية: يقوم STAS بتعديل تنسور التنشيط أثناء عملية الاستدلال عن طريق تضخيم أبعاد التنشيط الضخمة عند رموز محددة نحو مرجع مقدار أقصى عالمي مُدرج.
• اختيار الهدف ($\mathcal{S}$): تستهدف الطريقة مجموعتين محددتين من الرموز:
  1. رموز الإطار الأول ($\mathcal{F}_0$): لتعزيز المرتكزات الزمنية العالمية.
  2. رموز الحدود ($\mathcal{B}(p)$): نسبة الـ $p\%$ من الرموز في بداية ونهاية كل كتلة إطار كامن (على سبيل المثال، 8%) لتنعيم الانتقالات بين القطع المضغوطة.
• قاعدة التوجيه ($g$): بالنسبة لرمز $i$ وبعد التنشيط $d$، يتم تحديث التنشيط كما يلي:
  $$\hat{D}_{\theta, m, i, d} = D_{\theta, m, i, d} + \mathbb{1}[t \geq t_K] \cdot \mathbb{1}[i \in \mathcal{S}] \cdot \mathbb{1}[d \in \mathcal{M}] \cdot (g(i, d) - D_{\theta, m, i, d})$$
  حيث أن $g(i, d) = \alpha \cdot \max_j |D_{\theta, m, j, d}| \cdot \text{sign}(D_{\theta, m, i, d})$. هذا يوجه القيمة نحو الحد الأقصى العالمي المُدرج ($\alpha$) مع الحفاظ على القطبية.
• التوقيت: يتم تطبيق التوجيه فقط خلال خطوات إزالة الضوضاء المبكرة ($t \geq t_K$)، حيث تكون إشارة الحدود في أقوى حالاتها.
• الكفاءة: يعمل STAS ضمن تمريرة أمامية واحدة، ولا يتطلب أي معاملات إضافية للنموذج، ويؤدي إلى عبء حسابي ضئيل جداً (<0.1%). وهو متوافق تماماً مع التوجيه بدون تصنيف (Classifier-Free Guidance - CFG).

4. المساهمات الرئيسية

1. أول تحليل منهجي للتنشيطات الضخمة في محولات فيديو (Video DiTs): كشف عن هرمية موضعية هيكلية (قمم الإطار الأول ونبضات الحدود الدورية) مدفوعة بالضغط الزمني لـ VAE، وهي متميزة عن محولات الصور.
2. خوارزمية STAS: اقترحت طريقة مبتكرة لا تتطلب تدريباً تستغل هذه الهيكلية لتوجيه التنشيطات، مما يحسن التماسك الزمني والجودة البصرية دون تدريب إضافي أو تكلفة استدلال.
3. تقييم شامل: أظهرت النتائج تحسينات متسقة عبر مختلف أحجام النماذج (من 1.3B إلى 5B) والبنيات (Wan, CogVideoX)، وتم التحقق من ذلك من خلال الاختبارات الآلية ودراسات التفضيل البشري.

5. النتائج التجريبية

تم تقييم الطريقة على Wan2.1-1.3B، و Wan2.2-5B، و CogVideoX-5B.

• التحسينات الكمية (VBench):
  • الدرجة الإجمالية: مكاسب متسقة عبر جميع النماذج (على سبيل المثال، تحسن Wan2.1-1.3B من 81.39 إلى 81.76).
  • التماسك الزمني: تحسينات كبيرة في اتساق الموضوع (Subject Consistency) واتساق الخلفية (Background Consistency).
  • استقرار ما بين الكتل (Cross-Chunk Stability): قلل STES تحديداً من انخفاض التشابه عند حدود الإطارات الكامنة (انتقالات ما بين الكتل)، والتي تعد عادةً أضعف النقاط في توليد الفيديو.
  • ربط خصائص الكائنات: تحسن الدرجات في T2V-CompBench، مما يشير إلى هوية كائنات أكثر استقراراً بمرور الوقت.
• التحسينات النوعية:
  • خفف من العيوب مثل الظهور المفاجئ للأجسام (مثل ظهور دب لعبة من العدم) أو التغيرات الهيكلية في المشاهد.
  • أنتج انتقالات أكثر سلاسة ومسارات حركة أكثر اتساقاً.
• الكفاءة: زاد وقت الاستدلال بنحو 0.06 ثانية فقط لكل فيديو (من 234.47 ثانية إلى 234.53 ثانية)، مما يؤكد العبء الضئيل.
• التوافق: يمكن دمج STAS مع طرق أخرى لا تتطلب تدريباً (مثل FlowMo، CFG-Zero) لتحقيق مكاسب أداء تراكمية.

6. الأهمية

تجسر هذه الورقة الفجوة بين فهم ديناميكيات النموذج الداخلية وبين تعزيز توليد الفيديو العملي. من خلال تحديد أن التنشيطات الضخمة ليست مجرد ضوضاء بل تحمل معلومات زمنية مهيكلة، يقدم المؤلفون حلاً خفيفاً وقابلاً للتركيب (plug-and-play) لواحدة من أكثر المشكلات استمراراً في توليد الفيديو: عدم التماسك الزمني.

يُظهر STAS أن توليد الفيديو عالي الجودة يمكن تحسينه من خلال التلاعب الذكي بالإشارات الداخلية الموجودة بدلاً من الاعتماد على إعادة تدريب مكلفة أو توجيه ثقيل أثناء الاستدلال. يوفر هذا النهج مساراً قابلاً للتوسع لتعزيز نماذج انتشار الفيديو واسعة النطاق في المستقبل بأقل قدر من استهلاك الموارد.