VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

ملخص تقني: VideoMLA

بيان المشكلة
أصبحت نماذج الانتشار بالفيديو السببية ذات التدفق الطويل (long-rollout) هي النهج السائد لتوليد الفيديو بالبث المباشر لمدة تصل إلى دقيقة. تعتمد هذه النماذج عادةً على ذاكرة تخزين مؤقت (KV cache) ثابتة الحجم بنظام النافذة المنزلقة للحفاظ على التوليد التكراري (autoregressive). وبينما ابتكرت الأعمال الحديثة ضمن هذا التصميم عبر تغيير اختيار الرموز (tokens)، أو الترميز الموضعي (مثل Infinity-RoPE)، أو استراتيجيات التدريب (مثل Self-Forcing)، إلا أنها حافظت إلى حد كبير على تخطيط الـ KV لكل رأس (per-head KV layout). في آلية الانتباه الكثيفة القياسية، يخزن كل رمز مخزن مفاتيح وقيم كاملة لجميع رؤوس الانتباه. بالنسبة لنموذج مثل Wan-1.3B، يؤدي هذا إلى بصمة ذاكرة ضخمة (حوالي 6.0 جيجابايت لذاكرة تخزين لـ 21 إطاراً كامنًا)، مما يحد من أحجام الدفعات (batch sizes)، والإنتاجية، وطول تدفق الفيديو الممكن. الطرق الفعالة الموجودة إما تغير آلية الانتباه تماماً (مثل الانتباه الخطي) أو تخزن طبقات معينة فقط، لكن القليل منها يعالج تكلفة الذاكرة لحالة الـ KV لكل رمز ولكل رأس عبر جميع الطبقات المخزنة.

المنهجية: VideoMLA
يقدم البحث VideoMLA، وهو أول تطبيق لانتباه متعدد الرؤوس كامن (Multi-Head Latent Attention - MLA) في نماذج انتشار الفيديو التكرارية. يقوم VideoMLA بإعادة هيكلة ذاكرة الـ KV بشكل جذري عبر استبدال المفاتيح والقيم الكثيفة لكل رأس بتمثيل مشترك منخفض الرتبة (low-rank representation).

1. الكمون المحتوي المشترك منخفض الرتبة (Shared Low-Rank Content Latent): بدلاً من تخزين مفاتيح ($K$) وقيم ($V$) منفصلة لكل رأس من الرؤوس $n_h$، يقوم VideoMLA بضغط محتوى الرمز $x_t$ في متجه كامن مشترك واحد $c^{KV}_t$ عبر مصفوفة إسقاط سفلي $W^{KV}_\downarrow$. هذا المتجه الكامن ذو بُعد $d_c \ll n_h d_h$.
2. إعادة البناء عند الطلب: أثناء حساب الانتباه، يتم إعادة بناء مفاتيح المحتوى لكل رأس ($k^{nope}_{t,h}$) والقيم ($v_{t,h}$) من المتجه الكامن المشترك باستخدام مصفوفات إسقاط علوي خاصة بكل رأس ($W^K_\uparrow, W^V_\uparrow$).
3. الترميز الموضعي ثلاثي الأبعاد المنفصل (Decoupled 3D-RoPE): للتعامل مع المعلومات الموضعية دون دمجها في المتجه الكامن المشترك (مما قد يمنع مشاركة الرؤوس)، تقسم الطريقة البُعد الخاص بكل رأس إلى فضاء محتوى ($d^{nope}_h$) وفضاء موضعي ($d^{rope}_h$). يتم حساب مفتاح موضعي واحد مشترك لجميع الرؤوس $k^R_t$ وتدويره باستخدام 3D-RoPE. تقوم الذاكرة بتخزين الزوج $(c^{KV}_t, k^R_t)$ بدلاً من حالات الـ KV الكثيفة لكل رأس.
4. تقليل الذاكرة: يقلل هذا التصميم حالة الـ KV المخزنة لكل رمز من $2n_h d_h$ من القيم القياسية إلى $d_c + d^{rope}_h$. في الإعداد الافتراضي ($d_c=192, d^{rope}_h=32$)، يحقق هذا اختزالاً بنسبة 92.7% في ذاكرة الـ KV لكل طبقة.

النتائج الرئيسية والتحليل الطيفي
تتمثل المساهمة المركزية للورقة في حل لغز نظري حول سبب عمل MLA في انتشار الفيديو.

• اللغز: في النماذج اللغوية، غالباً ما يكون الدافع وراء MLA هو الافتراض بأن مصفوفات $W^K$ و $W^V$ المدربة مسبقاً هي بطبيعتها منخفضة الرتبة. ومع ذلك، يكشف التحليل الطيفي لهيكل Wan-1.3B الأساسي للفيديو أن العامل المشترك $[W^K; W^V]$ ليس منخفض الرتبة؛ حيث يتجاوز رتبته الفعالة (بنسبة طاقة 99%) 1300، وهو ما يفوق بكثير الأبعاد الكامنة العملية ($d_c=192$).
• الحل: يوضح المؤلفون أن الرتبة الفعالة للمُعامل المركب المتعلم في VideoMLA يتم تحديدها بواسطة العنق الزجاجي المعماري ($d_c$)، وليس الطيف المدرب مسبقاً. إن كل من تهيئة SVD والتهيئة العشوائية تشبع ميزانية الرتبة المفروضة منذ البداية، ويحافظ التدريب على هذه الميزانية مع التكيف ضمنها. وبالتالي، لا ينجح VideoMLA من خلال استعادة بنية خفية منخفضة الرتبة، بل من خلال فرض ميزانية رتبة يتعلم النموذج استخدامها بفعالية.

النتائج

• الجودة: على مقياس VBench، يطابق VideoMLA نماذج البث المباشلة قصيرة المدى ويحقق أفضل درجة إجمالية عند الآفاق الطويلة (60 ثانية) بين الطرق التي تم تقييمها. فهو يحافظ على هوية الموضوع، وبنية المشهد، وديناميكيات الحركة، متجنباً التدهور الساكن الذي تظهره طرق الضغط الأخرى.
• الكفاءة: تحسن الطريقة من إنتاجية الاستدلال بمقدار 1.23 ضعفاً على وحدة معالجة رسوميات B200 واحدة مقارنة بالنماذج المرجعية.
• القابلية للتوسع: في ظل ميزانية ذاكرة ثابتة (B200)، يتيح VideoMLA أحجام دفعات أكبر بـ 8.0 مرات من آلية تعدد الرؤوس الكثيفة (MHA) عند الإعداد الافتراضي $d_c=192$، وما يصل إلى 11.4 مرة أكبر عند إعدادات $d_c$ الأقل، دون حدوث أخطاء نفاذ الذاكرة (OOM).

الأهمية والادعاءات
تدعي الورقة أن VideoMLA يحدد تخطيط الـ KV لكل رمز كرافعة مباشرة وفعالة لتوسيع نطاق انتشار الفيديو طويل الأمد، وهو أمر متعامد مع الطرق الحالية التي تركز على اختيار الرموز أو إعادة تمثيل المواقع. من خلال تقليل ذاكرة الـ KV لكل رمز بنسبة 92.7% مع الحفاظ على الدقة البصرية واتساق الحركة، يتيح VideoMLA توليد فيديو لمدة تصل إلى دقيقة بإنتاجية أعلى وزمن وصول أقل بشكل ملحوظ. ينقل هذا العمل سؤال التصميم من "ما هي الرتبة الجوهرية لانتباه الفيديو؟" إلى "ما هي الميزانية الكامنة التي تحافظ على جودة الفيديو؟"، مما يثبت أن القيود المعمارية يمكن أن توجه التعلم بنجاح حتى عندما يكون الطيف المدرب مسبقاً عالي الرتبة.