ملخص تقني: الانتباه محلياً، التذكر خطياً (ARL2)

1. بيان المشكلة

برزت نماذج انتشار الفيديو ذات التراجع الذاتي (Autoregressive video diffusion) كنموذج رائد لتوليد الفيديو التدفيقي والتفاعلي بفضل صياغتها السببية القائمة على الكتل (chunk-wise). ومع ذلك، تعتمد نماذج انتشار الفيديو الحالية ذات التراجع الذاتي على انتباه الـ softmax الذاتي ضمن محولات الانتشار (DiTs). ويؤدي هذا الاعتماد إلى اختناق جوهري في القابلية للتوسع:

• حوسبة تربيعية وذاكرة خطية: تسبب آلية الانتباه القياسية تعقيداً حوسبياً من الدرجة $O(N^2)$ واستهلاكاً للذاكرة من الدرجة $O(N)$ بالنسبة لطول التسلسل $N$ (إطارات الفيديو).
• نمو ذاكرة الـ KV Cache: للحفاظ على الاتساق الزمني، تراكم هذه النماذج ذاكرة مفاتيح وقيم (KV cache) تنمو خطياً مع كل كتلة يتم توليدها. بالنسبة لفيديو مدته 5 ثوانٍ بدقة 480p، يمكن أن تتجاوز ذاكرة الـ KV cache حاجز الـ 34 جيجابايت، مما يتخطى حجم بارامترات النموذج نفسه.
• محدودية الحلول الحالية: الحلول الحالية مثل الانتباه المتفرق (sparse attention)، أو تكميم (quantization) ذاكرة الـ KV، أو الاستبعاد (eviction)، تقلل من تكاليف الخطوة الواحدة أو تحد من نمو الذاكرة، لكنها تفشل في القضاء على النمو الخطي للذاكرة وإدارة سياق البث بشكل فعال في آن واحد. فالانتباه المتفرق لا يزال يعتمد على ذاكرة متنامية؛ والاستبعاد يتخلص من السياق الماضي بشكل غير قابل للاسترداد.

التحدي الجوهري هو تحويل نموذج انتشار فيديو ذي تراجع ذاتي مُدرب مسبقاً إلى بنية هجينة تحقق ذاكرة ثابتة ($O(1)$) وتوسعاً زمنياً خطياً دون التضحية بالدقة المكانية للتفاعلات داخل الإطار الواحد أو الاتساق الزمني لتوليد الإطارات البينية.

2. المنهجية: ARL2

يقترح المؤلفون ARL2 (الانتباه محلياً، التذكر خطياً)، وهو وحدة انتباه هجينة تفكك الانتباه الذاتي إلى فرعين متميزين لمعالجة الطبيعة غير المتجانسة لانتباه الفيديو:

2.1 تفكيك الانتباه الهجين

يقسم النموذج الانتباه إلى:

1. فرع داخل الإطار (الانتباه محلياً): يحافظ على انتباه الـ softmax ثنائي الاتجاه الأصلي داخل كل إطار. يلتقط هذا الفرع الارتباطات المكانية الدقيقة والاعتمادات المحلية، وهي أمور حاسمة للدقة البصرية. وهو يعيد استخدام عمليات الإسقاط (projections) المدربة مسبقاً والمجمدة للحفاظ على التفاصيل المكانية دون إدخال تأخير إضافي، حيث يتم فك تشفير جميع الرموز (tokens) في الإطار بشكل مشترك.
2. فرع بين الإطارات (التذكر خطياً): يستبدل ذاكرة الـ KV المتنامية بـ حالة تكرارية ثابتة الحجم ($S$). يستخدم هذا الفرع آليات شبكة دلتا المبوّبة (Gated Delta Network - GDN) للحفاظ على سياق زمني طويل المدى.
   • التكيف: بما أن إسقاطات $Q, K, V$ المدربة مسبقاً محسنة لـ softmax، فإن النموذج يقدم خرائط ميزات $1\times1$ مجمعة لكل رأس ($\phi_q, \phi_k, \phi_v$) لتكييف التمثيلات مع نطاق التكرار الخطي.
   • تحديث الحالة: يتم تحديث الحالة $S_N$ باستخدام قاعدة بوابية: $S_N = \alpha_N S_{N-1} + \beta_N K'_N(V'_N - K'_N S_{N-1})$، حيث أن $\alpha$ (بوابة النسيان) و $\beta$ (معدل التعلم) هي عمليات إسقاط متعلمة لكل رمز.
   • المخرجات: يتم حساب مخرج ما بين الإطارات كـ $O_{inter} = Q'_N S_{N-1}$.

2.2 إدارة حالة الذاكرة

لمنع فساد الحالة التكرارية بسبب الخطوات الوسيطة الصاخبة أو إدخال عدم اتساق داخل الإطار، يستخدم ARL2 آليتين محددتين:

• الوصول على مستوى الإطار: تستعلم جميع الرموز داخل إطار واحد عن نفس الحالة ما قبل التحديث ($S_{N-1}$). لا يتم تحديث الحالة إلا بعد معالجة الإطار بالكامل، مما يضمن سياقاً متسقاً عبر الإطارات لجميع الرموز في الإطار الحالي.
• تحديثات المسار النظيف (Clean-Pass Updates): خلال حلقة إزالة الضجيج متعددة الخطوات، يستعلم النموذج عن الحالة ولكنه لا يقوم بتحديثها. يتم تحديث الحالة فقط بعد إنتاج المسار "النظيف" النهائي للإطار. هذا يمنع الوسائط الصاخبة من تلويث الذاكرة طويلة المدى ويقلل من عمليات كتابة الحالة من عملية واحدة لكل خطوة إزالة ضجيج إلى عملية واحدة لكل إطار.

2.3 مسار التدريب: التقطير على مرحلتين

بدلاً من التدريب من الصفر، يقترح المؤلفون مسار تقطير فعال على مرحلتين لتحويل نموذج Causal Forcing مدرب مسبقاً:

• المرحلة 1 (التقطير لكل طبقة والاختيار): يتم تقطير كل طبقة من طبقات الانتباه الـ 30 بشكل مستقل. يقدم المؤلفون تحليل معدل استعادة الانتباه (Attention Recovery Rate - ARR) لتصنيف الطبقات إلى "هجينة قابلة للاستعادة" (HR) و"هجينة حساسة" (HS).
  • أبعاد HR: اتساق الموضوع، اتساق الخلفية، سلاسة الحركة، والجودة الجمالية (الاستعادة > 85%).
  • أبعاد HS: جودة التصوير (حساسة، تستعيد ~25% فقط).
  • اختيار الطبقات: تعمل آلية تسجيل ($p_\ell$) على منح الأولوية لاستبدال الطبقات الأقل حساسية لبعد HS، مما يضمن احتفاظ الطبقات الحرجة لجودة التصوير بانتباه الـ softmax.
• المرحلة 2 (التقطير المشترك): يتم ضبط النموذج الهجين (مع استبدال الطبقات المختارة) بشكل مشترك ونهاية إلى نهاية (end-to-end) مقابل المعلم المجمد، مع مطابقة حقل السرعة المتوقع لضمان التشغيل المتماسك عبر جميع الطبقات.

3. المساهمات الرئيسية

1. أول نموذج انتشار فيديو ذو تراجع ذاتي هجين: هذا هو العمل الأول الذي يحول نموذج انتشار فيديو ذي تراجع ذاتي مدرب مسبقاً إلى بنية انتباه خطي هجينة، مما يسمح بتوليد تدفيقي بذاكرة ثابتة دون الحاجة لإعادة التدريب من الصفر.
2. التفكيك المدرك للدور: يحترم التصميم صراحةً عدم تجانس انتباه الفيديو، حيث يحتفظ بالـ softmax ثنائي الاتجاه للتفاصيل المكانية بينما يستخدم التكرار الخطي للذاكرة الزمنية.
3. إدارة الحالة المستقرة: يحل تقديم الوصول على مستوى الإطار وتحديثات المسار النظيف التحديات المحددة لتطبيق الانتباه الخطي التكراري على عملية إزالة الضجيج التكرارية في الانتشار، مما يمنع عدم الاتساق السياقي وفساد الذاكرة.
4. استراتيجية تقطير فعالة: مسار تقطير على مرحلتين موجه بالحساسية، يقلل من تدهور الأداء مع تعظيم مكاسب الكفاءة.

4. النتائج التجريبية

قيم المؤلفون ARL2 على معيار VBench عبر أطوال فيديو مختلفة (81 إلى 921 إطاراً) باستخدام نموذج بـ 1.3 مليار بارامتر.

• الكفاءة:
  • الذاكرة: حقق خفضاً في الذاكرة يصل إلى 54% (على سبيل المثال، 40.5 جيجابايت مقابل 87.9 جيجابايت لـ 921 إطاراً) وحافظ على استخدام ثابت للذاكرة بغض النظر عن طول الفيديو، بينما فشلت النماذج المرجعية عند 1005 إطار بسبب نفاذ الذاكرة (OOM).
  • السرعة: حقق تسريعاً في وقت التنفيذ (wall-clock speedup) يصل إلى 2.26 ضعفاً عند 921 إطاراً. يتناسب التسريع مع طول الفيديو حيث تصبح تكلفة الـ KV-cache مهيمنة.
• الجودة:
  • ARL2 (استبدال 50%): طابق أو تجاوز المعلم (softmax teacher) في الجودة الإجمالية، مع تحسينات محددة في الوميض الزمني (Temporal Flickering) (+0.99) وسلاسة الحركة (Motion Smoothness) (+1.35).
  • ARL2 (استبدال 75%): حافظ على جودة تنافسية (ضمن ~1% من جودة التصوير مقارنة بالأساس) مع تحقيق أقصى مكاسب الكفاءة.
  • المقارنة: تفوق ARL2 (50%) على النماذج المقطرة الأخرى وطابق نموذج MAGI-1 الأكبر بكثير (4.5B) ببارامترات أقل بـ 3.5 ضعفاً.
• الدراسات الاستقصائية (Ablations):
  • أدى إزالة الفرع الهجين أو استخدام الوصول على مستوى الرمز (token-level access) إلى تدهور الأداء، مما يؤكد ضرورة وجود كلا الفرعين والوصول المشترك للحالة على مستوى الإطار.
  • وفرت البوابات على مستوى الرأس (Headwise gating) أفضل مقايضة بين الأداء وكفاءة البارامترات.

5. الأهمية والادعاءات

يزعم البحث أن ARL2 يعالج بشكل أساسي اختناق القابلية للتوسع في انتشار الفيديو ذي التراجع الذاتي. ومن خلال فصل النمذجة المكانية عن الزمنية، فإنه يتيح توليد فيديو طويل المدى كان مستحيلاً في السابق بسبب قيود الذاكرة. يؤكد المؤلفون أن نهجهم يسمح بـ توليد فيديو تدفيقي بذاكرة ثابتة، مما يجعله مناسباً للتطبيقات التفاعلية وفي الوقت الفعلي.

يُظهر العمل أنه من الممكن الاحتفاظ بالنمذجة المكانية عالية الجودة لانتباه الـ softmax مع استبدال الآلية الزمنية المستهلكة للذاكرة بآلية خطية تكرارية. وتثبت استراتيجية التقطير المكونة من مرحلتين أنه يمكن نقل مثل هذه التغييرات الهيكلية بكفاءة إلى النماذج المدربة مسبقاً مع حد أدنى من البارامترات القابلة للتدريب (<2%) وتكلفة حوسبة منخفضة (~156 ساعة من GPU H100)، مما يوفر مساراً عملياً نحو توليد فيديو قابل للتوسع.