SALAD: Achieve High-Sparsity Attention via Efficient Linear Attention Tuning for Video Diffusion Transformer

إليك ملخص تقني مفصل لورقة البحث: "SALAD: تحقيق انتباه عالي التشتت عبر ضبط الانتباه الخطي الفعال لمحول الانتشار للفيديو (Video Diffusion Transformer)."

1. بيان المشكلة

حققت نماذج محولات الانتشار للفيديو (DiTs) نتائج رائدة في توليد الفيديو، لكنها تعاني من تعقيد حسابي تربيعي ($O(N^2)$) بسبب آليات الانتباه الكامل. وهذا يجعل توليد فيديوهات عالية الدقة وطويلة المدة (مثل 30 ألف إلى 100 ألف توكن) أمراً مكلفاً للغاية من الناحية الحسابية.

تواجه الحلول الحالية مقايضة:

• الانتباه المتشتت الخالي من التدريب (Training-free sparse attention): طرق مثل "النافذة المنزلقة" أو "Top-K attention" تقلل زمن التأخير ولكنها تقتصر على تشتت متوسط (40-60%). وغالباً ما تفشل في التقاط الاعتمادات طويلة المدى، مما يؤدي إلى عيوب مثل تكرار الأجسام أو عدم الاتساق الزمني.
• الانتباه المتشتت القائم على التدريب (Training-based sparse attention): الطرق التي تقوم بضبط النماذج المتشتتة يمكنها تحقيق تشتت عالٍ (80-95%)، لكنها تتطلب مجموعات بيانات ضخمة (مثل Koala-36M) وموارد حوسبة هائلة (مئات الساعات من زمن وحدة معالجة الرسومات GPU).
• قيود LoRA: مجرد تطبيق "التكيف منخفض الرتبة" (LoRA) على نماذج الانتباه المتشتت يفشل في استعادة جودة النماذج الكثيفة بالكامل تحت ظروف التشتت الشديد. وتظهر التجارب أن النماذج المتشتتة التي تم ضبطها باستخدام LoRA لا تزال تظهر تدهوراً كبيراً في اتساق الموضوع والاتساق الزمني، لأن LoRA وحدها لا تستطيع تعويض فقدان المعلومات الشديد الناتج عن تقييد التفاعلات بين الرموز (tokens).

2. المنهجية: SALAD

يقترح المؤلفون SALAD (الانتباه المتوازي الخطي لتحويل الانتشار عالي التشتت)، وهو بنية خفيفة الوزن تجمع بين الانتباه المتشتت (Sparse Attention) وفرع انتباه خطي (Linear Attention) متوازٍ.

البنية الأساسية

• تصميم الفروع الهجينة: يقدم SALAD فرع انتباه خطي يعمل بالتوازي مع فرع الانتباه المتشتت. يشترك كلا الفرعين في عمليات إسقاط الاستعلام ($Q$)، والمفتاح ($K$)، والقيمة ($V$)، والتي يتم تهيئتها من النموذج المدرب مسبقاً ويتم ضبطها باستخدام LoRA.
  • الفرع المتشتت (Sparse Branch): يتولى الجزء الأكبر من نمذجة التسلسل بتشتت عالٍ (مثلاً 90%)، مما يضمن الكفاءة.
  • الفرع الخطي (Linear Branch): يستخدم انتباهاً خطياً قائماً على ReLU لتوفير خلط الرموز العالمي ($O(N)$ complexity). وهو يلتقط الاعتمادات الحرجة طويلة المدى والسياق العالمي الذي يفتقده الفرع المتشتت.
• كفاءة المعلمات: يشارك الفرع الخطي الأوزان مع الوحدة المتشتتة، مما يضيف 4.99% فقط من المعلمات الإضافية بالنسبة للنموذج المدرب مسبقاً.

الابتكار الرئيسي: استراتيجية القياس الثابت-الديناميكي متعدد المستويات

لاحظ المؤلفون وجود اختلال في الرتبة (rank imbalance): إن مخرجات الفرع الخطي لها رتبة فعالة أقل بكثير من الفرع المتشتت. الجمع المباشر بينهما يسبب "تآكل الرتبة" (rank erosion)، حيث تقوم مخرجات الخطية منخفضة الرتبة بقمع الهياكل المعلوماتية عالية الرتبة للفرع المتشتت. ولحل ذلك، يستخدم SALAD آلية قياس ثنائية المراحل:

1. القياس الثابت لكل طبقة (Layer-wise Static Scaling - LWSS):
   • يتم إدراج طبقة إسقاط تبدأ بقيم صفرية بعد الفرع الخطي في كل كتلة Transformer.
   • يسمح هذا للنموذج بالبدء من الحالة المتشتتة المدربة مسبقاً والتعلم تدريجياً لدمج الفرع الخطي، مما يمنع عدم الاستقرار الأولي.
2. القياس الديناميكي المرتبط بالمدخلات والخطوات الزمنية (Input-Timestep-Aware Dynamic Scaling - ITADS):
   • تقوم وحدة خفيفة الوزن بحساب عامل قياس عالمي ($s \in (0, 1)$) بناءً على الحالات المخفية الحالية وخطوة إزالة الضجيج ($t$).
   • يقوم هذا بتعديل مساهمة الفرع الخطي ديناميكياً. على سبيل المثال، يكون الفرع الخطي أكثر أهمية في خطوات إزالة الضجيج المبكرة (للهيكل العالمي) وأقل أهمية في الخطوات اللاحقة (للتفاصيل الدقيقة)، أو العكس حسب المدخلات.
   • يتم تقييد عامل القياس عبر دالة Sigmoid لضمان عمل الفرع الخطي كـ مكمل مساعد محكوم بدلاً من الهيمنة على المخرجات.

إسقاط الفروع بعد الضبط (Post-Tuning Branch Dropping)

لتحسين سرعة الاستنتاج بشكل أكبر، يقترح المؤلفون استراتيجية إسقاط الفروع. بما أن عوامل القياس الديناميكية تشير إلى ضرورة وجود الفرع الخطي لخطوات زمنية ومدخلات معينة، يتم حذف الفروع التي تقل عوامل قياسها عن عتبة $\tau_t$ أثناء الاستنتاج. هذا يقلل الحوسبة دون المساس بالجودة.

3. المساهمات الرئيسية

1. بنية SALAD: وحدة انتباه فعالة ومبتكرة تتيح تشتتاً فائق العلو (يصل إلى 90%) عبر موازاة فرع انتباه خطي خفيف الوزن مع الانتباه المتشتت.
2. استراتيجية القياس متعددة المستويات: تقديم القياس الثابت-الديناميكي لحل مشكلة اختلال الرتبة بين الفروع المتشتتة والخطية، مما يضمن أن الفرع الخطي يكمل ولا يقمع مخرجات الفرع المتشتت.
3. كفاءة قصوى:
   • كفاءة البيانات: يتطلب 2,000 عينة فيديو فقط (مقابل الملايين في الطرق الأخرى).
   • كفاءة الحوسبة: يتطلب أقل من 1,600 خطوة تدريب وأقل من 30 ساعة من زمن GPU (حجم الدفعة 8).
   • تسريع الاستنتاج: يحقق تسريعاً يتراوح بين 1.52× إلى 2.03× عبر نماذج وأطوال تسلسل مختلفة.
4. الحفاظ على الجودة: يحافظ على جودة التوليد مقارنة بنماذج الانتباه الكامل، ويتفوق بشكل كبير على نماذج Lo-tuned المتشتتة والطرق الخالية من التدريب.

4. النتائج التجريبية

تم تقييم الطريقة على نماذج انتشار الفيديو Wan2.1 (بمعلمات 1.3B و 14B) بدقات 480p و 720p.

• الأداء مقابل التشتت:
  • في نموذج Wan2.1-1.3B (30 ألف توكن)، يحقق SALAD تشتتاً بنسبة 90% مع تسريع قدره 1.72×، متفوقاً على جميع النماذج المرجعية (SVG2, PARO, ST-SWA+LoRA) في مقاييس VBench (اتساق الموضوع، اتساق الخلفية، جودة الصورة، واتساق النص).
  • في نموذج Wan2.1-1.3B (100 ألف توكن)، يحقق تشتتاً بنسبة 90% مع تسريع قدره 2.03×.
  • في نموذج Wan2.1-14B، يحقق تشتتاً بنسبة 88% مع تسريع قدره 1.59× مع الحفاظ على أداء قريب من نموذج الانتباه الكامل.
• المقارنة مع LoRA:
  • يفشل ضبط LoRA القياسي على النماذج المتشتتة في استعادة الجودة عند التشتت العالي. يتفوق SALAD على متغيرات LoRA حتى مع عدد معلمات قابلة للتدريب أقل (165 مليون مقابل 189 مليون+ لـ LoRA r=256).
• دراسات الاستئصال (Ablation Studies):
  • إزالة القياس الديناميكي أو استخدام التهيئة العشوائية يؤدي إلى تدهور الأداء، مما يؤكد ضرورة استراتيجية القياس متعددة المستويات.
  • إسقاط الفروع (إزالة حوالي 50% من الفروع الخطية بناءً على العتبات) يحسن أو يحافظ على الجودة مع تعزيز الكفاءة.

5. الأهمية

يعالج SALAD عقبة حرجة في توليد الفيديو: المقايضة بين الكفاءة الحسابية وجودة التوليد.

• القابلية للتوسع: يجعل توليد الفيديو عالي الدقة وطويل المدة ممكناً على الأجهزة الاستهلاكية أو الأجهزة المؤسسية ذات الموارد المحدودة من خلال تقليل زمن تأخير الاستنتاج بشكل كبير.
• سهولة الوصول: من خلال تطلبه لبيانات ضئيلة (2 ألف عينة) وحوسبة محدودة (30 ساعة GPU) للضبط، فإنه يتيح القدرة على تكييف نماذج الفيديو الكبيرة مع أنظمة التشتت العالية، على عكس الطرق السابقة التي تطلبت تدريباً مسبقاً ضخماً على مجموعات بيانات مملوكة.
• الرؤية النظرية: تقدم الورقة تحليلاً عميقاً لـ "اختلال الرتبة" في الانتباه الهجين، وتقدم حلاً مبدئياً (القياس) لدمج السياق العالمي منخفض الرتبة مع النمذجة المحلية المتشتتة عالية الرتبة.

باختصار، يثبت SALAD أن التشتت فائق العلو في انتشار الفيديو أمر ممكن دون التضحية بالجودة، بشرما تم استخدام فرع خطي خفيف الوزن ومقيّس ديناميكياً لاستعادة السياق العالمي الذي فقده الانتباه المتشتت.