🤖 machine learning

LVSA: Training-Free Sparse Attention for Long Video Diffusion

تُعد LVSA آلية انتباه ذات تخلخل كتل (block-sparse attention) لا تعتمد على نموذج محدد ولا تتطلب تدريباً، حيث تجمع بين النوافذ المهيكلة والمرتكزات العالمية الدوارة لتسريع استنتاج نماذج الانتشار للفيديوهات الطويلة بشكل كبير وتوسيع آفاق التوليد مع الحفاظ على جودة الفيديو أو تحسينها، إلى جانب تقديم VQeval لتقييم أكثر دقة للجودة.

المؤلفون الأصليون: Gael Glorian, Ioannis Lamprou, Zhen Zhang, Yujie Yuan, Hongsheng Liu

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gael Glorian, Ioannis Lamprou, Zhen Zhang, Yujie Yuan, Hongsheng Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إخراج فيلم باستخدام مساعد ذكاء اصطناٍعي ذكي للغاية، ولكنه يشعر ببعض الارتباك. هذا المساعد بارع في صنع مقاطع قصيرة، ولكن عندما تطلب منه صنع فيلم طويل (مئات الإطارات)، يبدأ في الذعر.

إليك المشكلة التي تحلها هذه الورقة البحثية، مشروحة من خلال بعض القصص البسيطة:

1. المشكلة: "أمين المكتبة المنهك"

تعمل نماذج فيديو الذكاء الاصطناعي الحالية مثل أمين مكتبة يتعين عليه فحص كل كتاب على كل الرفوف للإجابة على سؤال واحد فقط.

التكلفة: إذا كان لديك 100 إطار من الفيديو، فعلى أمين المكتبة قراءة 100 كتاب. إذا كان لديك 1,000 إطار، فعليه قراءة 1,000 كتاب. ولكن إليك الخدعة: لكي يصنع "اتصالاً جيداً"، يتعين عليه مقارنة كل كتاب بكل كتاب آخر. العمل لا يتضاعف فحسب؛ بل ينفجر (بشكل تربيعي). وهذا يجعل إنتاج الفيديوهات الطويلة بطيئاً ومكلفاً للغاية.
خلل "التجمد": عندما يتعب أمين المكتبة كثيراً (لأن الفيديو طويل جداً)، يتوقف عن التفكير بشكل إبداعي. يبدأ ببساطة في تكرار نفس الصفحة مراراً وتكراراً. في عالم الفيديو، تتوقف الشخصيات عن الحركة، ويتوقف الخلفية عن التغير، ويصبح الفيديو عبارة عن فوضى "متجمدة" أو "متكررة".

2. الحل: LVSA (الـ "مرشد السياحي الذكي")

يقدم المؤلفون LVSA (الانتباه المتناثر للفيديو الطويل - Long Video Sparse Attention). فكر في هذا كاستبدال لأمين المكتبة المنهك بـ مرشد سياحي ذكي.

بدلاً من قراءة كل كتاب في المكتبة، يستخدم المرشد استراتيجية ذكية:

النافذة المحلية: بالنسبة للمشهد الحالي، ينظر المرشد فقط إلى المحيط المباشر (الـ "نافذة المحلية"). هذا يحافظ على دقة التفاصيل وسلاسة الحركة.
المرتكزات العالمية: لتذكر الصورة الكبيرة، يختار المرشد بعض "المعالم" (المرتكزات العالمية) الموزعة في أرجاء الفيلم. يقوم بفحص هذه المعالم بشكل دوري للتأكد من أن القصة لم تخرج عن مسارها.
الإزاحة الدوارة: هنا تكمن الخدعة السحرية. في الطريقة القديمة، كان المرشد يفحص دائماً نفس المعالم. هذا تسبب في خلل "التجمد" لأن المرشد أصبح يشعر بالملل من تلك المواقع المحددة. تقوم تقنية LVSA بـ تدوير هذه المعالم. في لحظة ما، يفحص بداية الفيلم؛ وفي اللحظة التالية، يفحص نقطة لاحقة قليلاً. هذا يبقي المرشد متجدداً ويضمن أن الفيلم بأك its يبدو حياً، وليس مجرد حلقة ثابتة.

والأفضل من ذلك كله: لا يحتاج المرشد إلى إعادة تدريب. يمكنك ببساطة منح هذه الاستراتيجية الجديدة للذكاء الاصطناعي الموجود، وسيعمل فوراً.

3. النتائج: أسرع، أطول، وأفضل

اختبر الفريق هذا "المرشد السياحي الذكي" على ثلاثة نماذج مختلفة قوية من الذكاء الاصطناٍعي (Wan و HunyuanVideo) ووجدوا أن:

السرعة: جعلت عملية إنشاء فيديوهات طويلة أسرع بـ 3 مرات (وأحياناً أكثر) من الطريقة القديمة.
- تشبيه: إذا كانت الطريقة القديمة تستغرق 50 دقيقة لصنع مقطع طويل، فإن الطريقة الجديدة تنجزه في حوالي 16 دقيقة.
القدرة على التنفيذ: بعض الفيديوهات كانت مستحيلة الصنع سابقاً لأنها تتطلب الكثير من ذاكرة الكمبيوتر (نفد "مكتب" أمين المكتبة). لقد قللت تقنية LVSA من الذاكرة المطلوبة لدرجة أن هذه الفيديوهات الطويلة يمكن الآن صنعها على شريحة كمبيوتر قياسية واحدة.
الجودة: الفيديوهات أكثر ديناميكية. تتحرك الشخصيات بشكل طبيعي بدلاً من التجمد.
- اختبار "التجمد": أنشأ المؤلفون أداة تسجيل جديدة تسمى VQeval. أدوات التسجيل القديمة كانت تشبه المعلم الذي يعطي درجة "+A" لطالب يكتفي بالتحديق في الحائط لأنه "متسق". أما VQeval فهو معلم أكثر صرامة، يعطي درجة "F" للفيديو المتجمد ودرجة "A" للفيديو الذي يحتوي على حركة حقيقية. وقد حصلت تقنية LVSA على درجة "A".

4. الاختبار الواقعي

لم يختبر الفريق هذه التقنية على نوع واحد من أجهزة الكمبيوتر فحسب، بل أظهروا أنها تعمل على:

وحدات معالجة الرسومات (GPUs): وهي الشرائح القوية القياسية المستخدمة في الذكاء الاصطناعي.
وحدات المعالجة العصبية (NPUs): وهي شرائح متخصصة موجودة في بعض الأجهزة الحديثة، مما يثبت أن هذه الطريقة مرنة بما يكفي للعمل على أجهزة مختلفة.

الملخص

LVSA هو ترقية مجانية وسهلة التركيب (Plug-and-play) لذكاء الفيديو الاصطناعي. إنها تمنع الذكاء الاصطناعي من الشعور بـ "التعب" والتجمد أثناء الفيديوهات الطويلة. تفعل ذلك من خلال جعل الذكاء الاصطناعي يركز على الحركة المباشرة مع فحص "معالم" دوارة بين الحين والآخر للحفاظ على حركة القصة. النتيجة هي فيديوهات أسرع في الإنشاء، وتناسب أجهزة كمبيوتر أصغر، وتبدو بالفعل كصور متحركة بدلاً من شرائح ثابتة.

ملخص تقني: LVSA: انتباه متفرق خالٍ من التدريب للفيديو الطويل في نماذج الانتشار

1. بيان المشكلة

تواجه نماذج محولات انتشار الفيديو (DiTs)، مثل Wan و HunyuanVideo، عقبتين حرجتين عند توليد فيديوهات طويلة:

التكلفة الحسابية: يتوسع الانتباه الذاتي الكثيف القياسي (Standard dense self-attention) بشكل تربيعي ( $O(N^2)$ ) مع طول التسلسل (عدد الإطارات). وهذا يجعل الاستدلال (Inference) للفيديوهات الطويلة مكلفًا للغاية.
تدهور الجودة: بعد تجاوز أفق التدريب (على سبيل المثال، 81 إطارًا لـ Wan، و129 لـ HunyuanVideo)، يتسبب الانتباه الكثيف في تقارب النموذج نحو مخرجات شبه ثابتة، أو "متجمدة"، أو تكرارية (Looping). يؤدي هذا إلى فقدان الحركة والتباين الزمني، مما يجعل جودة الفيديو منخفضة.

الحلول الحالية غير كافية: فبعضها يتطلب إعادة تدريب مكلفة، بينما يفشل البعض الآخر (مثل النافذة المنزلقة أو الانتباه الشعاعي) في القضاء على عيوب التكرار الزمني بعيدة المدى. وعلى العكس من ذلك، فإن طرق الاستقراء (Extrapolation) التي تحافظ على الجودة (مثل RIFLEx و UltraViCo) غالبًا ما تفشل في تقليل التكاليف الحسابية، لأنها لا تزال تعتمد على مصفوفات انتباه كثيفة.

2. المنهجية: الانتباه المتفرق للفيديو الطويل (LVSA)

يقترح المؤلفون LVSA، وهو آلية انتباه متفرق (Block-sparse attention) خالية من التدريب ومستقلة عن النموذج، مصممة لموازنة كفاءة الحوسبة مع التماسك الزمني.

الآلية الجوهرية

يقوم LVSA بتقييد مجموعة الإطارات $A(t)$ التي يلتفت إليها إطار الاستعلام $t$ ، مستبدلًا المجموعة الكاملة $\{0, \dots, T-1\}$ باتحاد مكونين:
$A(t) = G \cup W(t)$

المرتكزات العالمية الدوارة ( $G$ ):
- بدلاً من استخدام شبكة ثابتة من الإطارات العالمية (التي تسبب انحيازًا حيث تُرى الإطارات المتوسطة محليًا فقط)، يستخدم LVSA إطارات عالمية دورية دوارة.
- في كل خطوة إزالة ضجيج (Denoising step) $s$ ، تنزاح مجموعة الإطارات العالمية $G_s$ بمقدار $s \pmod{T_{per}}$ .
- عبر $T_{per}$ من الخطوات المتتالية، يعمل كل إطار كمرتكز عالمي مرة واحدة بالضبط. هذا يلغي انحياز الشبكة الثابت ويمنع الإفقار المنهجي لتمثيلات الإطارات المتوسطة، مما يقلل من العيوب الزمنية بعيدة المدى مثل التكرار وانجراف الهوية.
النوافذ التكيفية الموسعة ( $W(t)$ ):
- يلتفت كل إطار إلى نافذة زمنية محلية بحجم $W$ .
- لضمان ميزانية انتباه ثابتة لكل إطار استعلام، قدم المؤلفون حدود نافذة موسعة. إذا تداخلت النافذة المحلية مع الإطارات العالمية، يتم توسيع النافذة ديناميكيًا للتعويض عن التداخل، مما يضمن أن $|A(t)| \approx C$ (ميزانية مستهدفة) لجميع الإطارات.
- يتم ضبط الميزانية المستهدفة $C$ عادةً لتطابق أفق التدريب الخاص بالنموذج (على سبيل المثال، 21 إطارًا لـ Wan 2.1 1.3B)، مما يضمن أن تكلفة الاستدلال تطابق تكلفة التدريب.

التعقيد

من خلال تثبيت عدد الإطارات التي يتم الانتباه إليها عند $C$ ، يصبح تعقيد الانتباه لكل استعلام هو $O(C \cdot P \cdot d)$ ، مما يؤدي إلى تعقيد إجمالي قدره $O(T \cdot C \cdot P^2 \cdot d)$ . وهذا يجعل التعقيد خطيًا بالنسبة لعدد الإطارات $T$ ، مما يسمح بتوليد فيديو طويل قابل للتوسع.

معيار التقييم: VQeval

قدم المؤلفون VQeval، وهي أداة تقييم مخصصة مصممة لتسجيل حالات الفشل "التكرارية" أو الثابتة بشكل صحيح. على عكس المقيمات الحديثة مثل VBench-Long، التي تكافئ التشابه بين الإطارات (وبالتالي ترفع درجات الفيديوهات المتجمدة عن طريق الخطأ)، يقوم VQeval بمعاقبة نقص الحركة وعيوب التكرار صراحةً من خلال أبعاد "الجودة الديناميكية" و"جودة التكرار".

3. المساهمات الرئيسية

خوارزمية LVSA: نمط انتباه متفرق يجمع بين المرتكزات العالمية الدوارة والنوافذ التكيفية الموسعة، وهو خالٍ من التدريب ومستقل عن النموذج، لإزالة انحياز الشبكة الثابتة وتقليل الحوسبة.
معيار VQeval: مقياس جديد تمت معايرته خصيصًا للكشف عن أنماط الفشل الثابتة/التكرارية الشائعة في توليد الفيديوهات الطويلة، ومعالجة أوجه القصور في المقاييس الحالية.
التحقق عبر البنى المختلفة: إثبات فعاليتها عبر ثلاث بنى مختلفة من DiT (وهي Wan 2.1 1.3B، و Wan 2.1 14B، و HunyuanVideo 1.5) ومنصات أجهزة مختلفة (GPUs و NPUs).
التنفيذ مفتوح المصدر: تم إصدار الطريقة كإضافة (Plugin) للمنصات مفتوحة المصدر الشهيرة.

4. النتائج التجريبية

الكفاءة الحسابية

تسريع الأداء: على وحدة معالجة رسومات بقدر 80 جيجابايت، يحقق LVSA مع نواة FlashInfer تسريعًا كبيرًا مقارنة بالانتباه الكثيف:
- 3.17× على Wan 2.1 1.3B (أفق 6×).
- 2.98× على Wan 2.1 14B (أفق 6×).
- 3.33× على HunyuanVideo 1.5 (أفق 1.5×).
جدوى الذاكرة: يتيح LVSA التوليد في الآفاق التي يفشل فيها الانتباه الكثيف بسبب أخطاء نفاذ الذاكرة (OOM). على سبيل المثال، توليد HunyuanVideo 1.5 عند أفق 2× (257 إطارًا) غير ممكن باستخدام الانتباه الكثيف على وحدة معالجة رسومات واحدة بقدر 80 جيجابايت، ولكنه يعمل بنجاح مع LVSA (ذروة الذاكرة ~60 جيجابايت).
أداء NPU: يحقق LVSA على وحدات NPU تسريعًا قدره 2.71× (Wan 2.2 A14B) و 3.24× (Wan 2.1 1.3B) عند أفق 6×.

جودة الفيديو

أفق التدريب: عند أفق التدريب الأصلي (1×)، يكون LVSA محايدًا في الجودة مقارنة بالانتباه الكثيف عبر جميع المقاييس.
الآفاق الممتدة: بعد تجاوز أفق التدريب، يتفوق LVSA بشكل كبير على الانتباه الكثيف.
- في Wan 2.1 1.3B (أفق 6×)، يتفوق LVSA-FI بمقدار +12.1 في مركب VQeval مقارنة بالانتباه الكثيف، الذي ينهار إلى مخرجات شبه ثابتة.
- VBench-Long مقابل VQeval: بينما قد ترتفع درجات VBench-Long للانتباه الكثيف عند الآفاق الممتدة (بسبب انحيازه نحو الاتساق الثابت)، يحدد VQeval هذا كفشل في الجودة. يحافظ LVSA على حركة حقيقية، مما يؤدي إلى درجات أعلى في VQeval.
المقارنة مع SOTA: يتفوق LVSA على RIFLEx و UltraViCo في كل من الحوسبة والجودة:
- السرعة: LVSA أسرع بما يصل إلى 3.27× من UltraViCo و 2.41× من RIFLEx في Wan 2.1 1.3B.
- الجودة: يحقق LVSA أعلى درجات مركبة في VQeval في جميع الآفاق المختبرة، بينما يكون RIFLEx غير متميز إحصائيًا عن الانتباه الكثيف من حيث انهيار الجودة، بينما يتسبب UltraViCo في تكاليف زمن استجابة عالية.

5. الأهمية والادعاءات

يزعم البحث أن LVSA ينجح في استغلال المقايضة بين الحوسبة والجودة لتوليد الفيديوهات الطويلة بالانتشار. ومن خلال إزالة انحياز الشبكة الثابتة المتأصل في أنماط التشتت الثابتة واستخدام استراتيجية مرتكز عالمي دوار، يمنع LVSA عيوب الفيديو "المتجمد" التي تعاني منها عملية توليد الفيديوهات طويلة الأمد.

يؤكد المؤلفون أن نهجهم خالٍ من التدريب ومستقل عن النموذج، مما يجعله قابلًا للتطبيق الفوري على بنى DiT الحالية دون الحاجة لإعادة التدريب. كما أن تقديم VQeval يسلط الضوء على خلل حرج في معايير التقييم الحالية، بحجة أن المقاييس التي تكافئ الاتساق الثابت هي مقاييس مضللة لتوليد الفيديوهات طويلة المدى. يثبت العمل أنه من الممكن توليد فيديوهات عالية الجودة وطويلة المدة على وحدات GPU و NPU منفردة مع توسع خطي، متجاوزًا حواجز الذاكرة والحوسبة التربيعية للانتباه الكثيف.