ملخص تقني: Veda - انتشار الفيديو القابل للتوسع عبر الانتباه المتناثر المقطر

1. بيان المشكلة

يواجه توسيع نماذج محولات الانتشار (Diffusion Transformers - DiTs) لتوليد فيديوهات عالية الدقة وطويلة المدة حالياً عائقاً يتمثل في التعقيد الحسابي والذاكرة التربيعي ($O(N^2)$) لآليات الانتباه الذاتي بالنسبة لطول تسلسل الرموز (tokens) المكاني-الزماني. وبينما يوفر الانتباه المتناثر (sparse attention) مساراً نظرياً لتخفيف ذلك، تواجه الطرق الحالية مقايضة حرجة:

• الأنماط الثابتة (Static Patterns): تفتقر الطرق التي تستخدم أنماطاً متناثرة محددة مسبقاً (مثل النوافذ المنزلقة) إلى القدرة على التكيف مع هياكل الانتباه الديناميكية الخاصة بكل رأس (head) والتي تتعلمها نماذج DiTs.
• الاختيار الديناميكي (Dynamic Selection): تعاني الطرق التي تتعلم أقنعة ديناميكية (مثل VSA و VMOBA) غالباً من عدم دقة التقدير. فهي تعتمد على إشراف ضمني عبر هدف الانتشار وإحصائيات خشنة (مثل التجميع المتوسط - mean pooling)، مما يؤدي إلى عدم توافق مع الهندسة الحقيقية للانتباه الكامل.
• المشكلة الجوهرية: تشير الأدلة التجريبية إلى أنه عند مستويات التناثر العالية (≥90%)، تتدهور جودة التوليد في هذه النهج الحالية، مما ينتج عنه عيوب هيكلية مثل التشوه المكاني، وأنماط "تموج الماء"، والوميض الزماني (temporal flickering). وتفترض الورقة أن هذا التدهور ليس ناتجاً عن التناثر نفسه، بل عن فشل الأقنعة المتناثرة في التوافق مع الهندسة القائمة على البلاطات (tile-wise geometry) للانتباه الكامل.

2. المنهجية: إطار عمل Veda

Veda هو إطار عمل للانتباه المتناثر المقطر مصمم للحفاظ على الهيكل القائم على البلاطات وترتيب الانتباه الكامل حتى في ظل التناثر الشديد. وهو يعامل اختيار البلاطات كمسألة إعادة بناء صريحة بدلاً من كونها نتاجاً ضمنياً لهدف الانتشار.

2.1. تقطير درجات البلاطات (Distilled Tile Scoring)

بدلاً من الاعتماد على خسارة الانتشار لتشكيل التناثر، يستخدم Veda مُقدِّراً خفيف الوزن لتعلم درجات انتباه مستوى البلاطة بشكل صريح من عمود فقري للانتباه الكامل.

• بناء الهدف (Target Construction): يتم إنشاء قناع "مرجعي/مثالي" (Oracle mask) عن طريق تطبيق التجميع الأقصى (max-pooling) على مصفوفة الانتباه الكامل عبر مناطق بلاطات الاستعلام-المفتاح (query-key). تم اختيار التجميع الأقصى بدلاً من المتوسط للحفاظ على ذروات الإشارة عالية التردد والبارزة التي غالباً ما تضعف بسبب الضوضاء الخلفية.
• المُقدِّر المدرك للإحصائيات (Statistic-Aware Estimator): لإعادة بناء هذه الدرجات، يستخدم Veda واصف TripPool لكل بلاطة، حيث يدمج إحصائيات المتوسط (Average)، والأقصى (Maximum)، والأدنى (Minimum). وهذا يثري تمثيل البلاطة بما يتجاوز مجرد التجميع المتوسط البسيط.
• إسقاطات خاصة بكل رأس (Head-Specific Projections): يستخدم المُقدِّر إسقاطات MLP متميزة لكل رأس انتباه لالتقاط أنماط التبعية غير المتجانسة.
• التحسين (Optimization): يتم تدريب النموذج باستخدام هدف تباعد KL (KL-divergence) للتقطير على مستوى الصف لمحاذاة توزيع درجات البلاطة المتوقع مع مرجع الانتباه الكامل. ومن الأهمية بمكان تطبيق عملية إيقاف التدرج (stop-gradient) على الميزات التي تغذي المُقدِّر من العمود الفقري، مما يفصل تعلم القناع عن تعلم الميزات، ويمنع تعطيل الفضاء التوليدي (generative manifold) المُدرب مسبقاً.

2.2. التكتيل الواعي بالرأس (Head-Aware Tiling)

إدراكاً بأن رؤوس الانتباه تظهر عدم تجانس كبير في التبعيات المكانية-الزمانية (بعضها يلتقط تفاعلات مكانية محلية، والبعض الآخر يعتمد على تبعيات زمانية طويلة المدى)، يتخلى Veda عن استراتيجيات التكتيل الموحدة.

• البحث في التكوينات (Configuration Search): لكل طبقة ورأس، يبحث Veda عن التكوين الأمثل $\pi_{l,h} = (p_t, p_h, p_w)$ الذي يفكك حجم بلاطة الأجهزة (hardware tile size).
• الاختيار خارج الإنترنت (Offline Selection): يتم اختيار التكوين الأمثل "خارج الإنترنت" (offline) على مجموعة معايرة من خلال تقليل خطأ التقريب بين مخرجات الانتباه الكامل ومخرجات الانتباه المتناثر، مما يضمن مطابقة استراتيجية التكتيل للاحتياجات الهيكلية لكل رأس.

2.3. التنفيذ الفعال للأجهزة (Hardware-Efficient Implementation)

لترجمة تقليل العمليات الحسابية (FLOPs) إلى تسريع فعلي في وقت التنفيذ، يقوم Veda بتنفيذ نواة انتباه متناثرة تتخطى البلاطات (tile-skipping sparse attention kernel) باستخدام لغة البرمجة الوصفية ThunderKittens.

• التنفيذ غير المتزامن (Asynchronous Execution): تستفيد النواة من تقنية الوصول إلى ذاكرة التنسور (TMA) وتخصص الـ Warp في معمارية NVIDIA Hopper. وهي تفصل حركة البيانات عن الحساب باستخدام نموذج المنتج-المستهلك، حيث تقوم الـ warps المنتجة بجلب بلاطات المفتاح/القيمة (key/value) غير المتجاورة إلى الذاكرة المشتركة، بينما تقوم الـ warps المستهلكة بتنفيذ عمليات الـ tensor core.
• الكفاءة: يخفي هذا التصميم زمن انتقال الذاكرة خلف عمليات المصفوفات الكثيفة، محققاً حوالي 80% من كفاءة استخدام عمليات الذاكرة (MFU) لـ FlashAttention-3.
• كفاءة التدريب: تقوم نواة متخصصة من نوع TileLang بإنشاء خرائط حرارية (heatmaps) للحقائق في مرحلتين، مما يسم يسمح بالإشراف المتناثر (مجموعات فرعية عشوائية من بلاطات الاستعلام) لتقليل عبء التدريب دون المساس بالأداء.

3. المساهمات الرئيسية

1. رؤية تجريبية: توضح الورقة أن جودة التوليد في انتشار الفيديو المتناثر تتحدد من خلال محاذاة القناع المتناثر مع الهندسة القائمة على البلاطات للانتباه الكامل، وليس من خلال نسبة التناثر نفسها.
2. الانتباه المتناثر المقطر: يقدم Veda إطار عمل يصيغ اختيار البلاطات كمسألة إعادة بناء صريحة، باستخدام مُقدِّر مدرك للإحصائيات وإسقاطات خاصة بكل رأس لتقليل خطأ التقدير.
3. التكتيل الواعي بالرأس: استراتيجية مبتكرة تخصص تفكيكات بلاطات مكانية-زمانية مختلفة لمختلف رؤوس الانتباه، مما يعالج عدم التجانس في أنماط التبعية في نماذج Video DiTs.
4. نواة محسنة للأجهزة: نواة مخصصة تتخطى البلاطات تحقق توسعاً شبه خطي مع طول التسلسل واستخداماً عالياً للأجهزة، مما يحول التناثر الخوارزمي إلى مكاسب ملموسة في زمن الاستجابة (latency).

4. النتائج التجريبية

أُجريت التجارب على نماذج انتشار فيديو واسعة النطاق، بما في ذلك Waver-T2V-12B و Wan2.1-T2V-14B، بدقات تصل إلى 720P وأطوال تسلسل تصل إلى 241 إطاراً.

• التسريع: في نموذج Waver-T2V-12B (720P، 241 إطاراً)، يحقق Veda تسريعاً في الوقت الإجمالي قدره 5.1× (تقليل وقت العينة من 19.4 إلى 3.8 دقيقة) و تسريعاً في الانتباه الذاتي قدره 10.5×. تم تقليل عبء الانتباه من 92% إلى 50%.
• القابلية للتوسع: تزدل التسريعات مع طول التسلسل. عند 245 ألف رمز، يتوسع Veda بشكل شبه خطي (309.1 مللي ثانية) مقارنة بالنمو التربيعي للانتباه الكامل (1576.5 مللي ثانية)، مما يعطي تسريعاً قدره 5.1×.
• الحفاظ على الجودة:
  • التقييم البشري: في اختبار Waver-bench 1.0، يحقق Veda عند تناثر 90% توازياً إدراكياً مع الانتباه الكامل. وعند تناثر 95%، يتفوق بشكل كبير على طريقة VSA المتطورة (حتى عندما تعمل VSA عند مستويات تناثر أقل).
  • تقليل العيوب: على عكس النماذج المرجعية التي تعاني من أنماط تموج الماء والوميض الزماني عند التناثر العالي، يحافظ Veda على دقة بصرية عالية وتماسك زماني.
  • المقايات الكمية: تظهر تقييمات VBench أن Veda يحافظ على اتساق الموضوع وسلاسة الحركة بشكل يضاهي نماذج الانتباه الكامل، حتى عند تناثر 95%.

5. الأهمية والادعاءات

تدعي الورقة أن Veda يعالج بنجاح عائق التوسع في توليد الفيديو عالي الدقة دون المساس بالسلامة الهيكلية. ومن خلال إعادة صياغة الانتباه المتناثر كـ مسألة تقطير بدلاً من كونها بحثاً استدلالياً أو مهمة تعلم ضمني، يتيح Veda تناثراً هجومياً (يصل إلى 95%) كان غير ممكن سابقاً دون تدهور شديد في الجودة.

يؤكد المؤلفون أن المكاسب ليست نظرية فحسب؛ إذ تضمن النواة المخصصة تحويل التناثر إلى تسريع فعلي في وقت التنفيذ. ويُقدم إطار العمل كحل نمطي مدرك للأجهزة يتوسع بشكل ملائم مع الدقة المكانية-الزمانية، مما يجعل توليد الفيديوهات الطويلة وعالية الدقة ممكناً في ظل قيود الأجهزة الحالية. وتشير الورقة إلى أن التحسينات المستقبلية يمكن أن تركز على دمج النواة (kernel fusion) بشكل أوثق، واستراتيجيات التناثر التكيفية عبر الخطوات الزمنية، والتخزين المؤقت الزماني لدرجات البلاطات.