DFSAttn: Dynamic Fine-grained Sparse Attention for Efficient Video Generation

ملخص تقني: DFSAttn لتوليد الفيديو بكفاءة عالية

بيان المشكلة
حققت نماذج محولات الانتشار (Diffusion Transformers - DiTs) نتائج رائدة في توليد الفيديو عالي الدقة باستخدام آلية الانتباه المكاني والزماني ثلاثي الأبعاد الكامل (spatiotemporal 3D full attention). ومع ذلك، فإن التعقيد الحسابي التربيعي للانتباه الكامل يخلق عائقاً تعجيزياً، لا سيالما في الفيديوهات ذات الدقة العالية والمدة الطويلة. وبينما توفر تقنية "الانتباه المتفرق بالكتل" (block sparse attention) مساراً نحو الكفاءة عبر تخطي حسابات كتل الرموز (tokens) الأقل أهمية، إلا أن الطرق الحالية تعاني من تدهور كبير في الجودة عند نسب التفرق العالية. وقد حدد المؤلفون وجود عدم تطابق جوهري: حيث تُظهر خرائط انتباه نماذج DiT تفرقاً ديناميكياً ودقيق الحبيبات يتغير عبر الطبقات، والرؤوس، وخطوات الانتشار. وتفشل الأقنعة (masks) الثابتة أو خشنة الحبيبات في التقاط هذه الأنماط المعقدة، مما يؤدي إلى التخلص من التبعيات الحرجة ويؤدي بدوره إلى فقدان الدقة.

المنهجية: DFSAttn
لمعالجة هذه القيود، اقترح المؤلفون DFSAttn، وهو إطار عمل للانتباه المتفرق الديناميكي دقيق الحبيبات وخالٍ من التدريب. تستند الطريقة إلى تحليل نظري لاستدعاء الانتباه (attention recall)، والذي يحدد ثلاثة عوامل حاكمة للتفرق الفعال: ميزانية التفرق، وفجوة التشابه بين الكتل، والتنوع الدلالي على مستوى الكتلة. يدمج DFSAttn ثلاثة تصميمات أساسية لتحسين هذه العوامل:

1. إعادة ترتيب الرموز باستخدام منحنى هيلبرت ثلاثي الأبعاد (3D Hilbert Curve Token Reordering):
   تقوم نماذج DiTs القياسية بتسطيح رموز الفيديو ثلاثية الأبعاد إلى تسلسلات أحادية الأبعاد باستخدام ترتيب الصفوف (row-major ordering)، مما يقطع الترابط المكاني والزماني. يقوم DFSAttn بإعادة ترتيب الرموز باستخدام منحنى هيلبرت ثلاثي الأبعاد عالمي قبل حساب الانتباه. هذا يحافظ على الجوار المكاني والزماني في التسلسل أحادي البعد، مما يضمن أن الرموز داخل الكتلة الواحدة متماسكة دلالياً. تعمل إعادة الترتيب هذه على توسيع فجوة التشابه بين الكتل، مما يسمح للعمليات على مستوى الكتلة بإحداث تفرق دقيق الحبيبات في الفضاء المكاني والزماني الأصلي مع الحفاظ على وصول ذاكرة متصل وسهل المعالجة بواسطة وحدات معالجة الرسومات (GPU).

2. التسجيل الهرمي للكتل (Hierarchical Block Scoring):
   لمعالجة مشكلة التنوع الدلالي داخل الكتل (حيث قد تحتوي كتلة واحدة على مراكز دلالية متعددة)، يستخدم DFSAttn آلية تسجيل هرمية. فبدلاً من الاعتماد على التجميع الخشن على مستوى الكتلة، تقوم الطريقة بتقسيم الكتل إلى كتل فرعية أصغر. وتقوم بحساب درجات الانتباه على مستوى الكتلة الفرعية وتجميعها لتقدير أهمية الكتلة. يوفر هذا الصقل تقريباً أكثر دقة للتفاعلات على مستوى الرموز، مما يؤدي إلى اختيار أفضل للكتل الحرجة.

3. تخزين أقنعة التفرق مع نسب تكيفية (Sparse Mask Caching with Adaptive Ratios):
   لاحظ المؤلفون أن تفرق الانتباه يصبح أكثر وضوحاً مع تقدم عملية الانتشار (أي أن خطوات إزالة الضجيج المتأخرة تُظهر تركيزاً أعلى). واستغلالاً لذلك، يستخدم DFSAttem ميزانية تفرق تكيفية تتناقص بشكل رتيب عبر خطوات الانتشار، حيث تخصص حوسبة أكبر لخطوات الضجيج المبكرة وحوسبة أقل للخطوات اللاحقة. علاوة على ذلك، ولتقليل العبء الإضافي لتوليد الأقنعة، تقوم الطريقة بتخزين وإعادة استخدام الأقنعة المتفرقة عبر خطوات الانتشار (مع تحديثها في فترات زمنية ثابتة) بينما تعيد حساب مخرجات الانتباه في كل خطوة للحفاظ على التطور الديناميكي للرموز.

المساهمات الرئيسية

• الرؤية النظرية: اشتق الورقة بحثاً حداً أدنى نظرياً لاستدعاء الانتباه، موضحاً الشروط التي ينجح فيها الانتباه المتفرق بالكتل. وحددت أن توسيع فجوة التشابه بين الكتل وتقليل الانحراف الدلالي على مستوى الكتلة هما أمران حاسمان لضمان جودة عالية للتفرق.
• إطار عمل DFSAttn: تقديم إطار عمل خالٍ من التدريب يدمج إعادة ترتيب هيلبرت ثلاثي الأبعاد، والتسجيل الهرمي، والتخزين المؤقت التكيفي لتمكين التفرق الديناميكي دقيق الحبيبات دون تعديل أوزان النموذج الأساسي.
• الأداء: إثبات قدرة DFSAttn على تحقيق نسب تفرق عالية مع الحفاظ على جودة توليد تضاهي الانتباه الكامل، متفوقاً بذلك على كل من النماذج الثابتة والديناميكية المرجعية.

النتائج التجريبية
قيم المؤلفون DFSAttn على نموذجين من نماذج انتشار الفيديو الرائدة: HunyuanVideo و Wan2.1.

• الجودة: تحت نسبة تفرق بلغت 80%، حقق DFSAttn درجة PSNR بلغت 29.38 في HunyuanVideo و 22.37 في Wan2.1، متفوقاً بشكل كبير على النماذج المرجعية مثل SVG و RadialAttention و SVG2، والتي عانت من تدهور شديد في الجودة عند مستويات تفرق مماثلة.
• الكفاءة: قدمت الطريقة تسريعاً في العمليات من البداية إلى النهاية بمقدار 2.1× في HunyuanVideo و 1.8× في Wan2.1.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن إعادة ترتيب هيلبرت ثلاثي الأبعاد (Hilbert3D) يتفوق على المسح الرستري (raster scans) ومنحنيات هيلبرت ثنائية الأبعاد. بالإضافة إلى ذلك، أدى التسجيل الهرمي مع كتل فرعية أصغر إلى تحسين جودة إعادة البناء مع تأثير ضئيل على زمن التأخير.

الأهمية
يدعي البحث أن DFSAttn يحل المقايضة بين الكفاءة والجودة في توليد الفيديو من خلال مواءمة آليات الانتباه المتفرق مع الطبيعة الديناميكية ودقيقة الحبيبات لخرائط انتباه نماذج DiT. ومن خلال تمكين نسب تفرق عالية دون الانهيار النوعي الذي شهدته الطرق السابقة، يسهل DFSAttn النشر العملي لنماذج توليد الفيديو عالية الدقة على الأجهزة القياسية، مما يوفر تسريعاً كبيراً (يصل إلى 2.1×) مع الحفاظ على الدقة البصرية. يُقدم العمل كنهج خالٍ من "النواة" (kernel-free) يستفيد من إعادة ترتيب الرموز والتنفيذ القائم على الكتل لتحقيق تفرق دقيق الحبيبات بكفاءة.