ملخص تقني: تخصيص الخطوات غير المتجانس (HSA) لتوليد الفيديو بكفاءة

1. بيان المشكلة

حققت نماذج محولات الانتشار (Diffusion Transformers - DiTs) أداءً رائدًا في توليد الفيديو، لكنها تعاني من تكاليف حوسبة هائلة. تطبق بروتوكولات الاستدلال القياسية عددًا موحدًا من خطوات إزالة الضجيج ($T$) لكل توكن (token) مكاني-زماني في التسلسل. يتجاهل هذا النهج الأحادي عدم التماثل المتأصل في البيانات المرئية: فالمناطق الخلفية، والقطع الثابتة، والهياكل الخشنة هي أبسط إدراكيًا وتتطلب خطوات أقل لإزالة الضجيض مقارنة بالأجسام الغنية بالتفاصيل أو المناطق عالية الحركة. علاوة على ذلك، فإن الرؤية البشرية أقل حساسية لتدهور الجودة في المكونات الديناميكية للغاية مقارنة بالمكونات الساكنة. وبناءً على ذلك، فإن تطبيق ميزانية كاملة لإزالة الضجيج بشكل موحد على جميع التوكنات يعد هدراً للحوسبة ويفشل في التوافق مع الأولويات الإدراكية.

تعتمد طرق التسريع الحالية، مثل تخزين الميزات على مستوى الخطوة (مثل TeaCache)، عادةً على قرارات عالمية: ففي أي تكرار معين، إما أن يتم حساب جميع التوكنات أو يتم إعادة استخدام المخرجات المخزنة لـ جميع التوكنات. لا تستغل هذه الطرق عدم التجانس المكاني أو مستوى التوكن، حيث تعامل التسلسل ككتلة واحدة بدلاً من مجموعة من التوكنات ذات المتطلبات الديناميكية المتفاوتة.

2. المنهجية: تخصيص الخطوات غير المتجانس (HSA)

يقترح المؤلفون تخصيص الخطوات غير المتجانس (HSA)، وهو خوارزمية استدلال مستقلة عن النموذج ولا تتطلب تدريبًا، تقوم بتعيين مسارات إزالة ضجيج خاصة بكل توكن داخل نموذج DiT مدرب مسبقًا. الفكرة الجوهرية هي تقسيم تسلسل التوكنات إلى مجموعات بناءً على ديناميكيات السرعة الخاصة بها، مع تخصيص خطوات أقل للتوكنات الأبطأ تطورًا مع الحفاظ على جدول زمني كامل للمجموعة المرجعية.

2.1 تقسيم التوكنات والجدولة

يتم تقسيم مجموعة الـ $N$ من التوكنات إلى $K$ من المجموعات المنفصلة ($G_1, \dots, G_K$). يتم تعيين ميزانية خطوات $s_k$ لكل مجموعة $G_k$، والتي يجب أن تكون قاسمًا لإجمالي الخطوات $T$.

• المجموعة المرجعية ($G_1$): تُخصص لها الميزانية الكاملة $s_1 = T$. هذه التوكنات تكون نشطة في كل تكرار.
• المجموعات المختزلة: تُخصص لها ميزانيات أصغر (على سبيل المثال، $T/2, T/4$). هذه التوكنات تكون نشطة فقط عندما يحقق التكرار العالمي $i$ الشرط $i \pmod{T/s_k} = 0$.
• الاختيار الديناميكي: يقيم البحث أربع استراتيجيات لتعيين التوكنات للمجموعات. استراتيجية الاختيار الديناميكي للتوكنات، التي تعين التوكنات بناءً على تغير نسبة L1 لكل توكن في تنبؤات السرعة (لتحديد المناطق بطيئة التطور مثل الخلفيات)، تحقق باستمرار أفضل أداء.

2.2 مزامنة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-Cache Synchronization)

يتمثل التحدي الرئيسي في الجدولة غير المتجانسة في أن التوكنات ذات أعداد الخطوات المختلفة توجد عند مستويات ضجيج ($\sigma$) مختلفة في أي لحظة زمنية معينة. يتطلب الانتباه الذاتي (Self-attention) أن تنتبه جميع التوكنات لبعضها البعض، مما يخلق عدم توافق في المزامنة. يحل HSA هذه المشكلة عبر آلية مزامنة ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-cache synchronization):

1. التوكنات النشطة: يقوم الجزء الفرعي من التوكنات النشطة ($A_i$) فقط بإجراء تمريرة أمامية عبر إسقاطات QKV.
2. تحديث الذاكرة المؤقتة: يتم كتابة إسقاطات المفتاح ($K$) والقيمة ($V$) الجديدة للتوكنات النشطة في ذاكرة مؤقتة لكل طبقة، مما يؤدي إلى استبدال المدخلات القديمة.
3. الانتباه بالسياق الكامل: تقوم التوكنات النشطة بحساب الاستعلامات (queries) مقابل مصفوفات $K, V$ الكاملة المخزنة (والتي تحتوي على مدخلات جديدة للتوكنات النشطة ومدخلات قديمة ولكن صالحة للتوكنات التي تم تخطيها).
4. تقليل التعقيد: يقلل هذا من تعقيد الانتباه الذاتي من $O(N^2)$ إلى $O(|A_i| \cdot N)$، حيث $|A_i|$ هو عدد التوكنات النشطة عند الخطوة $i$. التوكنات التي تم تخطيها لا تتحمل أي حسابات استعلام، أو انتباه متقاطع، أو عمليات تغذية أمامية خلال التكرارات غير النشطة.

2.3 تحديث Euler المخزن مؤقتًا

لتحريك الحالات الكامنة (latent states) للتوكنات التي تم تخطيها دون إجراء تقييمات إضافية للنموذج، يستخدم HSA تحديث Euler المخزن مؤقتًا.

• يخزن كل توكن السرعة ($\hat{v}_n$) التي تم التنبؤ بها عند آخر خطوة نشطة له.
• في كل تكرار عالمي، يتم تحريك جميع التوكنات (النشطة والمخطية) بنفس خطوة Euler التدريجية $(\sigma_{i+1} - \sigma_i)$.
• تستخدم التوكنات النشطة سرعتها المحسوبة حديثًا؛ بينما تعيد التوكنات المخطية استخدام سرعتها المخزنة.
• يتم صياغة هذا التحديث كعملية تينسور واحدة على جميع الـ $N$ من التوكنات، مما يتجنب التفرع ويحافظ على كفاءة وحدة معالجة الرسومات (GPU).

2.4 نافذة التخزين المؤقت الواعية بالمرحلة

إدراكًا بأن مراحل إزالة الضجيج المبكرة والمتأخرة حاسمة للهيكل العالمي والتفاصيل الدقيقة على التوالي، يقيد HSA التخزين المؤقت للجزء الأوسط من المسار. تنفذ الخطوات الأولى والأخيرة $m$ عمليات تمرير أمامية كاملة وغير مخزنة مؤقتًا لجميع التوكنات، مما يضمن عدم المساس بسلامة الهيكل أو صقل التفاصيل بسبب التقديرات القديمة.

3. المساهمات الرئيسية

1. خوارزمية HSA: نموذج استدلال جاهز للاستخدام (plug-and-play) لا يتطلب تدريبًا، يقوم بتخصيص مسارات إزالة ضجيج غير متجانسة لمجموعات التوكنات المكانية-الزمانية بناءً على ديناميكيات السرعة.
2. مزامنة ذاكرة التخزين المؤقت KV: آلية تحافظ على سياق الانتباه الكامل لـ $N$-توكن للتوكنات النشطة مع تجاوز التوكنات غير النشطة تمامًا، مما يقلل تكلفة الانتباه لكل تكرار إلى $O(|A_i| \cdot N)$.
3. تحديث Euler المخزن مؤقتًا: عملية تينسور بسيطة تحرك التوكنات المخطية باستخدام السرعات المخزنة، مما يحافظ على جودة التوليد دون تقييمات إضافية للنموذج.
4. تقييم شامل: تحليل لأربع استراتيجيات لتجميع التوكنات وأربعة إعدادات مسبقة للميزانية، مما يثبت المتانة عبر ميزانيات الاستدلال المختلفة.

4. النتائج التجريبية

قيم المؤلفون HSA على نماذج Wan-2.1-1.3B و Wan-2.2-A14B (نص-إلى-فيديو وصورة-إلى-فيديو) و LTX-2 (صوت-إلى-فيديو).

• المفاضلة بين الجودة ووقت التشغيل: يحقق HSA حدود باريتو (Pareto frontier) متفوقة مقارنة بـ Flow Matching (FM) الموحد وطرق التخزين المؤقت المتطورة مثل TeaCache.
• التسريع القوي: تظهر المزايا بشكل أوضح في أنظمة التسريع القوية (50% و 25% من وقت التشغيل). عند 25% من وقت التشغيل، يتفوق HSA بشكل كبير على النماذج المرجعية في مقياس VBench (إجمالي الدرجات: 79.87% مقابل 75.68% لـ FM و 78.33% لـ TeaCache).
• متانة الأبعاد: بينما تعاني الطرق الأساسية من "انهيار الأبعاد الكارثي" (تدهور شديد في أبعاد معينة في VBench مثل سلاسة الحركة أو الاتساق الزماني) تحت الميزانيات الضيقة، يتتبع HSA المرجع ذو الميزانية الكاملة بقوة عبر جميع أبعاد التقييم الـ 16.
• صورة-إلى-فيديو (I2V): ينجح HSA في الحفاظ على محاذاة شرط الصورة والوضوح البصري في مهام I2V، بينما تظهر نماذج FM الموحدة عند تقليل الخطوات ($T=10$) انهيارًا هيكليًا شديدًا.
• لا يتطلب توصيفًا خارجيًا: على عكس TeaCache، الذي يتطلب توصيفًا خارجيًا مكلفًا لتقدير تقلبات مخرجات النموذج، يعمل HSA دون أي ضبط أو تدريب خارجي.

5. الأهمية والادعاءات

يدعي البحث أن HSA يعالج عدم الكفاءة الجوهري في استدلال DiT من خلال مواءمة موارد الحوسبة مع التعقيد الإدراكي والديناميكي للبيانات المرئية. من خلال التعامل مع التوكنات بشكل فردي بدلاً من التعامل معها ككتلة واحدة، يحقق HSA تسريعًا كبيرًا دون التدهور في الجودة المرتبط عادةً بالتسريع القوي.

يؤكد المؤلفون أن HSA هو إطار عمل مرن يمكن تشغيله باستراتيجيات متنوعة لتجميع التوكنات. وبينما يحقق الاختيار الديناميكي حاليًا أقوى النتائج، فإن الإطار يستشرف تحسينات مستقبلية باستخدام استراتيجيات تجميع أكثر تطورًا. يضع هذا العمل حجر الأساس لفئة جديدة من خوارزميات الاستدلال التي تستفيد من عدم التجانس المتأصل في البيانات المكانية-الزمانية لجعل توليد الفيديو عالي الدقة متاحًا للجميع.