💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

يُعد SQuad إطار عمل لتقطير الانتباه دون التربيعي، يقوم بضغط نماذج محولات انتشار الفيديو (Video Diffusion Transformers) المدربة مسبقاً لتحقيق تعقيد قدره $\mathcal{O}(n\sqrt{n})$ ، مما يوفر جودة توليد فيديو بمستوى تربيعي مع تقليل التكاليف الحسابية وتسريع سرعات الاستدلال بشكل كبير.

المؤلفون الأصليون: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

نُشر 2026-08-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

أصبح إنشاء الصور المتحركة باستخدام الذكاء الاصطناعي أحد أكثر الآفاق إثارة في الحوسبة الحديثة. تعمل هذه الأنظمة، المعروفة باسم نماذج انتشار الفيديو (video diffusion models)، من خلال البدء بسحابة فوضوية من الضجيج الساكن ثم صقلها تدريجياً لتتحول إلى مشهد متماسك، إطاراً تلو الآخر، بناءً على وصف نصي. لفهم كيفية قيامها بذلك، تخيل شبكة واسعة من البكسلات الرقمية الصغيرة، حيث يحمل كل بكسل "رمزاً" (token) يحتوي على معلومات حول اللون والشكل والزمن. المحرك الذي يدفع هذه النماذج هو آلية تسمى "الانتباه الذاتي" (self-attention). تسمح هذه الآلية لكل رمز واحد في الفيديو بالنظر إلى كل الرموز الأخرى ليقرر كيف يجب أن ترتبط ببعضها البعض. هذا الاتصال المستمر وشامل الرؤية هو ما يمنح الفيديو جودته الواقعية ويضمن أن حركة الشخصية في الثانية الأولى تتوافق مع مظهرها في الثانية الأخيرة. ومع ذلك، فإن هذه القوة تأتي بثمن باهظ؛ فكلما زاد طول الفيديو أو تفاصيله، انفجر عدد الاتصالات التي يجب على النظام حسابها، مما يجعل العملية بطيئة للغاية ومكلفة، وغالباً ما يحصر المبدعين في إنتاج ثوانٍ قليلة فقط من اللقطات.

لقك طور الباحثون في "كوالكوم إيه آي ريسيرش" (Qualcomm AI Research) نهجاً جديداً يسمى "إس كواد" (SQuad) لحل هذه المشكلة دون التضحية بجودة الفيديو. فبدلاً من محاولة تبسيط الاتصالات المعقدة أو استبدال الآلية الجوهرية ببديل أرخص وأضعف، وجدوا طريقة لإعادة تنظيم كيفية نظر النظام إلى البيانات. في الطريقة القياسية، يجب على كل رمز التحقق من كل رمز آخر، وهي عملية تصبح غير قابรة للإدارة مع زيادة حجم الفيديو. أدرك الفريق أنه في توليد الفيديو، تكون معظم هذه الاتصالات ضعيفة جداً؛ إذ تحتاج مجموعة صغيرة وحرجة فقط من الرموز إلى الانتباه لبعضها البعض في أي لحظة معينة. وبناءً على هذه الملاحظة، صمموا عملية مكونة من خطوتين: أولاً، يقوم النظام بتجميع الرموز المتقاربة في نوافذ صغيرة ويسمح لها بخلط المعلومات محلياً. بعد ذلك، يقوم في مرحلة ثانية بجعل هذه النوافذ تتواصل مع بعضها البعض عبر الفيديو بأكمله. يسم يسمح هذا الهيكل للنموذج بالحفاظ على رؤية كاملة للمشهد مع تقليل عدد الحسابات المطلوبة بشكل كبير.

النتائج المترتبة على تطبيق هذه الطريقة على نموذج توليد فيديو ضخم يسمى "وان 2.2" (Wan 2.2) مذهلة. فقد أخذ الباحثون نموذجاً قوياً ومدرباً مسبقاً وعلموه كيفية استخدام طريقة الانتباه المبسطة الجديدة هذه من خلال عملية "التقطير" (distillation)، حيث يتعلم النظام الجديد محاكاة سلوك النظام الأصلي. والنتيجة هي نموذج ينتج فيديوهات ذات جودة بصرية مطابقة تقريباً للأصل، وتسجل درجات متقاربة جداً في اختبارات الجودة الصارمة، ولكن مع انخفاض هائل في التكلفة. وبينما كان النموذج الأصلي يتطلب 100 خطوة لتوليد فيديو، يحقق الإصدار الجديد نتائج مماثلة في ست خطوات فقط. ومن حيث السرعة، انخفض الوقت المستغرق لمعالجة خطوة واحدة من توليد الفيديو من حوالي 47 ميلي ثانية إلى 4 ميلي ثانية فقط. كما انخفضت كمية القوة الحوسبية اللازمة لهذه الخطوات بمعامل يصل إلى 67 ضعفاً تقريباً.

هذا التحسن في الكفاءة ليس مجرد تحسين نظري؛ بل يترجم مباشرة إلى ما يختبره المستخدم. فعند اختباره على مهمة توليد فيديو قياسية عالية الدقة، أنتجت الطريقة الجديدة فيديو في حوالي نصف الوقت الإجمالي للنظام الأصلي، حتى عند احتساب مسار التوليد بأكمله. وقارن الباحثون طريقتهم بمحاولات أخرى لتسريع توليد الفيديو، والتي يعتمد بعضها على بنيات هجينة معقدة تضيف ملايين المعلمات (parameters) الإضافية إلى النموذج. في المقابل، لا تتطلب طريقة "إس كواد" أي ذاكرة إضافية أو أجهزة متخصصة، فهي تتناسب بسلاسة مع الأنظمة الحالية. وقد أكدت الدراسات البشرية أن الناس لم يتمكنوا من التمييز بشكل موثوق بين الفيديوهات المصنوعة من النموذج الأصلي الثقيل وتلك المصنوعة من النسخة الجديدة الفعالة. بل في الواقع، وفي مقارنة مباشرة، فضل جزء كبير من المشاهدين الفيديوهات التي أنتجتها الطريقة الجديدة.

تكمن أهمية هذا العمل في توازنه. فالمحاولات السابقة لجعل هذه النماذج أسرع تضمنت استبدال آلية الانتباه القوية بتقريبات خطية أبسط، مما أدى غالباً إلى انخفاض ملحوظ في جودة الفيديو. وتتجنب طريقة "إس كواد" هذا الفخ من خلال الحفاظ على العملية الرياضية الجوهرية سليمة ولكن مع تغيير ترتيب تطبيقها. وهي تثبت أن التعقيد التربيعي الكامل للتحقق من كل رمز مقابل كل رمز آخر ليس ضرورياً بالضرورة لتحقيق نتائج عالية الدقة. ومن خلال هيكلة تدفق المعلومات بعناية، أظهر الباحثون أنه من الممكن توليد فيديوهات طويلة وعالية الدقة بجزء بسيط من التكلفة الحوسبية. وهذا يفتح الباب لتوليد مشاهد أطول وأكثر تعقيداً على الأجهزة القياسية، مما يقرب المجال من هدف إنشاء محتوى فيديو غير محدود وعالي الجودة دون العوائق الحالية للوقت والطاقة.

ملخص تقني: SQuad: تقطير الانتباه دون التربيعي لتوليد الفيديو بكفاءة

بيان المشكلة

تواجه عملية توليد الفيديو باستخدام محولات الانتشار (Diffusion Transformers - DiTs) حاليًا عائقًا يتمثل في التكلفة الحسابية لآلية الاهتمام الذاتي لـ Softmax (Softmax Self-Attention). في نماذج DiT القياسية، تتوسع تعقيدات الاهتمام بشكل تربيعي، $O(n^2)$ ، مع عدد الرموز الكامنة (latent tokens) $n$ . وفي حالة توليد الفيديو، حيث يمثل $n$ حجمًا مكانيًا-زمانيًا (يصل غالبًا إلى عشرات الآلاف من الرموز)، يهيمن هذا الحد التربيعي على كل من وقت التشغيل والذاكرة، مما يحد من الدقة والمدة والإنتاجية التي يمكن تحقيقها.

تحاول الحلول الحالية التخفيف من ذلك عن طريق استبدال Softmax Self-Attention بتقديرات خطية $O(n)$ أو منخفضة الرتبة $O(nk)$، أو باستخدام أقنعة متفرقة وبنى هجينة. ومع ذلك، غالبًا ما تعاني هذه النهج من "فجوة جودة مستعصية" لأنها تضحي باللاخطية والقدرة على الانتقائية الحادة المعتمدة على المدخلات التي يوفرها نظام Softmax الكامل. علاوة على ذلك، فإن التصميمات الهجينة التي تدمج كتلًا تربيعية مكلفة مع أخرى فعالة تزيد من التعقيد المعماري وغالبًا ما تظل معتمدة على العمليات التربيعية ذاتها التي تهدف إلى تقليلها.

المنهجية: SQuad

يقترح المؤلفون SQuad (تقطير الانتباه دون التربيعي)، وهو إطار عمل يقلل تعقيد الاهتمام إلى $O(n\sqrt{n})$ مع الاحتفاظ بعملية Softmax الحقيقية طوال الوقت. بدلاً من تدريب نموذج Video DiT جديد من الصفر، يقوم SQuad بتقطير نموذج DiT مدرب مسبقًا بآلية full-softmax (تحديدًا نموذجي Wan 2.2 5B و Wan 2.1 1.3B) إلى بنية معدلة.

1. عامل تشغيل SQuad-Attention

الابتكار الجوهري هو آلية اهتمام مكونة من مرحلتين، تقوم بتحليل $O(n^2)$ الكامل للاهتمام إلى تمريرة محلية (Local Pass) وتمريرة عالمية (Global Pass):

التمريرة المحلية ( $Attn_L$ ): تختلط الرموز داخل نوافذ ثابتة بحجم $w$ .
التمريرة العالمية ( $Attn_G$ ): تختلط الرموز الموجودة في نفس الموقع النسبي داخل كل نافذة عبر جميع النوافذ.
التركيب: يتم تغذية مخرجات التمريرة المحلية في مسار القيمة (value stream) للتمريرة العالمية. هذا التعشيش يسمح للتمريرة العالمية بالعمل على رموز تم خلطها محليًا بالفعل، مما يستعيد مجال استقبال كامل.
التعقيد: من خلال ضبط حجم النافذة $w = \sqrt{n}$ ، تحقق الطريقة تعقيدًا قدره $O(n\sqrt{n})$ . والأهم من ذلك، أن كلتا التمريرتين تستخدمان Softmax القياسي، مما يحافظ على القدرة التعبيرية التي تُفقد في التقديرات الخطية.

2. استراتيجية التقطير

بما أن استبدال عامل الاهتمام يغير الوظيفة التي تحسبها الشبكة، فإن الأوزان المدربة مسبقًا لم تعد مثالية. يستخدم المؤلفون عملية تقطير مكونة من مرحلتين:

الضبط الدقيق الخاضع للإشراف لتدفق المطابقة (Flow-Matching Supervised Fine-Tuning - SFT): يتم ضبط الشبكة بدقة على بيانات الفيديو (مجموعة بيانات VIPE 1M) لإعادة استقرار الأوزان تحت بنية SQuad-Attention الجديدة.
تقطير مطابقة التوزيع (Distribution Matching Distillation - DMD2): يتم تطبيق خطوة تقطير محسنة لاستعادة جودة التوليد التي فُقدت أثناء التغيير المعماري ولتقليل عدد التقييمات الوظيفية العصبية (NFEs) المطلوبة لأخذ العينات.

المساهمات الرئيسية

تعقيد دون التربيعي مع Softmax كامل: يحقق SQuad تعقيدًا قدره $O(n\sqrt{n})$ دون التخلي عن عملية Softmax، مما يعالج فجوة الجودة المتأصلة في التقديرات الخطية أو منخفضة الرتبة.
إطار عمل التقطير: يثبت البحث أن نموذج DiT تربيعي مدرب مسبقًا يمكن ملاءمته بفعالية في بنية دون تربيعية عبر عملية تقطير من مرحلتين (SFT + DMD2)، مما يتجنب التكلفة الباهظة للتدريب من الصفر.
الكفاءة في الأجهزة: تم تصميم الطريقة لتكون صديقة للأجهزة، فهي لا تتطلب نوى مدمجة متخصصة أو تحسينات على الجهاز، بل تعتمد بدلاً من ذلك على إعادة تشكيل التنسورات القياسية وكتل الاهتمام القياسية.

النتائج التجريبية

تم تقييم الطريقة على نموذجي Wan 2.2 5B و Wan 2.1 1.3B لتحويل النص إلى فيديو.

الحفاظ على الجودة: في نموذج Wan 2.2 5B، يحقق SQuad درجة إجمالية في VBench تبلغ 83.20، وهو ما يطابق فعليًا خط الأساس الأصلي (83.08) ذو الـ full-softmax. وفي دراسات تفضيل المستخدمين، فضل 35% من المستخدمين توليدات SQuad على النموذج الأساسي، بينما وجدها 31% غير قابلة للتمييز عنها.
المكاسب في الكفاءة:
- زمن الاستجابة (Latency): يقلل SQuad زمن استجابة الاهتمام لكل كتلة بنسبة 11 ضعفًا تقريبًا (من 47.10 مللي ثانية إلى 4.27 مللي ثانية) وزمن استجابة DiT الإجمالي بمقدار 2× (من 667 مللي ثانية إلى 314 مللي ثانية في الوضع المجمع/compiled mode).
- الحوسبة: انخفضت عمليات حساب التريليون عملية تريليون (TFLOPs) للاهتمام بنسبة ~67× (من 4.205 إلى 0.063).
- سرعة أخذ العينات: يولد النموذج المقطر فيديوهات عالية الجودة في 6 NFEs، مقارنة بالـ 100 NFE الافتراضية للنموذج الأصلي.
المقارنة: يتفوق SQuad على طرق الاهتمام الفعالة الأخرى (مثل VSA و Jenga و Radial Attention و Attention Surgery) من حيث زمن الاستجابة و TFLOPs مع الحفاظ على جودة مماثلة أو متفوقة، دون الحاجة إلى معاملات إضافية قابلة للتعلم (على عكس الطرق التي تضيف 72 مليون إلى 283 مليون وزن).

الأهمية والادعاءات

يدعي البحث أن SQuad يؤكد الفرضية القائلة بأن التعقيد الكامل $O(n^2)$ للتواصل بين الرمز والآخر قد لا يكون ضروريًا لتوليد فيديو عالي الدقة. ومن خلال اقتراح "حل وسط" يحافظ على القدرة التعبيرية لـ Softmax عبر تحليل دون تربيعي مهيكل، يوفر SQuad مسارًا عمليًا لتوليد فيديوهات أطول وأعلى دقة على الأجهزة الحالية.

يضع المؤلفون SQuad ليس فقط كهدف للتقطير لنماذج موجودة، ولكن أيضًا كآلية اهتمام مرشحة لتدريب النماذج الكبيرة من الصفر. وهم يقرون بأن استراتيجيتهم الحالية تربط تقطير الاهتمام بتقطير الخطوات (DMD2) ويقترحون أن العمل المستقبلي يمكن أن يعزل تغيير الاهتمام عن تحسينات سرعة أخذ العينات أو يستكشف دمج أكثر من تمريرتين لزيادة المقايضة بين العمق والكفاءة.