💻 computer science

S $^2$ Q-VDiT: Accurate Quantized Video Diffusion Transformer with Salient Data and Sparse Token Distillation

تقترح الورقة البحثية إطار عمل S $^2$ Q-VDiT، وهو إطار للكمية ما بعد التدريب لنماذج محولات انتشار الفيديو (video diffusion transformers) يحقق أداءً غير منقوص تحت كمية W4A6 عبر استخدام اختيار البيانات البارزة المدرك لهيسيان (Hessian-aware) وتقطير الرموز المتناثر الموجه بالانتباه (attention-guided sparse token distillation) للتغلب على تباين المعايرة وتحديات التعلم الناتجة عن تسلسلات الرموز الطويلة.

المؤلفون الأصليون: Weilun Feng, Haotong Qin, Chuanguang Yang, Xiangqi Li, Han Yang, Yuqi Li, Zhulin An, Libo Huang, Michele Magno, Yongjun Xu

نُشر 2026-03-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weilun Feng, Haotong Qin, Chuanguang Yang, Xiangqi Li, Han Yang, Yuqi Li, Zhulin An, Libo Huang, Michele Magno, Yongjun Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيفاً موهوباً للغاية وعالمياً (نموذج الذكاء الاصطناعي) يمكنه طهي فيديوهات واقعية مذهلة لأي شيء يمكنك تخيله — من باندا تتزلج على أمواج الغروب إلى دي جي آلي في طوكيو. هذا الشيف مذهل، لكنه أيضاً ضخم. فهو يحمل معه مطبخاً هائلاً مليئاً بالمكونات (مليارات المعلمات/Parameters)، وطهي طبق واحد يستغرق وقتاً طويلاً ويتطلب موقداً عملاقاً ومكلفاً (الكثير من قوة الحوسبة والذاكرة).

معظم الناس لا يستطيعون تحمل تكلفة هذا المطبخ الضخم. هم يريدون وضع هذا الشيف في صندوق غداء صغير محمول (مثل هاتف ذكي أو كمبيوتر محمول قياسي) لكي يتمكنوا من الطهي أثناء التنقل.

المشكلة هي؟ إذا حاولت تقليص كتاب وصفات هذا الشيف الضخم ليناسب صندوق الغداء، فإن الطعام عادة ما يكون مذاقه سيئاً. تصبح النكهات باهتة، وتختفي القوامات، ويبدو الفيديو كأنه فوضى ضبابية. هذا ما يحدث عندما نحاول "ضغط" نماذج الفيديو هذه.

إليك S2Q-VDiT، الحل الجديد الذي قدمته الورقة البحثية. اعتبره مساعد شيف ماهر يعرف تماماً كيف يعبئ صندوق الغداء دون إفساد الوجبة. إليك كيف يفعل ذلك، باستخدام حيلتين بسيطتين:

1. "قائمة تسوق ذكية" (اختيار البيانات البارزة - Salient Data Selection)

عادةً، عندما تحاول تقليص وصفة ما، فإنك تأخذ ببساطة حفنة عشوائية من المكونات لاختبار النسخة الجديدة الأصغر حجماً. ولكن بالنسبة لذكاء الفيديو الاصطناعي، فإن "المكونات" (عينات البيانات) ضخمة ومعقدة. إذا اخترت المكونات الخاطئة، فإن صندوق الغداء بأكمله سيفشل.

أدرك المؤلفون أن المكونات ليست متساوية في القيمة. فبعض اللحظات في الفيديو مملة (مجرد سماء ثابتة)، بينما لحظات أخرى حاسمة (انفجار مفاجئ أو تغير تعبير وجه الشخصية).

الطريقة القديمة: اختيار مكونات عشوائية لاختبار عملية التقلص.
طريقة S2Q-VDiT: يستخدمون ماسحاً "يعتمد على الهيسيان" (أداة رياضية متطورة) للعثور على اللحظات الأكثر أهمية. إنهم يسألون: "أي من إطارات الفيديو هذه ستؤدي إلى تعطل النموذج إذا قمنا بتقليصه؟" و "أي الإطارات تعلم النموذج أكثر؟"
التشبية: بدلاً من تذوق 100 ملعقة عشوائية من الحساء لمعرفة ما إذا كان مالحاً، هم يتذوقون الملعقة الوحيدة التي تحتوي على أكبر قدر من الملح والنكهة. هذا يضمن أن الوصفة "المتقلصة" مثالية لأنها اختُبرت على الأجزاء الأكثر حرجاً.

2. "تسليط الضوء على النجوم" (تقطير الرموز المتفرقة - Sparse Token Distillation)

يقوم نموذج ذكاء الفيديو بتفكيك الفيديو إلى آلاف القطع الصغيرة التي تسمى "رموز" (Tokens) (مثل البكسلات، ولكن للزمان والمكان). عندما ينظر النموذج إلى فيديو، فإنه ينتبه لجميع هذه القطع. ولكن إليكم السر: النموذج يهتم فعلياً بعدد قليل جداً منها.

تخيل مشهداً سينمائياً فيه 1000 شخص في الخلفية وممثل رئيسي واحد في المقدمة. يبذل النموذج 90% من طاقته على الممثل الرئيسي وبالكاد يلتفت إلى الحشد.

الطريقة القديمة: عند تقليص النموذج، كانت الطرق القديمة تعامل كل شخص في الحشد والممثل الرئيسي على قدم المساواة. لقد حاولوا ضغط حشد الخلفية بنفس قوة ضغط الممثل الرئيسي، مما أدى إلى إهدار الجهد وإفساد التركيز.
طريقة S2Q-VDiT: ينظرون إلى "خريطة الانتباه" الخاصة بالنموذج (مثل كشاف الضوء) ويدركون: "مهلاً، 10% فقط من هذه الرموز هي التي تهم حقاً!"
التشبية: بدلاً من محاولة تقليص الملعب بأكمله بالتساوي، يضعون تسليط ضوء على الممثل الرئيسي. يقولون: "سنحافظ على تفاصيل الممثل الرئيسي واضحة تماماً، ولكن يمكننا بأمان جعل الحشد في الخلف ضبابياً لأن لا أحد ينظر إليهم على أي حال." هذا يسمح لهم بتقليص النموذج بشكل هائل دون فقدان جودة الأجزاء المهمة.

النتيجة؟

باستخدام هاتين الحيلتين، تمكن المؤلفون من تقليص نموذج ذكاء الفيديو بمقدار 4 مرات (وضع عملاق في صندوق غداء) وجعله يعمل بسرعة أكبر بمقدار 1.3 مرة، كل ذلك مع الحفاظ على جودة الفيديو لتبدو مطابقة تقريباً للنسخة الضخمة الأصلية.

باختصار:
لم يقوموا بمجرد رمي نصف المكونات؛ بل اختاروا أفضل المكونات و ركزوا فقط على نجوم العرض. هذا يسمح لنا بتشغيل ذكاء الفيديو الفائق على الأجهزة التي لم تكن قادرة على التعامل معها سابقاً، مما يجعل توليد الفيديو عالي الجودة متاحاً للجميع، وليس فقط لأولئك الذين يمتلكون حواسيب فائقة ضخمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "S2Q-VDiT: تحويل الفيديو الموزع المكمم بدقة مع البيانات البارزة وتشتيت التوكنات المتناثرة."

1. بيان المشكلة

أصبحت نماذج محولات الانتشار للفيديو (V-DMs) هي النموذج الأكثر تطوراً في مجال توليد الفيديو، إلا أن نشرها يعوقه التكاليف الهائلة للحوسبة والذاكرة بسبب مليارات المعلمات (parameters) والنمو الأسي لتسلسلات التوكنات (الأبعاد المكانية × الزمنية).

بينما يعد "الكمّ بعد التدريب" (Post-Training Quantization - PTQ) حلاً قياسياً لضغط النماذج، فإن تطبيقه مباشرة على نماذج V-DMs يواجه تحديين حرجين يتسببان في تدهور كبير في الأداء مقارنة بنماذج انتشار الصور (I-DMs):

تباين بيانات المعايرة العالي: تتطلب نماذج V-DMs تسلسلات توكن طويلة، مما يحد بشدة من عدد عينات المعايرة التي يمكن معالجتها في ظل ميزانيات حوسبية ثابتة (على سبيل المثال، عشرات العينات مقابل الآلاف في نماذج I-DMs). تفشل استراتيجيات أخذ العينات العشوائية أو المنتظمة الموجودة في اختيار بيانات تمثيلية، مما يؤدي إلى عدم استقرار أداء الكمّ.
تحسين التوكنات غير الفعال: تُظهر نماذج V-DMs أنماط انتباه متناثرة (sparse attention patterns)، حيث تؤثر مجموعة فرعية صغيرة فقط من التوكنات بشكل كبير على المخرجات النهائية. تعامل طرق PTQ القياسية جميع التوكنات بالتساوي أثناء محاذاة الخسارة، مما يهدر قدرة التحسين على التوكنات غير ذات الصلة ويفشل في التركيز على التوكنات الحرجة.

2. المنهجية: S2Q-VDiT

يقترح المؤلفون S2Q-VDiT، وهو إطار عمل للكمّ بعد التدريب مصمم خصيصاً لنماذج V-DMs. ويتكون من مكونين أساسيين:

أ. اختيار البيانات البارزة الواعية بالهيسيان (SDS)

لمعالجة حساسية بيانات المعايرة، قدم المؤلفون طريقة مبدئية لاختيار عينات معايرة عالية الجودة. لقد حددوا درجة بروز موحدة بناءً على بُعدين:

بروز الانتشار ( $C_{diff}$ ): يقيس مدى غنى الخطوة الزمنية بالمعلومات في عملية إزالة الضجيج. ويحسب الفرق الطبيعي بين التمثيلات الكامنة المتتالية ( $||x_t - x_{t-1}||^2 / ||x_t||^2$ ). تشير القيم العالية إلى الخطوات التي يتم فيها إضافة معلومات هامة.
بروز الكمّ ( $C_{quant}$ ): يقيس مدى حساسية العينة لاضطرابات الكمّ. باستخدام مفكوك تايلور لخسارة الكمّ وتقريب مصفوفة الهيسيان ( $X^T X$ )، عرفوا هذا كـ $||x_t^T x_t||^2$ . تشير القيم العالية إلى العينات التي قد تكون فيها أخطاء الكمّ أكثر ضرراً.

مقياس الاختيار النهائي هو حاصل ضرب درجات بروز الانتشار والكمّ الموحدة:
$C_{sample} = C_{diff} \cdot C_{quant}$
يضمن ذلك احتواء مجموعة البيانات المختارة على عينات تكون غنية بالمعلومات لعملية الانتشار وحساسة للكمّ في آن واحد، مما يعظم قوة المعايرة.

ب. تشتيت التوكنات المتناثرة الموجه بالانتباه (STD)

لمعالجة تحدي التحسين، استفاد المؤلفون من التناثر المتأصل في خرائط انتباه V-DM.

الملاحظة: تكشف خرائط الحرارة للانتباه أن نسبة صغيرة فقط (على سبيل المثال، أعلى 10%) من التوكنات تحمل معظم وزن الانتباه.
الآلية: بدلاً من تقليل خسارة الكمّ بشكل موحد عبر جميع التوكنات، تقوم الطريقة بإعادة وزن دالة الخسارة بناءً على توزيعات انتباه التوكنات.
التنفيذ: لكل توكن $j$ ، يتم حساب عامل الوزن $\lambda_j$ عن طريق تجميع أوزان الانتباه من خريطة الانتباه متعددة الرؤوس وتطبيعها. تصبح خسارة الكمّ:
$L_{quant} = \frac{1}{n} \sum_{j=1}^{n} \lambda_j ||\theta_f(x_{j,:}) - \theta_q(x_{j,:})||^2$
هذا يجبر عملية التحسين على إعطاء الأولوية لمحاذاة النموذج المكمّم مع النموذج كامل الدقة في التوكنات الأكثر تأثيراً، متجاهلاً بفعالية الضجيج الناتج عن التوكنات الأقل أهمية.

3. المساهمات الرئيسية

تحديد تحديات خاصة بنماذج V-DM: أثبتت الورقة تجريبياً أن كمّ نماذج V-DM حساس للغاية لاختيار بيانات المعايرة ويعاني من عدم الكفاءة بسبب التعامل الموحد مع التوكنات، وهي مشكلات أقل بروزاً في نماذج I-DMs.
استراتيجية معايرة مبتكرة (SDS): تقديم اختيار البيانات البارزة الواعية بالهيسيان، والذي يحسن بشكل مشترك بروز الانتشار وحساسية الكمّ، مما يقلل بشكل كبير من تباين الأداء في ظروف البيانات المنخفضة.
استراتيجية تحسين مبتكرة (STD): اقتراح تشتيت التوكنات المتناثرة الموجه بالانتباه، والذي يعيد وزن خسائر التوكنات ديناميكياً بناءً على خرائط الانتباه، مما يسمح بتقارب أفضل مع بيانات معايرة محدودة.
أداء يضاهي أحدث التقنيات: يحقق إطار العمل أداءً مطابقاً أو قريباً جداً من الدقة الكاملة على نماذج V-DMs واسعة النطاق (من 2 مليار إلى 13 مليار معلمة) تحت إعدادات كمّ صارمة (W4A6 وحتى W4A4).

4. النتائج التجريبية

قيم المؤلفون S2Q-VDiT على ثلاثة نماذج رئيسية لتوليد الفيديو: CogVideoX-2B، و CogVideoX-5B، و HunyuanVideo-13B.

إعدادات الكمّ: تم الاختبار على W4A6 (أوزان 4-بت، تنشيطات 6-بت) وعلى الإعداد الصعب للغاية W4A4 (أوزان 4-بت، تنشيطات 4-بت).
مقاييس الأداء: تم التقييم باستخدام مجموعة اختبار VBench (جودة الصورة، الجمالية، سلاسة الحركة، إلخ) و EvalCrafter.
النتائج الرئيسية:
- W4A6: حقق S2Q-VDiT أداءً مطابقاً للدقة الكاملة عبر جميع النماذج، وغالباً ما يطابق أو يتجاوز قليلاً خطوط الأساس ذات الدقة الكاملة (FP) في مقاييس معينة (مثل اتساق المشهد في CogVideoX-5B). وقد تفوق بشكل كبير على النماذج المرجعية الحالية مثل Q-DiT و PTQ4DiT و ViDiT-Q و SmoothQuant.
- W4A4: في هذا الإعداد فائق الانخفاض حيث انهارت الطرق الأخرى (منتجة صوراً غير متماسكة أو ثابتة)، حافظ S2Q-VDiT على ~95% من الأداء الأصلي. على سبيل المثال، في CogVideoX-2B، حقق درجة اتساق مشهد بلغت 34.23 مقارنة بـ 33.79 للنموذج ذو الدقة الكاملة، بينما سجلت أفضل طريقة تالية 12.21 فقط.
- الكفاءة: حققت الطريقة ضغطاً للنموذج بمقدار 3.9 $\times$ و تسريعاً في الاستدلال بمقدار 1.3 $\times$ مع عبء إضافي ضئيل في وقت المعايرة (حوالي 0.2 ساعة و2 جيجابايت ذاكرة إضافية مقارنة بالنماذج المرجعية).

5. الأهمية

جدوى توليد الفيديو ببتات منخفضة: يثبت هذا العمل أن توليد فيديو عالي الجودة أمر ممكن على الأجهزة ذات الموارد المحدودة (مثل وحدات معالجة الرسومات الاستهلاكية) باستخدام أوزان 4-بت وتنشيطات 6-بت دون التضحية بالدقة البصرية.
تحول في نموذج الـ PTQ: ينقل التركيز في "الكمّ بعد التدريب" لنماذج الانتشار من مجرد تصميم المكممات المعمارية إلى استراتيجيات تتمحور حول البيانات (اختيار البيانات البارزة) وتتمحور حول التحسين (تشتيت التوكنات المتناثرة).
القابلية للتعميم: أظهرت التقنيات (SDS و STD) أنها متوافقة مع أطر عمل PTQ الموجودة، مما يشير إلى إمكانية دمجها في مسارات الكم الأخرى لتحسين الأداء.
النشر العملي: من خلال تقليل تخزين النموذج بنحو 4 أضعاف وتسريع الاستدلال، يمهد S2Q-VDiT الطريق لنشر نماذج توليد الفيديو واسعة النطاق في تطبيقات العالم الحقيقي حيث تعد قيود الذاكرة وزمن الاستجابة أمراً حرجاً.