💻 computer science

Scale-wise Distillation of Diffusion Models

تقدم هذه الورقة البحثية SwD، وهو إطار عمل لتقطير الانتشار على مستوى المقياس يجمع بين استراتيجية توليد تدريجية وهدف جديد على مستوى الرقعة يعتمد على تباين المتوسط الأقصى، وذلك لتسريع عملية أخذ العينات بشكل كبير في نماذج توليد الصور والفيديو من النص واسعة النطاق مع التفوق على الطرق الحالية ضمن نفس ميزانية الحوسبة.

المؤلفون الأصليون: Nikita Starodubcev, Ilya Drobyshevskiy, Denis Kuznedelev, Artem Babenko, Dmitry Baranchuk

نُشر 2026-03-04

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nikita Starodubcev, Ilya Drobyshevskiy, Denis Kuznedelev, Artem Babenko, Dmitry Baranchuk

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم لوحة فنية لمدينة صاخبة.

الطريقة القديمة (نماذج الانتشار القياسية):
يعمل أفضل فناني الذكاء الاصطناعي حالياً مثل رسام دقيق وبطيء للغاية. يبدأون بلوحة بيضاء مغطاة بضجيج ساكن (static noise). ولإنشاء الصورة، يحتاجون إلى 20 إلى 50 خطوة صغيرة. في كل خطوة، ينظرون إلى اللوحة بأكملة، من أصغر طوبة في مبنى إلى السماء الشاسعة، ويحاولون تحسين كل بكسل في نفس الوقت. الأمر يشبه محاولة إصلاح الشقوق في رصيف المشاة بينما تقوم في الوقت ذاته بطلاء السحب. هذا ينتج نتائج جميلة، ولكنه يستغرق وقتاً طويلاً ويستهلك الكثير من الطاقة.

المشكلة:
حاول الباحثون تسريع هذه العملية عبر تعليم الذكاء الاصطناعي القيام بذلك في خطوات أقل (مثل 4 خطوات بدلاً من 20). لكنهم اصطدموا بحائط مسدود. إذا أجبرت الذكاء الاصطناعي على إنهاء اللوحة بأكملها في 4 خطوات فقط مع النظر إلى اللوحة بأكملها دفعة واحدة، ستبدو الصورة ضبابية أو غريبة. يصاب الذكاء الاصطناعي بالارتباك نتيجة محاولة القيام بالكثير من الأمور في وقت واحد.

الحل الجديد: SwD (التقطير عبر مستويات القياس - Scale-Wise Distillation)
يقدم هذا البحث طريقة جديدة تسمى SwD (التقطير عبر مستويات القياس). فكر في SwD ليس كرسام يتسرع، بل كرسام يعرف كيف يعمل من الخارج إلى الداخل.

إليك كيف تعمل SwD، باستخدام تشبيه بسيط:

1. استراتيجية "التقريب للخارج" (مستوى القياس)

تخيل أنك تنظر إلى مدينة عبر تلسكوب.

الخطوة 1 (الصورة الكبيرة): تبدأ برؤية ضبابية جداً ومنخفضة الدقة. يمكنك فقط رؤية الأشكال العامة: "هناك جبل هناك، ونهر هناك، وكتلة سكنية هناك". لا تحتاج لرؤية النوافذ بعد.
الخطوة 2 (التقريب قليلاً): الآن، تقرب الرؤية قليلاً. تقوم بتحسين الأشكال. يمكنك رؤية المباني، ولكن ليس النوافذ.
الخطوة 3 (الاقتراب أكثر): تقرب أكثر. الآن ترى النوافذ والأبواب.
الخطوة 4 (التفاصيل): أخيراً، تقرب تماماً لتتمكن من رؤية الناس الذين يسيرون في الشارع.

لماذا هذا أسرع؟
في الطريقة القديمة، كان على الذكاء الاصطناعي حساب تفاصيل النوافذ والجبال في الخطوة الأولى نفسها، رغم أن الجبال كانت مجرد كتل ضبابية. كان ذلك جهداً ضائعاً!
مع SwD، يقوم الذكاء الاصطناعي بحساب "أشكال الجبال" فقط عندما يكون عند الدقة المنخفضة. ولا يحسب "تفاصيل النوافذ" إلا عندما يكون عند الدقة العالية. إنه يتجنب القيام بعمليات حسابية غير ضرورية على تفاصيل لم توجد بعد.

2. "قائمة التحقق السحرية" (فقدان MMD)

يقدم البحث أيضاً طريقة جديدة لتعليم الذكاء الاصطناعي، تسمى MMD (التباين الأقصى لمتوسط التباين).

تخيل أنك تعلم طالباً كيفية رسم قطة.

الطريقة القديمة: تعرض للطالب صورة لقطة وتقول له: "ارسم بالضبط ما تراه، بكسل ببكسل". إذا ارتكب الطالب خطأً صغيراً، يتم تصحيحه.
طريقة SwD (MMD): تعطي الطالب "قائمة تحقق سحرية" (نموذج ذكاء اصطناعي مدرب مسبقاً). تقول له: "لا تكتفِ بنسخ الصورة. انظر إلى 'روح' القطة. هل تمتلك نفس 'صفات القطط' الموجودة في الصورة؟ هل الأذنان في المكان الصحيح بالنسبة للذيل؟ هل ملمس الفراء يبدو صحيحاً؟"

إن فقدان MMD يشبه مفتش مراقبة جودة متطور يتحقق مما إذا كان "الشعور العام" و"الهيكل" للرسم يطابق الأصل، بدلاً من مجرد التحقق مما إذا كان كل بكسل مطابقاً تماماً. هذا يساعد الذكاء الاصطناعي على التعلم بشكل أسرع وإنتاج نتائج أفضل، حتى مع عدد خطوات أقل.

النتيجة
من خلال الجمع بين هاتين الفكرتين:

العمل من الدقة المنخفضة إلى الدقة العالية (توفير الوقت عبر عدم حساب التفاصيل مبكراً جداً).
استخدام "قائمة تحقق لجوهر الشيء" (تعلم جوهر الصورة بشكل أسرع).

نجح المؤلفون في إنشاء نماذج تولد صوراً وفيديوهات أسرع بـ 10 مرات من النماذج البطيئة الأصلية، وأسرع بمرتين إلى 3 مرات من النماذج السريعة الأخرى، دون فقدان الجودة.

باختختصار:
بدلاً من محاولة بناء ناطحة سحاب عن طريق وضع كل طوبة بالحجم الكامل فوراً، تقوم SwD ببناء الأساس أولاً، ثم الهيكل، ثم الجدران، وأخيراً النوافذ. إنها طريقة أذكى وأكثر كفاءة للبناء، مما يؤدي إلى بناء ناطحة سحاب رائعة في وقت قياسي.

إليك ملخص تقني مفصل لورقة البحث "Scale-Wise Distillation of Diffusion Models" (SwD)، المنشورة كـ ورقة مؤتمر في ICLR 2026.

1. بيان المشكلة

تُعد نماذج الانتشار (Diffusion Models - DMs) هي الأحدث في مجال توليد الصور والفيديو، لكنها تعاني من بطء سرعة الاستنتاج (inference) بسبب الحاجة إلى أخذ عينات متسلسلة عبر 20-50 خطوة. وبينما نجحت طرق التقطير (distillation methods) الأخيرة في تقليل هذا العدد إلى حوالي 4 خطوات، فإن أي تقليل إضافي (مثل 1-2 خطوة) يؤدي إلى عوائد ضئيلة في الجودة.

العنق الزجاجي: تعمل طرق التقطير الحالية ذات الخطوات القليلة على دقة كاملة وثابتة طوال عملية الانتشار بأكملها.
الرؤية الجوهرية: عملية الانتشار العكسي هي بطبيعتها ذاتية الانحدار طيفياً (spectral autoregressive)، مما يعني أنها تولد الهياكل منخفضة التردد (الخشنة) أولاً، ثم التفاصيل عالية التردد (الدقيقة) لاحقاً. عند مستويات الضوضاء العالية (الخطوات المبكرة)، يتم حجب المعلومات عالية التردد بواسطة الضوضاء. لذلك، فإن إجراء العمليات الحسابية بالدقة الكاملة خلال الخطوات المبكرة المليئة بالضوضي هو أمر زائد عن الحاجة وغير فعال.
الفجوة: لا تستفيد الطرق الحالية من هذه الخاصية الطيفية لتقليل التكلفة الحسابية عبر العمل بدقات أقل خلال الخطوات المبكرة.

2. المنهجية: التقطير عبر المقاييس (Scale-Wise Distillation - SwD)

يقترح المؤلفون SwD، وهو إطار عمل يحول نموذج انتشار مدرب مسبقاً إلى مولد ذي خطوات قليلة يزيد تدريجياً من الدقة المكانية والزمانية أثناء عملية أخذ العينات.

أ. التحليل الطيفي للفضاءات الكامنة (Latent Spaces)

قبل تصميم الطريقة، أجرى المؤلفون تحليلاً طيفياً (باستخدام كثافة القدرة الطيفية متوسطة نصف القطر) على الفضاءات الكامنة لـ VAE لنماذج مثل SD3.5 و Wan2.1.

النتيجة: يتم تصفية المكونات عالية التردد تدريجياً بواسطة الضوضاء. عند مستويات الضوضاء العالية (مثلاً $t=800$ )، يمكن تمثيل الإشارة بدقة عند دقات أقل بكثير (مثلاً $32\times32$ بدلاً من $128\times128$ ) دون فقدان للمعلومات.
الاستنتاج: يمكن لنماذج الانتشار أن تعمل بدقات كامنة أقل خلال الخطوات ذات الضوضاء العالية.

ب. إطار عمل SwD

يوحد SwD التوليد متعدد المقاييس في نموذج واحد ذي خطوات قليلة.

الجدولة (Schedule): يحدد جدول مقاييس غير متناقص $[s_1, \dots, s_N]$ مقترناً بجدول زمن خطوة $[t_1, \dots, t_N]$ .
عملية أخذ العينات:
- يبدأ التوليد عند أدنى دقة $s_1$ باستخدام ضوضاء غاوسية.
- في كل خطوة، يتنبأ النموذج بعينة نظيفة $\hat{x}_0$ .
- استراتيجية زيادة الدقة (Upsampling Strategy): بدلاً من زيادة دقة الكامن المليء بالضوضاء (الذي يشوه إحصائيات الضوضاء)، تقوم الطريقة بزيادة دقة العينة النظيفة المتوقعة $\hat{x}_0$ ثم إعادة إضافة الضوضاء إليها للوصول إلى الخطوة الزمنية التالية $t_{i+1}$ عند الدقة الأعلى $s_{i+1}$ . هذا يحافظ على إحصائيات الضوضاء الصحيحة ويقلل من العيوب (artifacts).
- تتكرر العملية، مع زيادة الدقة حتى الوصول إلى الدقة المستهدفة النهائية.
التدريب: يتم تدريب النموذج على أزواج من الدقات المتجاورة. يتم خفض دقة الصور منخفضة المستوى، ثم تشفيرها، ثم رفع دقتها، وإضافة الضوضاء إليها لتتطابق مع الخطوة الزمنية المستهدفة. يتعلم النموذج التنبؤ بالهدف النظيف عند المقياس الأعلى.

ج. هدف التقطير المبتكر: MMD على مستوى الرقعة (Patch-Level MMD)

لتحسين التقارب والأداء، قدم المؤلفون دالة خسارة جديدة تعتمد على تباعد المتوسط الأقصى (Maximum Mean Discrepancy - MMD) في فضاء الميزات الخاص بالنموذج المعلم (teacher model).

الآلية: بدلاً من مطابقة توزيعات البكسل الخام، يقومون باستخراج خرائط الميزات من كتل الـ Transformer المتوسطة للنموذج المعلم لكل من العينات المولدة والمستهدفة.
حقن الضوضاء: يتم حقن كلتا العينتين بالضوضاء ضمن نطاق محدد (ضوضاء منخفضة إلى متوسطة) قبل استخراج الميزات لالتقاط الإشارات المهيكلة.
حساب الخسارة: يقومون بحساب MMD بين توزيعات الرموز المكانية (الرقع/patches). وللكفاءة، يستخدمون نواة خطية (linear kernel)، مما يؤدي فعلياً إلى تقليل متوسط خطأ المربعات (MSE) بين متجهات الميزات المتوسطة للرقع لكل صورة.
الميزة: لا يتطلب هذا الهدف أي نماذج تمييز (discriminator) قابلة للتدريب إضافية (على عكس التقطير القائم على GAN)، ويحسن التقارب بشكل كبير، حيث يعمل كخط أساس مستقل وقوي.

3. المساهمات الرئيسية

إطار عمل التقطير عبر المقاييس (Swable-Wise Distillation): نهج مبتكر يكيف أي نماذج انتشار مدربة مسبقاً لتصبح نماذج ذات خطوات قليلة وتدريجية، مما يقلل من الحسابات الزائدة في الخطوات المتوسطة.
الانتشار الذاتي الطيفي في الكوامن: إثبات تجريبي بأن عمليات الانتشار الكامنة تتبع انتشاراً ذاتي التدرج طيفياً، مما يؤكد جدوى النمذجة منخفضة الدقة عند مستويات الضوضاء العالية.
خسارة تقطير MMD على مستوى الرقعة: دالة خسارة بسيطة، فعالة، وذات كفاءة عالية تتفوق على الخطوط المرجعية الموجودة وتعمل كهدف تقطير مستقل تنافسي.
خط إنتاج موحد: تتكامل الطريقة بسلاسة مع تقنيات مطابقة التوزيع الموجودة (مثل DMD) وتعمل لكل من نماذج توليد الصور والفيديو.

4. النتائج التجريبية

قيم المؤلفون SwD على نماذج رائدة: SDXL, SD3.5 (Medium/Large), FLUX.1-dev (للصور) و Wan2.1 (للفيديو).

السرعة مقابل الجودة:
- الصور: يحقق SwD تسريعاً بنحو 2x مقارنة بنماذج الدقة الكاملة ذات الخطوات القليلة (مثلاً: 4 خطوات من SwD بنفس سرعة خطوتين من الدقة الكاملة) مع الحفاظ على الجودة أو تجاوزها.
- الفيديو: يحقق SwD تسريعاً بنحو 3x في توليد النص إلى فيديو مقارنة بنظراء الدقة الكاملة.
- المقارنة: تنافس نماذج SwD أو تتفوق على نماذجها المعلمة (التي تستغي 20-50 خطوة) بينما هي أسرع بأكثر من 10 أضعاف. كما تفوقت على طرق التقطير السريعة الأخرى (مثل DMD2, Turbo, Hyper-SD) في دراسات التفضيل البشري فيما يتعلق بتعقيد الصورة وجمالياتها.
التفضيل البشري: في الدراسات جنباً إلى جنب، فُضلت نماذج SwD من حيث تعقيد الصورة والجماليات على الخطوط المرجعية ذات الدقة الكاملة التي تمتلك نفس عدد الخطوات.
أداء الفيديو: في نموذج Wan2.1 للفيديو، كان SwD أسرع بـ 72 مرة من النموذج المعلم و 2.3 مرة أسرع من خط الأساس CausVid المكون من 3 خطوات، مع جودة مماثلة أو أفضل (مقاييس VBench-2.0, VisionReward).
الدراسة الاستئصالية (Ablation): أثبتت خسارة $L_{MMD}$ وحدها أنها هدف تقطير قوي ومستقل، حيث حققت أداءً قريباً من خط عمل SwD الكامل ولكن مع سرعة تدريب تبلغ 7 أضعاف (لأنها تتجنب تدريب النماذج المساعدة).

5. الأهمية

تحول في نموذج الكفاءة: يتجاوز SwD سباق "تقليل الخطوات" عبر تحسين محور "الدقة لكل خطوة". فهو يثبت أنه يمكن استخراج مكاسب الكفاءة عبر تكييف مقياس تشغيل النموذج مع محتوى معلومات الضوضاء.
القابلية للتوسع: الطريقة قابلة للتطبيق على كل من توليد الصور والفيديو، مما يعالج التحدي المحدد لتدرج الدقة الزمانية في نماذج الفيديو.
النشر العملي: من خلال تمكين التوليد عالي الجودة في خطوات أقل مع ميزانيات حسابية أقل، يجعل SwD نماذج الانتشار عالية الدقة أكثر قابلية للاستخدام في التطبيقات التي تتطلب الوقت الفعلي والتطبيقات ذات الموارد المحدودة.
ابتكار دالة الخسارة: يوفر تقديم خسارة MMD على مستوى الرقعة أداة جديدة وخفيفة الوزن وفعالة للغاية لمجتمع تقطير الانتشار، مما قد يقلل من الاعتماد على إعدادات التدريب المعقدة القائمة على الخصومة.

باختصار، يمثل SwD خطوة كبيرة للأمام في تسريع نماذج الانتشار، حيث يثبت أن التوليد التدريجي المقترن بمطابقة الميزات في الفضاء يمكن أن يؤدي إلى مقايضات أفضل بين السرعة والجودة مقارنة بالتقطير التقليدي ثابت الدقة.