ملخص تقني: حول تصميم نماذج الانتشار بخطوة واحدة عبر اختصار مسارات التدفق

بيان المشكلة

أصبحت نماذج التوليد القائمة على الانتشار (Diffusion-based generative models) هي النموذج السائد في النمذجة التوليدية العميقة، لكنها تعاني من بطء سرعة الاستدلال، حيث تتطلب عادةً عشرات أو مئات من عمليات تقييم الدوال العصبية (NFEs). وبينما مكنت نماذج الاتساق (Consistency models) وتقنيات التقطير (Distillation) من التوليد بخطوة واحدة، إلا أنها غالبًا ما تعتمد على عمليات تدريب تتكون من مرحلتين مكلفتين (تدريب مسبق لنموذج انتشار يليه التقطير). مؤخرًا، ظهرت "نماذج الاختصار" (Shortcut models) التي يتم تدريبها من الصفر (مثل: Consistency Training، وShortcut Diffusion، وInductive Moment Matching) لتعلم خرائط مباشرة بين الحالات المتوسطة في خطوة واحدة. ومع ذلك، لا يزال مجال التصميم لهذه النماذج غامضًا؛ إذ غالبًا ما تكون الاشتقاقات النظرية، والتطبيقات العملية، واختيارات المكونات المحددة (مثل عينات الوقت، ومسارات التدفق، ومقاييس الخسارة) مترابطة بشكل وثيق، مما يجعل من الصعب تحديد التحسينات بشكل منهجي أو فهم ضرورة وحدات معينة.

المنهجية

يقترح المؤلفون إطار تصميم مشترك لتفكيك مكونات نماذج الاختصار التمثيلية (سواء كانت متغيرات زمنية منفصلة أو مستمرة). يوحد هذا الإطار هذه الأساليب تحت مبدأ تقريب خريطة تدفق ذات خطوتين باستخدام تنبؤ معلمي (parameterized prediction) بخطوة واحدة.

1. إطار التصميم الموحد

يصيغ البحث نماذج الاختصار باستخدام حلّالات خرائط التدفق (flow map solvers). الهدف الأساسي هو تدريب شبكة عصبية $F_\theta$ للتنبؤ بخريطة تدفق خطوة واحدة $X^\theta_{t,r}(x_t)$ تقرب خريطة خطوتين مبنية عبر خصائص الاتساق:
$$X^\theta_{t,r}(x_t) \approx \text{sg}(\hat{X}_{s,r} \circ \hat{X}_{t,s}(x_t))$$
حيث $r \le s \le t$، ويمثل $\text{sg}$ عامل إيقاف التدرج (stop-gradient)، ويتم بناء الهدف باستخدام السرعات الشرطية أو تنبؤات الشبكة المتوسطة. يصنف الإطار الأساليب الموجودة (CT, SCD, IMM, sCT, MeanFlow) بناءً على خياراتها المحددة في:

• مسارات التدفق: المسارات الخطية مقابل مسارات جيب التمام (Cosine paths).
• عينات الوقت: المنفصلة (فجوات ثابتة) مقابل المستمرة (فجوات متناهية الصغر).
• التمثيل المعلمي للشبكة: السرعة اللحظية ($v_\theta$) مقابل السرعة المتوسطة ($u_\theta$).
• مقاييس الخسارة: LPIPS، أو مربع $L_2$، أو المقاييس القائمة على النواة (kernel-based).

2. التبرير النظري

يقدم المؤلفون حدودًا نظرية لمسافة Wasserstein-2 بين توزيع البيانات وتوزيع التوليد. وقد أثبتوا أن أهداف التدريب لكل من نماذج الاختصار ذات الزمن المنفصل (DTSC) والزمن المستمر (CTSC) تعمل كحدود عليا صالحة لخطأ التوليد. والأهم من ذلك، أنهم أظهروا أن المسارات الخطية هي الأمثل لنماذج الاختصار التي يتم تدريبها من الصفر في الإعدادات المشروطة بالبيانات، حيث توفر تكاليف نقل محدبة أقل وانحناء مسار أقل مقارنة بمسارات جيب التمام.

3. التحسينات المقترحة

بناءً على إطار التصميم المفكك، يقدم البحث ثلاثة تحسينات تقنية لتعزيز تدريب نماذج الاختصار ذات الزمن المستمر (تحديدًا متغيرات MeanFlow):

• السرعة الموصولة (Plug-in Velocity): بدلاً من الاعتماد فقط على السرعة الشرطية $v_{t|0}$ (التي تعاني من تباين عالٍ بسبب أخذ العينات من حزمة مصغرة/mini-batch)، يقترح المؤلفون استخدام سرعة موصولة $v^*_t$. يتم حساب هذه السرعة كمتوسط مرجح للسرعات الشرطية داخل الحزمة المصغرة، مما يقرب السرعة الهامشية. هذا يقلل من تباين إشراف السرعة بمقدار $O(1/B)$ (حيث $B$ هو حجم الحزمة) بتكلفة حسابية ضئيلة، مما يؤدي إلى استقرار التدريب.
• التجميع المصغر المتسق مع الفئة (Class-Consistent Mini-batching): للحفاظ على فعالية التوجيه الحر من المصنف (Classifier-Free Guidance - CFG) أثناء استخدام السرعة الموصولة، يقترح المؤلفون أخذ عينات من الحزم المصغرة بحيث تنتمي جميع العينات داخل الحزمة إلى نفس الفئة. هذا يمنع تخفيف الإشارات الخاصة بالفئة أثناء عملية المتوسط.
• عينات الوقت التدريجية (Gradual Time Sampler): تم تقديم استراتيجية تعلم منهجي حيث يتم تثبيت الزمن النهائي $r$ عند 0 خلال المراحل الأولى من التدريب (محاكاة لمهمة إزالة الضجيج) ثم الانتقال تدريجيًا إلى استراتيجية أخذ عينات الزمن المستمر القياسية. وهذا يساعد في تسريع التقارب الأولي.

النتائج الرئيسية

تم تقييم التحسينات المقترحة على مجموعتي بيانات ImageNet-256$\times$256 و CIFAR-10 باستخدام بنيات SiT و U-Net.

• الأداء الرائد (State-of-the-Art): يحقق النموذج الناتج، المسمى ESC (Explicit & Easier Shortcut)، قيمة FID50k تبلغ 2.85 على ImageNet-256$\times$256 باستخدام التوليد بخطوة واحدة تحت توجيه التصنيف الحر (CFG). ومع التدريب الممتد (480 حقبة)، يصل إلى 2.53.
• المقارنة: تحقق هذه النتوت تفوقًا جديدًا بين نماذج الاختصار المدربة من الصفر، حيث تتفوق بشكل كبير على الطرق السابقة ذات الخطوة الواحدة مثل MeanFlow (3.43) و SCD (10.60). بل إن الأداء يتجاوز دقة التوليد بخطوتين لنموذج MeanFlow (2.93).
• فوائد التوسع (Scaling Benefits): تظهر مكاسب الأداء من التقنيات المقترحة بشكل أوضح في النماذج الأكبر (SiT-XL/2) مقارنة بالنماذج الأصغر (SiT-B/2)، مما يشير إلى أن تقليل التباين أمر بالغ الأهمية لتوسيع نطاق نماذج الاختصار.
• الكفاءة: تضيف عملية حساب السرعة الموصولة عبئًا حسابيًا ضئيلاً (زيادة بنسبة 0.7% تقريبًا في وقت التكرار) بينما توفر استقرارًا كبيرًا.

الأهمية والادعاءات

يزعم البحث أن مساهمته الرئيسية هي خفض الحاجز أمام الابتكار على مستوى المكونات في نماذج الاختصار. من خلال توفير إطار تصميم مشترك وتبرير نظري، قام المؤلفون بـ:

1. تفكيك مجال التصميم: أظهروا أن العديد من الوحدات التي كانت تُعتبر سابقًا "لا غنى عنها" هي في الواقع خيارات مستقلة، مما يسمح باستكشاف ودمج منهجي.
2. التحقق من المسارات الخطية: برروا نظريًا استخدام المسارات الخطية لتدريب نماذج الاختصار من الصفر، متحدين التفضيل السابق لمسارات جيب التمام في سياقات معينة.
3. تمكين الاستكشاف المنهجي: توفر التحسينات المقترحة (السرعة الموصولة، والتجميع المصغر المتسق مع الفئة) مسارًا لتوليد عالي الدقة بخطوة واحدة دون الحاجة إلى تدريب مسبق، أو تقطير، أو تعلم منهجي معقد.

يؤكد المؤلفون أن عملهم يسهل نهجًا أكثر منهجية لتصميم نماذج الانتشار بخطوة واحدة، متجاوزين "الصندوق الأسود" للاشتقاقات النظرية والخدع العملية المترابطة. كما أقروا بوجود قيود، مثل عدم المرونة الحالية في ضبط معاملات CFG والتكلفة الحسابية لعمليات ضرب جاكوبي-فيكتور (JVP) في البنيات القائمة على المحولات (Transformers)، معتبرين إياها اتجاهات للعمل المستقبلي.