ملخص تقني: النمذجة التوليدية في خطوة واحدة عبر تدفقات تدرج واسرستاين (W-Flow)

بيان المشكلة

حققت النماذج التوليدية الحديثة، ولا سيما نماذج الانتشار (Diffusion Models) والأساليب القائمة على التدفق (Flow-based methods)، جودة عينات هي الأفضل في فئتها، لكنها تعاني من تكاليف حوسبة وزمن استجابة مرتفعين بسبب اعتمادها على عمليات أخذ عينات تكرارية متعددة الخطوات. وبينما توجد أساليب لتقطير (Distillation) النماذج لتصبح في خطوة واحدة أو خطوات قليلة، إلا أنها غالبًا ما ترث إشارات تدريب مصممة أصلاً لمسارات توليد تكرارية، أو تعتمد على ديناميكيات استدلالية (مثل النماذج الانجرافية - Drifting Models) تفتقر إلى ضمانات تقارب مبدئية وتكون عرضة لانهيار النمط (Mode Collapse). التحدي المركزي يكمن في تصميم ديناميكية تدريب تسمح للمولد بتعلم خريطة مباشرة (Direct Mapping) من توزيع مرجعي إلى توزيع بيانات مستهدف، مع ضمان استقرار التقارب وتغطية الأنماط العالمية.

المنهجية: W-Flow

يقترح المؤلفون إطار عمل W-Flow، الذي يفصل بين تصميم ديناميكيات التدريب وبين تمثيل المولد (Parameterization). الفكرة الجوهرية هي تحديد تطور توزيع النموذج نحو التوزيع المستهدف باستخدام تدفقات تدرج واسرستاين (W-Flow)، ثم تدريب شبكة عصبية ثابتة لضغط هذا التطور متعدد الخطوات في خطوة استدلال واحدة.

1. ديناميكيات التدريب عبر تدفق تدرج واسرستاين

بدلاً من تعلم تسلسل من خطوات إزالة الضجيج أو حقول السرعة مباشرة، يعرّف W-Flow مسار التدريب كأنه تطور مستمر في الزمن في فضاء مقاييس الاحتمالية.

• الدالة الطاقية (Energy Functional): يتم دفع التطور بواسطة الهبوط الأشد لدالة طاقية $F(q) = D(q \| p)$، حيث $q$ هو توزيع النموذج الحالي و $p$ هو توزيع البيانات المستهدف.
• حقل السرعة (Velocity Field): يتم اشتقاق حقل السرعة المستمر في الزمن $V_t$ من التباين الأول للدالة الطاقية: $V_t(x) = -\nabla \frac{\delta F}{\delta q}(q_t)(x)$.
• التقطيع (Discretization): يتم تقطيع التدفق المستمر باستخدام مخطط "أويلر الصريح" (Explicit Euler scheme). في كل خطوة تدريب $k$، يتم تحديث توزيع النموذج $q^{(k)}$ عبر خريطة نقل محلية $g^{(k)}(x) = x + \eta V^{(k)}(x)$، حيث $\eta$ هو حجم الخطوة.

2. التجسيد باستخدام تباعد سينكهورن (Sinkhorn Divergence)

لضمان أن يكون حقل السرعة قابلاً للحوسبة ومنضبطًا هندسيًا في الأبعاد العالية، قام المؤلفون بتجسيد الدالة الطاقية باستخدام تباعد سينكهورن ($S_\epsilon$)، وهو مقييس نقل أمثل (Optimal Transport) منتظم إنتروبيبيًا.

• صياغة حقل السرعة: يُعطى حقل السرعة المستحث بالفرق بين إسقاطين مركزيين (Barycentric Projections):
  $$V^\epsilon_{q,p}(x) = T^\epsilon_{q,p}(x) - T^\epsilon_{q,q}(x)$$
  هنا، يقوم $T^\epsilon_{q,p}$ بنقل الكتلة من التوزيع المتولد $q$ إلى الهدف $p$، بينما يمثل $T^\epsilon_{q,q}$ مصطلح نقل ذاتي يفرض الاتساق مع التوزيع الحالي.
• التنسيق العالمي (Global Coordination): على عكس التفاعلات النواة المحلية (مثل MMD أو النماذج الانجرافية)، يتم اشتقاق حقل سرعة سينكهورن من خطة نقل أمثل عالمية، مما يضمن تنسيق حركات الجسيمات عبر الدفعة (Batch) بأكملها لمنع انهيار النمط.
• مُقدّر الدفعة المزدوجة (Two-Batch Estimator): لتجنب عيوب المطابقة الذاتية حيث تتطابق الجسيمات مع نفسها بتكلفة صفرية، استخدم المؤلفون استراتيجية الدفعة المزدوجة. حيث قاموا بحساب مصطلح النقل الذاتي $T^\epsilon_{q,q}$ باستخدام دفعة ثانية مستقلة من العينات من التوزيع الحالي، بدلاً من حجب قطر مصفوفة التكلفة لدفعة واحدة.

3. تدريب المولد

يتم تدريب المولد $f_\theta$ لمحاكاة تحديثات الجسيمات المنفصلة المحددة بواسطة WGF.

• الهدف (Objective): تقلل دالة الخسارة المسافة المربعة بين مخرجات المولد وموضع الجسيم "المستهدف" المشتق من تحديث سينكهورن:
  $$\mathcal{L}(\theta) = \mathbb{E}_{z \sim p_{ref}} \| f_\theta(z) - \text{sg}(f_\theta(z) + \eta V^\epsilon(\hat{q}_\theta, \hat{p})) \|^2$$
  حيث تشير $\text{sg}(\cdot)$ إلى عامل إيقاف التدرج (Stop-gradient)، مما يعامل موضع الجسيم المحدث كهدف انحدار (Regression Target) ثابت.
• توجيه التصنيف الخالي من الفئة (Classifier-Free Guidance - CFG): يدعم إطار العمل CFG عن طريق تعديل حقل السرعة مباشرة. بدلاً من خلط التوزيعات خطيًا، يقترح المؤلفون توجيه السرعة (Velocity Guidance)، والذي يضيف مصطلحًا يتناسب مع الفرق بين حقول السرعة الشرطية وغير الشرطية. وقد أظهر هذا النهج قدرته على استعادة التوزيع المستهدف المائل أسيًا عند استخدام تباعد KL، ويوفر امتدادًا متسقًا هندسيًا لتباعد سينكهورن.

المساهمات الرئيسية

1. إطار عمل مبدئي للخطوة الواحدة: يؤسس W-Flow لنموذج جديد للنمذجة التوليدية في خطوة واحدة من خلال ترسيخ ديناميكيات التدريب في تدفقات تدرج واسرستاين، مما يوفر تفسيرًا متغيرًا واضحًا يغيب عن الأساليب الاستدلالية مثل النماذج الانجرافية.
2. ديناميكيات قائمة على سينكهورن: يوفر تجسيد WGF باستخدام تباعد سينكهورن قاعدة تحديث فعالة قائمة على النقل الأمثل، تلتقط الاختلافات التوزيعية العالمية وتحسن تغطية الأنماط مقارنة بالطرق القائمة على النواة (Kernel) أو التفاعلات المحلية.
3. التقارب النظري: أثبت المؤلفون أن ديناميكيات الجسيمات ذات العينات المحدودة لـ W-Flow تتقارب مع الديناميكيات التوزيعية المستمرة في الزمن تحت افتراضات انتظام مناسبة، مما يوفر تبريرًا نظريًا لعملية التعلم.
4. مُقدّر الدفعة المزدوجة: تم تقديم استراتيجية الدفعة المزدوجة المبتكرة لتقدير مصطلحات النقل الذاتي، والتي تقضي على تحيز المطابقة الذاتية المتأصل في مُقدّرات الدفعة الواحدة وحلول حجب القطر الاستدلالية.

النتائج التجريبية

قيم المؤلفون W-Flow على ImageNet 256×256 و FFHQ.

• أداء رائد (State-of-the-Art): يحقق W-Flow رقمًا قياسيًا جديدًا لـ FID يبلغ 1.29 (مقياس XL) و 1.35 (مقياس L) للتوليد الشرطي للفئات في خطوة واحدة على ImageNet، متفوقًا بشكل كبير على الأساليب السابقة للخطوة الواحدة (مثل Drifting Models و MeanFlow) ومتجاوزًا العديد من نماذج الانتشار متعددة الخطوات (مثل LightningDiT و SiT) رغم استخدامه لتقييم واحد فقط للدالة (NFE).
• كفاءة أخذ العينات: مقارنة بنماذج الانتشار متعددة الخطوات ذات درجات FID مماثلة، يوفر W-Flow سرعة أخذ عينات أسرع بنحو 100 ضعف (على سبيل المثال، 77.88 صورة/ثانية مقابل 0.93 صورة/ثانية لـ SiT-XL/2 على وحدة معالجة رسومية واحدة من نوع H100).
• تغطية الأنماط: في التجارب مع التوزيعات غير المتوازنة (مثل 95% وجوه كبار السن، 5% وجوه أطفال)، نجح W-Flow في التقاط الأنماط الأقلية، بينما أظهرت النماذج الانجرافية انهيارًا في النمط، متجاهلة فئة الأقلية تمامًا.
• سرعة التقارب: يتقارب W-Flow بشكل أكبر أثناء التدريب، حيث يصل إلى أداء النموذج الانجرافي المدرب لـ 1280 حقبة (Epoch) في 384 حقبة فقط.
• نقل المجال (Domain Transfer): تظهر الطريقة قدرة قوية في مهام نقل المجال (مثل ترجمة العمر في FFHQ)، حيث تنتج مسارات نقل أقصر وأكثر تماسكًا مقارنة بالنماذج المرجعية الاستدلالية.

الأهمية والادعاءات

يزعم البحث أن تدفقات تدرج واسرستاين توفر أساسًا مبدئيًا وفعالًا للنمذجة التوليدية عالية الدقة والسريعة. من خلال فصل تصميم ديناميكيات التدريب عن تمثيل المولد، يثبت W-Flow أن المولد ذو الخطوة الواحدة يمكن تدريبه لتحقيق أداء يضاهي العمليات المعقدة متعددة الخطوات. ويؤكد المؤلفون أن التنسيق العالمي الذي يوفره ديناميكيات النقل الأمثل هو المفتاح لاستقرار التدريب وضمان التغطية الشاملة للأنماط، مما يعالج القيود الحرجة لأساليب الخطوة الواحدة الحالية. تشير النتائج إلى أن W-Flow يمكن أن يعمل كبديل قابل للتوسع للتطبيقات التي تتطلب توليدًا منخفض التأخير وعالي الجودة، مثل أدوات الإبداع في الوقت الفعلي والمحاكاة.