ملخص تقني: النمذجة التوليدية عبر الانجراف (Drifting)

بيان المشكلة

تعد النمذجة التوليدية في جوهرها مهمة تعلم دالة تحويل $f$ بحيث يتطابق التوزيع الناتج (pushforward) لتوزيع مسبق $p_{prior}$ (مثل الضوضاء الغاوسية) مع توزيع البيانات $p_{data}$، ويُرمز لذلك بـ $f\#p_{prior} \approx p_{data}$. وبينما تعتمد النماذج السائدة مثل نماذج الانتشار (Diffusion Models) ومطابقة التدفق (Flow Matching) على ذلك من خلال صقل العينات بشكل تكراري عند وقت الاستنتاج (عبر تفكيك خريطة التحويل المعقدة إلى سلسلة من التحويلات الممكنة)، فإن هذا النهج يتطلب تقييمات متعددة للشبكة العصبية (NFE) لكل عينة، مما يؤدي إلى تكاليف حوسبة عالية.

تعتمد المحاولات الحالية لإنشاء مولدات ذات خطوة واحدة على استخلاص المعرفة (distilling) من نماذج سابقة مدربة متعددة الخطوات، أو تقريب مسارات المعادلات التفاضلية العشوائية (SDEs) أو المعادلات التفاضلية العادية (ODEs) أثناء التدريب. يقترح المؤلفون نموذجاً جديداً ينقل العملية التكرارية بشكل جذري من وقت الاستنتاج إلى وقت التدريب، مما يتيح توليداً عالي الجودة بتقييم واحد فقط للشبكة العصبية (1-NFE) دون الاعتماد على صيغ SDE/ODE.

المنهجية: نماذج الانجراف (Drifting Models)

المساهمة الجوهرية هي نموذج الانجراف (Drifting Model)، الذي يصيغ النمذجة التوليدية كعملية تطور لتوزيع التحويل (pushforward distribution) أثناء عملية التدريب نفسها.

1. التطور أثناء التدريب

بدلاً من النظر إلى التدريب كمجرد تحديث للأوزان لتقليل خسارة ثابتة، ينظر المؤلفون إلى تسلسل النماذج $\{f_i\}$ الناتج عن التحسين التكراري (مثل SGD) كسلسلة من توزيعات التحويل $\{q_i\}$. في كل تكرار، يتم "إزاحة" (drifted) العينة $x_i = f_i(\epsilon)$ ضمنياً إلى $x_{i+1} = f_{i+1}(\epsilon)$ نتيجة لتحديثات المعلمات. والهدف هو تحديد آلية حيث يوجه هذا الانجراف التوزيع $q$ بشكل طبيعي نحو $p_{data}$.

2. حقل الانجراف (The Drifting Field)

للحكم على هذا التطور، قدم المؤلفون حقل انجراف $V_{p,q}(x)$، وهو دالة تحسب متجه الإزاحة $\Delta x$ لعينة $x$ بناءً على التوزيع المولد الحالي $q$ وتوزيع البيانات المستهدف $p$.

• شرط التوازن: تم تصميم الحقل بحيث يكون $V_{p,q}(x) = 0$ إذا وفقط إذا كان $p = q$. عندما تتطابق التوزيعات، يتوقف انجراف العينات، مما يؤدي إلى حالة التوازن.
• التماثل العكسي (Anti-Symmetry): يحقق الحقل الخاصية $V_{p,q}(x) = -V_{q,p}(x)$. تضمن هذه الخاصية أنه إذا تم تبديل التوزيعات، فإن اتجاه الانجراف ينعكس، مما يضمن أن $V=0$ عندما يكون $p=q$.

3. التجسيد عبر التجاذب والتنافر

تم استلهام حقل الانجراف المحدد المستخدم في الورقة من خوارزمية "الإزاحة المتوسطة" (mean-shift algorithm)، وقد تم بناؤه باستخدام عينات إيجابية من $p$ وعينات سلبية من $q$:
$$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$$
حيث أن:

• $V^+_p(x)$ هو قوة تجاذب تسحب $x$ نحو توزيع البيانات $p$.
• $V^-_q(x)$ هو قوة تنافر تدفع $x$ بعيداً عن التوزيع المولد $q$.
• يتم حساب هذه القوى باستخدام دالة نواة (kernel function) $k(x, y)$ (تحديداً نواة أسية تعتمد على مسافة $\ell_2$) ويتم تطبيعها عبر عمليات softmax لضمان الاستقرار.

4. هدف التدريب

تم اشتقاق هدف التدريب من علاقة النقطة الثابتة عند التوازن: $f(\epsilon) = f(\epsilon) + V_{p,q}(f(\epsilon))$. تقوم دالة الخسارة بتقليل المسافة بين التنبؤ الحالي والهدف "المجمد" (التنبؤ مضافاً إليه الانجراف):
$$L = \mathbb{E}_{\epsilon} \left[ \| f_\theta(\epsilon) - \text{stopgrad}(f_\theta(\epsilon) + V_{p,q}(f_\theta(\epsilon))) \|^2 \right]$$
تسمح هذه الصيغة للمُحسّن بتطوير التوزيع عن طريق تحريك العينات نحو نسخها المنجرفة. ومن الأهمية بمكان أن التدرج لا ينتشر عكسياً (backpropagate) عبر التوزيع $q$ نفسه، مما يتجنب تعقيدات الاشتقاق عبر التوزيعات.

5. فضاء السمات والتوجيه (Feature Space and Guidance)

• فضاء السمات: للتعامل مع البيانات عالية الأبعاد، يتم حساب خسارة الانجراف في فضاء السمات باستخدام مشفر ذاتي الإشراف (self-supervised encoder) مدرب مسبقاً (مثل ResNet-style MAE). يضمن هذا بقاء العينات المتشابهة دلالياً قريبة من بعضها، مما يوفر إشارات تدرج أغنى.
• التوجيه الخالي من التصنيف (Classifier-Free Guidance - CFG): يدعم الأسلوب بطبيعته تقنية CFG من خلال خلط عينات البيانات غير المشروطة في توزيع العينات السلبية أثناء التدريب، مما يسمح بتوليد قابل للتحكم عند الاستنتاج دون الحاجة لإعادة التدريب.

المساهمات الرئيسية

1. نموذج جديد: تقديم "نماذج الانجراف" (Drifting Models)، وهو إطار عمل حيث يتطور توزيع التحويل أثناء وقت التدريب، مما يلغي الحاجة إلى الاستنتاج التكراري.
2. حقل الانجراف: اقتراح آلية خسارة مبتكرة تعتمد على حقل انجراف يحقق التوازن عندما يتطابق التوزيع المولد مع توزيع البيانات، محكوماً بالتجاذب نحو البيانات والتنافر من التوليد الحالي.
3. توليد خطوة واحدة بمستوى رائد: إثبات أن شبكة تمر بمسار واحد (single-pass) يمكنها تحقيق أداء منافس، أو متفوق، على النماذج متعددة الخطوات القائمة على الانتشار ومطابقة التدفق.
4. المتانة تجاه انهيار النمط (Mode Collapse): تشير التجارب التجريبية إلى أن الطريقة متينة تجاه انهيار النمط؛ فإذا انهار التوزيع المولد إلى نمط واحد، فإن التجاذب من الأنماط الأخرى في البيانات يستمر في دفع الانجراف، مما يدفع التوزيع للتطور.

النتائج التجريبية

قيم المؤلفون نماذج الانجراف على ImageNet 256×256 في كل من الفضاء الكامن (latent space) وفضاء البكسل (pixel space).

• الفضاء الكامن (Latent Space): باستخدام مشفر (tokenizer) من نوع SD-VAE، حقق النموذج 1-NFE FID قدره 1.54 (باستخدام نموذج L/2 أكبر). يتفوق هذا على جميع طرق الخطوة الواحدة السابقة (مثل iMeanFlow و AdvFlow) وينافس نماذج الانتشار متعددة الخطوات (مثل SiT-XL/2 الذي حقق 2.06 FID بـ 250 خطوة).
• فضاء البكسل (Pixel Space): بدون استخدام مشفر فضاء كامن، حقق النموذج 1-NFE FID قدره 1.61، متفوقاً بشكل كبير على طرق الخطوة الواحدة السابقة في فضاء البكسل (مثل StyleGAN-XL الذي حقق 2.30 FID) ومنافساً لنماذج فضاء البكسل متعددة الخطوات.
• التحكم الروبوتي: في إعداد سياسة الانتشار (Diffusion Policy)، يطابق نموذج الانجراف أو يتجاوز أداء سياسات الانتشار متعددة الخطوات (100 NFE) في مهام معالجة روبوتية متنوعة.

الأهمية والادعاءات

تدعي الورقة أنها تفتح آفاقاً جديدة لـ النمذجة التوليدية عالية الجودة والفعالة. من خلال إعادة صياغة التدريب العصبي التكراري كآلية لتطور التوزيع، يتحدى هذا العمل ضرورة وجود صيغ SDE/ODE للمهام التوليدية.

يؤكد المؤلفون أن طريقتهم:

• تسمح بطبيعتها بـ استنتاج الخطوة الواحدة (1-NFE)، مما يقلل بشكل كبير من التكلفة الحوسبية عند التشغيل.
• لا تعتمد على استخلاص المعرفة (distillation) من نماذج متعددة الخطوات مدربة مسبقاً، بل تُدرب من الصفر.
• تقدم بديلاً متميزاً مفاهيمياً للانتشار ومطابقة التدفق، من خلال التركيز على قاعدة التحديث ($x_{i+1} = x_i + \Delta x_i$) أثناء التدريب بدلاً من الاستنتاج.

يظل المؤلفون متواضعين فيما يتعلق بالضمانات النظرية، مشيرين إلى أنه بينما ثبت أن $p=q \implies V=0$، فإن العكس ($V \to 0 \implies p \to q$) يتحقق تجريبياً وتحت افتراضات عدم تدهور محددة ولكنه ليس مضموناً لأي حقول متجهية عشوائية. وهم يرون عملهم كنقطة انطلاق لاستكشاف آليات أخرى لتطور التوزيع.