ملخص تقني: نماذج المنتصف التوليدية (MGM)

بيان المشكلة

أصبحت نماذج الانتشار (Diffusion models) ونماذج التدفق (Flow models) مركزية في الذكاء الاصطناائي التوليدي، مما مكن تطبيقات في توليد الصور والفيديو والصوت. ومع ذلك، فإن العائق الرئيسي أمام النشر العملي هو سرعة الاستدلال؛ حيث تتطلب نماذج الانتشار القياسية مئات أو آلاف عمليات تقييم الدالة (NFE) لتوليد عينات عالية الجودة. وبينما توجد عدة مقاربات لتسريع التوليد — مثل تطوير حلول عددية أفضل، أو تقطير (distilling) النماذج سابقة التدريب إلى مولدات ذات خطوة واحدة، أو تدريب نماذج الخطوة الواحدة من الصفر باستخدام الخصائص الهيكلية للانتشار — لا تزال هناك حاجة إلى طرق منهجية وفعالة لتدريب مولدات الخطوة الواحدة مباشرة من البيانات دون الاعتماد على نموذج "معلم" (teacher) مُدرب مسبقاً.

المنهجية

يقدم البحث نماذج المنتصف التوليدية (MGM)، وهو إطار عمل لتدريب نماذج توليدية ذات خطوة واحدة بناءً على خاصية تناظر محددة في مطابقة التدفق (Flow Matching) مع الاستيفاء الخطي (linear interpolation).

الرؤية الجوهرية: تناظر المنتصف

لاحظ المؤلفون أنه في مطابقة التدفق، عند الاستيفاء بين توزيعين نهائيين متطابقين ($p_0 = p_1$) باستخدام مسار خطي $X_t = (1-t)X_0 + tX_1$، فإن حقل السرعة $v_t(x)$ يتلاشى تماماً عند زمن المنتصف $t=1/2$. وتحديداً، $v_{1/2}(x) = \mathbb{E}[X_1 - X_0 | X_{1/2} = x] = 0$. وعلى العكس من ذلك، إذا كان $p_0 \neq p_1$، فإن هذا الحقل يكون غير صفري بشكل عام. تسمح هذه الخاصية لاستخدام معيار (norm) حقل السرعة عند المنتصف كمقياس للتفاوت بين التوزيعات.

تباعد المنتصف (Midpoint Divergence)

لتأطير ذلك رسمياً، عرّف المؤلفون تباعد المنتصف:
$$D_{\text{mid}}(p_0, p_1) := \mathbb{E}_{X_{1/2}} \left[ \| \mathbb{E}_{X_0, X_1}[X_1 - X_0 | X_{1/2}] \|_2^2 \right]$$
وقد أثبتوا أن هذا التباعد محدد (definite): فهو غير سالب ويساوي صفراً إذا وفقط إذا كان $p_0 = p_1$.

التوسع لما وراء المنتصف

إن التوسيع الساذج لهذا المفهوم ليشمل جميع الخطوات الزمنية $t \in [0, 1]$ يفشل لأن حقل السرعة يكون غير صفري في الأوقات غير وقت المنتصف حتى عندما تكون $p_0 = p_1$، وذلك بسبب انحياز اتجاهي متأصل (من الأسهل إعادة بناء الطرف "الماضي" مقارنة بالطرف "المستقبلي"). ولحل هذه المشكلة، يقدم MGM استيفاءات مقلوبة عشوائياً:

1. يحدد متغير برنولي $B \sim \text{Bernoulli}(1/2)$ ما إذا كان الاستيفاء يسير للأمام ($X_t$) أو للخلف ($X_{1-t}$).
2. المتغير الملحوظ هو المتغير المقلوب $\tilde{X}_t$، لكن عملية القلب $B$ غير ملحوظة.
3. يضمن هذا التناظر (symmetrization) أنه لأي $t$، إذا كانت $p_0 = p_1$، فإن حقل الإزاحة الشرطي $\tilde{v}_t(x) = \mathbb{E}[X_1 - X_0 | \tilde{X}_t = x]$ يتلاشى.

يؤدي هذا إلى تباعد المنتصف المتكامل زمنياً، والذي يتم تعريفه عبر تكامل مربع معيار حقل الإزاحة المتناظر هذا عبر $t \in [0, 1/2]$.

التعميم على المستدخلات العشوائية (Stochastic Interpolants)

تم تعميم الإطار بشكل أكبر على المستدخلات العشوائية المتناظرة من الشكل $X_t = I_t(X_0, X_1) + \sigma_t \epsilon$، حيث تحقق دالة الاستيفاء $I_t$ وجدول الضجيج $\sigma_t$ شروط التناظر ($I_t(x_0, x_1) = I_{1-t}(x_1, x_0)$ و $\sigma_t = \sigma_{1-t}$). ينتج عن ذلك تباعد منتصف معمّم يظل مقياس تباعد صالحاً.

هدف التدريب التغايري (Variational Training Objective)

إن تقليل التباعد مباشرة أمر مستعصٍ لأن حقل الإزاحة الشرطي الحقيقي غير معروف. لذا اشتق المؤلفون صياغة تغايرية:
$$D(p_\theta, p_{\text{data}}) = \max_{f} \int_0^{1/2} \mathbb{E} \left[ 2\langle f(\tilde{X}_t), X_1 - X_0 \rangle - \|f(\tilde{X}_t)\|_2^2 \right] dt$$
حيث $f$ هي دالة متجهة قابلة للتعلم (حقل إزاحة أو ناقد/critic). يؤدي هذا إلى هدف "مينيمكس" (minimax):

1. تحديث $f_\psi$ (الناقد): الانحدار نحو $f_\psi$ لتقريب حقل الإزاحة المتناظر $X_1 - X_0$.
2. تحديث $G_\theta$ (المولد): تقليل الهدف التغايري باستخدام $f_\psi$ الثابت.

يقوم المولد $G_\theta$ برسم خريطة من التوزيع القبلي الكامن $z$ إلى $X_0$، والتي يتم بعد ذلك إقرانها بالبيانات الحقيقية $X_1$ لحساب الخسارة.

المساهمات الرئيسية

1. تباعد المنتصف: تقديم تباعد توزيعي جديد مشتق من تناظر المنتصف في مطابقة التدفق ذات الاستيفاء الخطي. أثبت المؤلفون أنه محدد (يتلاشى فقط إذا كانت التوزيعات متساوية).
2. التناظر عبر قلب الزمن: توسيع التباعد ليشمل جميع الخطوات الزمنية عبر قلب الزمن العشوائي، مما يزيل انحياز الاتجاه ويمكّن من استخدام أهداف متكاملة زمنياً.
3. تباعد المنتصف المعمم: تعميم المفهوم على المستدخلات العشوائية المتناظرة، مما يوفر إطار عمل مرناً لمختلف جداول الضجيج.
4. خوارزمية MGM: إطار عمل تدريبي عملي لمولدات الخطوة الواحدة التي:
   • تُدرب مباشرة من البيانات دون الحاجة لنموذج انتشار/تدفق مُدرب مسبقاً كمعلم.
   • تستخدم حقل إزاحة متعلم لتقريب التباعد.
   • تحقق أداءً تنافسياً مقابل طرق الخطوة الواحدة الموجودة.

النتائج التجريبية

قيم المؤلفون MGM على توليد صور CIFAR-10 (32x32) غير مشروطة، مسجلين مسافة فريه (Frechet Inception Distance - FID) لأخذ عينات بـ 1-NFE.

• الأداء: حقق MGM مسافة FID قدرها 2.27، وهي أفضل نتيجة بين الطرق التي لا تستخدم إشارة تدريب من نموذج معلم (أي الطرق التي تُدرب من الصفر دون تقطير نموذج مُدرب مسبقاً). وقد تفوق على النهج الأخرى الخالية من المعلم مثل DiffRatio-DiJS (2.39) و iCT-deep (2.51).
• دراسات الاستئصال (Ablation Studies):
  • التكامل الزمني: استخدام المنتصف فقط ($t=1/2$) ينتج عينات صالحة ولكنها أكثر ضجيجاً (FID ~13.55 مع ضجيج الناقد)، بينما يحسن التكامل عبر الزمن الجودة بشكل كبير (FID 2.27).
  • القلب العشوائي: فشل الهدف المتكامل زمنياً البديهي غير المقلوب (FID > 100) بسبب انحياز الاتجاه، مما يؤكد ضرورة القلب العشوائي.
  • العشوائية: وجود قدر ضئيل من الضجيج في المستدخل ($\sigma > 0$) أمر بالغ الأهمية لاستقرار التدريب؛ حيث تؤدي الجسور الحتمية (deterministic bridges) إلى نتائج ضعيفة.
  • عشوائية الناقد: يؤدي فصل مستويات الضجيج للمولد والناقد (باستخدام الضجيج للناقد فقط) إلى أفضل النتائج.

الأهمية والادعاءات

يزعم البحث أن MGM يقدم نهجاً فعالاً ومؤسساً نظرياً للنمذجة التوليدية. وتكمن أهميته في:

• الأساس النظري: يعيد صياغة المستدخلات العشوائية المتناظرة ليس فقط كمسارات توليدية، بل كأساس لمقارنة توزيعات الأطراف عبر تباعد محدد.
• نموذج التدريب: يوفر طريقة منهجية لتدريب مولدات الخطوة الواحدة مباشرة من البيانات، متجنباً تعقيد وقيود تقطير النماذج المُدربة مسبقاً.
• التنافسية: يثبت أن طريقة تعتمد على هذا التناظر المحدد يمكنها تحقيق نتائج رائدة بين مولدات الخطوة الواحدة الخالية من المعلم، مما يتحدى فكرة أن التقطير ضروري تماماً للحصول على توليد سريع وعالي الجودة.

يقر المؤلفون بالقيود، مشيرين إلى أن تدريب "مينيمكس" قد يؤدي إلى عدم استقرار في التحسين مشابه لما يحدث في شبكات GAN، وأن الأداء يعتمد على الاختيارات التصميمية مثل جدول الضجيج ونوع المستدخل. هم لا يدعون التفوق على جميع طرق التقطير القائمة على المعلم (مثل CTM التي حققت 1.87 FID)، بل يضعون MGM كأفضل بديل للتدريب من الصفر.