ملخص تقني: التصميم العكسي لمطابقة التوزيع الشرطي

1. صياغة المشكلة

أثبتت النماذج التوليدية مكانتها كأدوات قوية لأخذ عينات من التوزيعات المتعلمة $P(Y | X)$ وللتصميم العكسي، حيث يكون الهدف هو إيجاد مدخل $x$ ينتج مخرجاً نقطياً محددًا $y^*$. ومع ذلك، فإن العديد من أهداف التصميم هي في جوهرها توزيعية وليست نقطية. على سبيل المثال، قد يسعى المصمم إلى تسلسل أحماض أمينية $x$ بحيث يتوافق توزيع بنية البروتين الناتج $P(\text{structure} | X=x)$ مع خليط معين من الطيات (folds)، أو خط إنتاج توليدي ينتج مخرجات متوازنة عبر المجموعات الديموغرافية.

تقتصر طرق التصميم العكسي القياسية على الأهداف النقطية ولا يمكنها التعبير عن الأهداف التي يكون فيها المخرج المنشود عبارة عن توزيع فوق المخرجات. تقدم هذه الورقة مطابقة التوزيع الشرطي (CDM)، وهي فئة جديدة من المشكلات في النمذجة التوليدية. بالنظر إلى توزيع مشترك $P(X, Y)$ وتوزيع مستهدف $G(Y)$، فإن الهدف هو إيجاد مدخل $x^*$ بحيث يطابق التوزيع الشرطي المستحث $P(Y | X = x^*)$ التوزيع $G$.

صاغ المؤلفون نوعين من هذه المشكلة:

1. أخذ عينات مطابقة التوزيع الشرطي (CDMS): إيجاد عينة من توزيع مائل $Q_\beta(x) \propto P(x) e^{-\beta L(x)}$، حيث $L(x) = \|P(Y | X=x) - G(Y)\|$ هو المسافة التوزيعية.
2. تحسين مطابقة التوزيع الشرطي (CDMO): إيجاد المدخل $x^*$ الذي يقلل المسافة $L(x)$ (وهو الحد عند $\beta \to \infty$).

من المهم أن هذا الإعداد يفترض أن خط الإنتاج التوليدي (النموذج الشرطي $P(Y|X)$) مجمد ولا يمكن تعديله؛ والرافعة الوحيدة المتاحة هي المدخل $x$.

2. المنهجية: MLGD-F

لحل هذه المشكلات، يقترح المؤلفون MLGD-F (الانتشار الموجه بخسارة المطابقة مع عينة داخلية سريعة). وهي خوارزمية "وصل وشغل" (plug-and-play) تعمل في وقت الاستدلال ولا تتطلب أي تدريب إضافي أو ضبط دقيق للنماذج التوليدية.

البنية الأساسية

تجمع MLGD-F بين مكونين مدربين مسبقاً:

1. نموذج انتشار قائم على الدرجة (Score-Based Diffusion Model) ($s_\theta$): يمثل التوزيع المسبق الهامشي $P(X)$.
2. عينة شرطية سريعة ($f_\phi$): تمثل التوزيع الشرطي $P(Y | X)$. ومن الضروري أن يكون هذا العينة نموذجاً "متعدد الخطوات القليلة" (few-step model) (على سبيل المثال، نموذج اتساق أو نموذج انتشار مكرر مثل SDXL-Turbo) قادراً على توليد عينات في خطوة واحدة أو خطوات قليلة جداً.

سير العمل الخوارمازمي

تعمل الطريقة كعملية انتشار عكسي (reverse diffusion) مع مقدر داخلي متخصص:

• الحلقة الخارجية: تقوم بخطوات الانتشار العكسي لتوليد $x$. في كل خطوة $t$، تحسب تقدير تودي (Tweedie estimate) $\hat{x}_0$ للعينة النظيفة.
• المقدر الداخلي (الابتكار): بدلاً من استخدام دالة خسارة ثابتة، تقيم الخوارزمية الخسارة التوزيعية $L(x) = \|P(Y | X=x) - G(Y)\|$ عند كل خطوة خارجية.
  • بالنسبة لـ $x$ مستعلم عنه، يقوم العينة السريع $f_\phi$ بتوليد $n_{cond}$ من العينات من $P(Y | X=x)$.
  • يتم مقارنة هذه العينات مع مجموعة ثابتة من العينات المستهدفة $S_G \sim G$ باستخدام مقياس مسافة توزيعية (على سبيل المثال، MMD أو SWD).
  • يتم حساب تدرج هذه الخسارة بالنسبة لـ $x$ عبر التفاضل التلقائي من خلال $f_\phi$.
• التوجيه: يُضاف التدرج المحسوب $\nabla_x L(\hat{x}_0)$ إلى تحديث إزالة الضجيج (denoising update)، مما يوجه المسار نحو المدخلات التي تستحث التوزيع المستهدف.

لماذا العينات السريعة؟

استخدام عينة شرطية ذات خطوة واحدة (أو خطوات قليلة) ضروري من الناحية الحسابية. تتطلب نماذج الانتشار القياسية unrolling لـ $K^*$ خطوة (مثلاً 30-1000) لأخذ العينات. إن الرجوع عبر هذه السلسلة في كل خطوة انتشار خارجية سيؤدي إلى تكاليف ذاكرة ($\Theta(K^*)$) وأعباء حسابية باهظة. باستخدام عينة شرطية مكررة ذات خطوة واحدة ($K_s=1$)، يتم تقليل بصمة الذاكرة بعامل قدره $K^*/K_s$، مما يجعل حساب التدرج ممكناً على الأجهزة القياسية.

3. المساهمات الرئيسية

1. تعريف المشكلة: تعرف الورقة على CDM، متجاوزةً توصيف العينات بخصائصها الخاصة إلى البحث عن المدخلات التي تستحث توزيعات شرطية تطابق أهدافاً محددة.
2. الخوارزمية (MLGD-F): خوارزمية استدلال مبتكرة تتيح تحسيناً يعتمد على التدرج لمطابقة التوزيع بشكل قابل للتتبع، وذلك عبر الجمع بين نموذج انتشار مسبق وعينة شرطية سريعة وقابلة للتفاضل.
3. التحليل النظري: يقدم المؤلفون تحليلاً لمقدر الخسارة (plug-in loss estimator) ومقدر التدرج. لقد أثبتوا أن الخطأ يتفكك إلى تباين العينات المحدودة، ودقة مخرجات العينة ($\epsilon_s$)، ودقة جاكوبي ($\epsilon_g$). كما صاغوا مقايضة الذاكرة والدقة، موضحين أن تقليل عدد الخطوات الداخلية يقلل الذاكرة خطياً مع إدخال تباين محدود في التدرج.
4. التحقق التجريبي: تم التحقق من صحة الطريقة عبر ثلاثة مقاييس:
   • اصطناعي: خليط من التوزيعات الغاوسية، مما أظهر استعادة شبه مثالية وتسريعاً مقارنة بحلقات الانتشار القياسية.
   • MNIST: مهمة دوران، حيث الهدف هو إيجاد صور أرقام يتوافق توزيع زاوية دورانها مع أهداف محددة (منتظم، ثنائي المنوال، أحادي المنوال).
   • Stable Diffusion: تحرير صور واسع النطاق باستخدام SDXL و SDXL-Turbo. نجحت الطريقة في تحرير الرسومات (scribbles) لإنتاج صور متوازنة في توزيع النوع الاجتماعي، أو منحرفة في نسب النوع الاجتماعي، أو تداخلات مستمرة في النوع والعمر.

4. النتائج

• الكفاءة: في الاختبارات الاصطناعية، حققت MLGD-F تسريعاً بمقدار 11 ضعفاً مقارنة بـ MLGD القياسية (التي تستخدم عينة انتشار بطيئة) مع استعادة حلول قريبة من المثالية. في الإعدادات عالية الأبعاد، سمحت إشارة التدرج الأكثر نقاءً للنموذج ذو الخطوة الواحدة بالتفوق على النموذج الأكثر دقة ولكن الأكثر تبايناً (variance-heavy).
• قابلية التوسع في الذاكرة: في تجارب Stable Diffusion، كان استخدام عينة 30 خطوة قياسية (SDXL-Base) كحلقة داخلية سيتطلب حوالي 375 جيجابايت من ذاكرة VRAM (غير ممكن)، بينما تطلبت عينة SDXL-Turbo المكررة ذات الخطوتين 43 جيجابايت فقط.
• التحكم التوزيعي: نجحت MLGD-F في استعادة مدخلات تستحث توزيعات شرطية تطابق أهدافاً متنوعة:
  • الخلائط المنفصلة: حققت توزيعات جنسانية متوازنة (50/50) ومنحرفة (25/75) في الصور الشخصية المولدة، متفوقة على النماذج المرجعية مثل "الرسومات المتوسطة" (التي تنتج آثاراً شبحية) و SDEdit غير الموجه.
  • الأسطح الفرعية المستمرة: نجحت في التنقل عبر دعائم منخفضة الرتبة مستمرة، مثل التداخل بين السمات الأنثوية والذكورية أو تغيير العمر، مع البقاء ضمن نطاق البيانات (data manifold).

5. الأهمية والادعاءات

تدعي الورقة أن CDM تفتح اتجاهاً جديداً للتحسين فوق التوزيعات الشرطية المستحثة دون إعادة تدريب النماذج التوليدية.

• طبيعة "وصل وشغل": الميزة المركزية هي أن MLGD-F ترث تحسينات الجودة من النماذج المدربة مسبقاً تلقائياً. ومع ظهور نماذج انتشار مسبقة وعينات سريعة أفضل، ستتحسن جودة التحسين دون تغيير في الخوارزمية.
• القدرة على التوسع: يؤكد المؤلفون أن النموذج ذو الخطوات القليلة ليس مجرد وسيلة تسريع بل هو ضرورة للقدرة على التتبع. استبدال العينة ذات الخطوة الواحدة بنموذج متعدد الخطوات قياسي سيجعل الطريقة غير قابلة للتطبيق على نطاق واسع بسبب قيود الذاكرة.
• القيود: يتسم المؤلفون بالتواضع بشأن قيود الطريقة. جودة التحسين محدودة بدقة العينة الشرطية المكررة؛ فإذا كانت العينة لا تقرب التوزيع الشرطي الحقيقي بشكل جيد، فسيكون تدرج التوجيه منحازاً. علاوة على على ذلك، فإن الطبيعة العشوائية لتقدير الحلقة الداخلية غالباً ما تتطلب تشغيلات مستقلة متعددة لإيجاد حل جيد، مما يضاعف تكاليف الحوسبة. تتطلب الطريقة حالياً أن يكون النموذج الشرطي قابلاً للتفاضل من البداية إلى النهاية (end-to-end).
• الأثر الأوسع: تقر الورقة بأنه بينما يمكن للتحكم التوزيعي تقليل الانحياز (مثل فرض التوازن الديموغرافي)، يمكن لنفس الآلية نظرياً أن تُستخدم لتوجيه خطوط الإنتاج المجمدة نحو توزيعات ضارة. ومع ذلك، بما أن الطريقة تعمل على نماذج مجمدة، تظل آليات السلامة الحالية فعالة.

باختصار، يقدم هذا العمل إطاراً لـ "التصميم العكسي" حيث الهدف ليس نقطة واحدة بل توزيعاً، مما يمكّن المستخدمين من التحكم في الخصائص الإحصائية لمخرجات النماذج التوليدية من خلال تحسين المدخلات فقط.