ملخص تقني: Diff-Instruct مع المكافأة المنتشرة (Didr)

بيان المشكلة

أدت التطورات الأخيرة في مولدات تحويل النص إلى صورة (T2I) ذات الخطوة الواحدة إلى تمكين التوليد في الوقت الفعلي عبر رسم خرائط الضجيج الكامن مباشرة إلى الصور في تمريرة أمامية واحدة. ومع ذلك، فإن محاذاة هذه المولدات مع التفضيلات البشرية عبر التعلم التعزيزي (RL) يطرح تحديًا هيكليًا جوهريًا.

تجمع الطرق السابقة لـ RLHF ذي الخطوة الواحدة (مثل *Diff-Instruct و ++Diff-Instruct) بين تحسين مكافأة فضاء الصورة وتطابق توزيع فضاء الكامن. تطبق هذه الأساليب عادةً إشارات التفضيل (المكافآت) حصريًا عند نقطة النهاية للصورة النظيفة ($x_0$) بينما تفرض تنظيم كولباك - ليبلر (KL) ضد التوزيع المرجعي عبر مسار الانتشار الضجيجي بأكمله. يحدد المؤلفون عدم تطابق هيكلي حرج في هذا النموذج: حيث تعمل المكافأة فقط عند الحالة النهائية، بينما يمتد المنظم عبر جميع مستويات الضجيج.

يؤدي هذا عدم التطابق إلى نمط فشل يسمى هيمنة المكافأة الطرفية (terminal reward domination). نظرًا لأن الضجيج الأمامي يحجب التفاصيل الطبيعية للصورة بشكل طبيعي، فإن عقوبة تنظيم KL ضد تباعد النمط تضعف بشكل كبير عند مستويات الضجيج العالية. وبناءً على ذلك، تستغل المحسنات هذه الثغرة في المسار، متخلية عن التوزيع المرجعي للانهيار نحو المناطق ذات المكافأة العالية دون تكبد عقوبات KL كافية. يؤدي هذا إلى تحسين درجات المكافأة ولكن غالبًا على حساب دقة الصورة والاستقرار التوزيعي.

المنهجية: Diff-Instruct مع المكافأة المنتشرة (Didr)

لحل عدم المحاذاة هذا، يقترح المؤلفون Did-r، وهو إطار عمل للمحاذاة على مستوى المسار وخالٍ من البيانات، مشتق من تقليل التكامل لتباعد KL (Integral KL أو IKL). الجوهر يكمن في نشر توزيع الصورة النظيفة المائل نحو المكافأة والمحاذي لـ RLHF بشكل منهجي عبر جميع مستويات الضوضاء في مسار الانت diffusione.

1. الهدف المساري المبدئي

تبدأ الطريقة بتحديد هدف المحاذاة الصحيح للصور النظيفة تحت تنظيم KL لـ RLHF. التوزيع الأمثل للصورة النظيفة $q^*(x_0|c)$ هو كثافة مائلة للمكافأة:
$$q^*(x_0|c) \propto q_0(x_0|c) \exp(r(x_0, c)/\tau)$$
حيث $q_0$ هو التوزيع المرجعي، و $r$ هي دالة المكافأة، و $\tau$ هو معامل درجة الحرارة.

بدلاً من تطبيق المكافآت عند $x_0$ فقط، يقوم Didr بـ "رفع" هذا الهدف الأمثل إلى المسار الكامل عبر نشر $q^*$ عبر عملية الانتشار الأمامية المرجعية. ينتج عن ذلك عائلة من الهوامش المائلة للمكافأة $\{q^*_t\}_{t \in [0, T]}$ المعرفة عند كل مستوى ضجيج:
$$q^*_t(x_t|c) = \int q_t(x_t|x_0) q^*(x_0|c) dx_0$$
يثبت المؤلفون أن تقليل تباعد IKL بين هوامش المولد وهذه الهوامش المائلة للمكافأة يشترك في نفس المثيل لهدف KL-regularized RLHF القياسي. يضمن هذا توازن المكافأة والتنظيم عند كل مستوى ضوضاء، مما يمنع هيمنة المكافأة الطرفية.

2. درجة المكافأة المنتشرة (DRS)

من خلال اشتقاق هدف IKL، يستنتج المؤلفون دالة الدرجة المستهدفة. تنقسم الدرجة المثلى إلى مكونين:
$$s_{target} = s_{ref} + s_r$$
حيث $s_{ref}$ هي دالة الدرجة المرجعية، و $s_r$ هي درجة المكافأة المنتشرة (DRS). تعمل الـ DRS كحد تصحيحي مدفوع بالمكافأة ومحدد عند كل مستوى ضجيج:
$$s_r(x_t, t, c) = \nabla_{x_t} \log \mathbb{E}_{x_0 \sim q(x_0|x_t, c)} \left[ \exp\left(\frac{r(x_0, c)}{\tau}\right) \right]$$
على عكس توجيه المصنف (classifier guidance) (الذي يعد تقريبًا من الدرجة الأولى)، تحتفظ DRS بكامل الميل اللوغاريتمي-الأسي الكامل، حيث تنشر معلومات التفضيل فقط حيث يمكن تحديد الصورة النظيفة من الملاحظة الضوضائية.

3. وكيل المكافأة المنتشر (DRP)

بما أن DRS تتطلب توقعًا خلفيًا غير قابل للحساب $q(x_0|x_t, c)$، فقد قدم المؤلفون وكيل المكافأة المنتشر (DRP) لجعل الطريقة عملية. يقرب DRP التوقع الخلفي باستخدام سلاسل إلغاء الضجيج قصيرة الخطوات القابلة للاشتقاق من النموذج المرجعي المجمد.

• الآلية: من حالة ضوضائية $x_t$، تقوم الطريقة بتشغيل $K$ من سلاسل إلغاء الضجيج المستقلة المكونة من $S$ خطوة باستخدام النموذج المرجعي المجمد لتوليد عينات نظيفة تقريبية $\{\hat{x}^{(k)}_0\}$.
• تقدير التدرج: يتم تقريب DRS كمتوسط مرجح ببرمجية softmax لتدرجات مسار المكافأة:
  $$\hat{s}_r(x_t, t, c) = \frac{1}{\tau} \sum_{k=1}^K \omega^{(k)} \nabla_{x_t} r(\hat{x}^{(k)}_0, c)$$
  حيث تتناسب الأوزان $\omega^{(k)}$ مع $\exp(r(\hat{x}^{(k)}_0, c)/\tau)$.
• الكفاءة: يسمح هذا النهج لتدرجات المكافأة بالانتشار باستقرار عائدًا عبر المسار دون الحاجة لتخزين تنشيطات النموذج المرجعي أو طلب بيانات تدريب الصور.

4. إطار التدريب

تتأرجح عملية التدريب بين مرحلتين:

1. تحديث المساعد التعليمي (TA): يتم تدريب نموذج درجة المساعد التعليمي ($s_\psi$) عبر مطابقة درجة إزالة الضجيج (DSM) لتتبع هوامش المولد المتطورة، كبديل لدالة درجة المولد الضمنية.
2. تحديث المولد: يتم تحديث المولد ($g_\theta$) باستخدام تدرج هدف IKL، والذي يقارن درجة TA مع مجموع درجة المرجع المصححة بواسطة CFG وتقدير DRP.

المساهمات الرئيسية

1. تحديد هيمنة المكافأة الطرفية: يحدد البحث ويحلل رسميًا نمط فشل هيكلي في طرق RLHF ذات الخطوة الواحدة السابقة، حيث تستغل المحسنات مستويات الضجيج للانهيار نحو مناطق ذات مكافأة عالية، مما ينتهك توازن RLHF المنشود.
2. المحاذاة المبدئية على مستوى المسار: يقترح المؤلفون Didr، وهو إطار عمل يشتق هدفًا رياضيًا سليمًا على مستوى المسار عن طريق نشر كثافة الصورة النظيفة المائلة للمكافأة والمنتمية لـ RLHF للأمام. يضمن هذا توازن المكافأة والتنظيم عند كل مستوى ضجيج.
3. الاشتقاق التحليلي لـ DRS: يشتق البحث درجة المكافحة المنتشرة (DRS) تحليليًا، موضحًا أنها تنقسم تمامًا إلى درجة مرجعية بالإضافة إلى تصحيح ناتج عن المكافأة.
4. الوكيل العملي (DRP): يقدم المؤلفون وكيل المكافأة المنتشر (DRP)، وهو مُقدِّر خالٍ من البيانات يحسب DRS عبر إلغاء الضجيج قصير الخطوات القابل للاشتقاق، مما يتيح تدريبًا مستقرًا دون الحاجة لبيانات صور.

النتائج التجريبية

تظهر التجارب المكثفة أن Didr يتفوق باستمرار على النماذج الأساسية ذات الخطوة الواحدة:

• هيمنة باريتو (Pareto Dominance): على بنية SDXL (1024×1024)، تهيمن نسخة Didr القياسية في مقايضة PickScore–FID على جميع نماذج المحاذاة ذات الخطوة الواحدة الحالية، وتتجاوز في آن واحد نماذج متعددة الخطوات مثل FLUX-dev و SDXL-DPO على كلا المحورين.
• مقاييس التفضيل: تحقق نسخة التدريب الموسعة (Didr_longer) أعلى PickScore (23.9) بين نماذج الخطوة الواحدة التي تم تقييمها وتحسن ImageReward بنسبة 8.9% عن أقوى نموذج أساسي سابق (Diff-Instruct*). كما تتصدر في HPSv2.1 و Aesthetic Score.
• التعميم: نجح Didr في الانتقال إلى بنية Z-Image ذات 6 مليارات معلمة. في خطوة توليد واحدة، يتفوق على نموذج المعلم الخاص به المكون من 50 خطوة في مقاييس التفضيل، مما يثبت القدرة على التوسع عبر البنى المختلفة.
• التحسينات النوعية: تظهر المقارنات البصرية أن Didr ينتج تفاصيل دقيقة أكثر حدة وألوانًا أكثر طبيعية مقارنة بطرق الخطوة الواحدة السابقة، متجنبًا التشبع الزائد والآثار التصويرية (painterly artifacts) التي غالبًا ما تُرى في النماذج المحسنة بالمكافأة.

الأهمية والادعاءات

يزعم البحث أن نشر المكافأة على مستوى المسار بشكل مبدئي هو استراتيجية محاذاة فعالة تعالج عدم المحاذاة المتأصلة في طرق المكافأة عند نقطة النهاية فقط. من خلال نشر توزيع الصورة النظيفة الأمثل لـ RLHF بدقة عبر عملية الانتشار، يحقق Didr أفضل توازن بين محاذاة التفضيل ودقة الصورة بين مولدات الخطوة الواحدة.

يؤكد المؤلفون أن طريقتهم لا تتطلب أي بيانات صور للتدريب، بل تعتمد فقط على المطالبات النصية والنموذج المرجعي المجمد. إنهم يضعون Didr كحل يسمح لمولدات الخطوة الواحدة بمطابقة أو تجاوز محاذاة التفضيل لنماذج المعلم متعددة الخطوات مع الحفاظ على سرعة الاستدلال في الوقت الفعلي. يشير العمل إلى أن عدم التطابق الهيكلي الذي تم تحديده في الطرق السابقة هو قيد أساسي لا يمكن حله إلا من خلال محاذاة المسار بأكمله، وليس فقط الحالة النهائية.