Beyond Pairwise Preferences: Listwise Reward-Aware Alignment for Diffusion Models

ملخص تقني: Diffusion LAIR

بيان المشكلة
تعتمد طرق تحسين التفضيلات الحالية لمواءمة نماذج الانتشار (diffusion models) من نص إلى صورة، مثل Direct Preference Optimization (DPO) ومتغيراتها الخاصة بالانتشار (مثل Diffusion-DPO وDSPO)، بشكل كبير على المقارنة الثنائية (pairwise supervision). تختزل هذه الطرق بيانات التدريب إلى مقارنات ثنائية "رابح-خاسر" لكل مطالبة (prompt) معينة. ويرى المؤلفون أن هذا الاختزال يمثل عائقاً لسببين رئيسيين:

1. بنية البيانات: غالباً ما تحتوي مجموعات بيانات التفضيلات العملية (مثل Pick-a-Pic) على عدة صور مرشحة لمطالبة واحدة، مما يخلق بنية قائمة (listwise structure) طبيعية تتجاهلها الطرق الثنائية.
2. فقدان المعلومات: توفر نماذج المكافأة (reward models) الحديثة درجات مستمرة. إن اختزال هذه الدرجات إلى تسمية ثنائية واحدة يؤدي إلى إضاعة الجودة النسبية للمرشحات غير المختارة ويتجاهل حجم الفجوات في المكافأة بين العينات.
   علاوة على ذلك، فإن مناهج التعلم المعزز عبر الإنترنت (online RL) الحالية لمواءمة الانتشار مكلفة حوسبياً، وصعبة التوازي، وحساسة لانزياحات التوزيع بسبب طبيعتها القائمة على السياسة (on-policy). وبينما تعد الطرق غير المتصلة (offline) أكثر كفاءة، إلا أنها لم تستغل بشكل كامل الإشارة الأكثر ثراءً المتاحة في البيانات القائمة على القوائم والدرجات المعتمدة على المكافأة.

المنهجية: Diffusion LAIR
يقترح البحث Diffusion LAIR (Listwise Advantage-weighted Implicit Reward)، وهو منهج لتحسين التفضيلات غير المتصل (offline) يعامل المواءمة كمسألة قائمة (listwise) ومدركة للمكافأة.

• تمثيل البيانات: بدلاً من الأزواج المستقلة، تعالج هذه الطريقة مطالبة $c$ مع مجموعة من $N_c$ من الصور المرشحة $\{x^{(i)}_0\}$ وما يقابلها من درجات مكافأة مستمرة $\{r_i\}$.
• ترجيح الميزة (Advantage Weighting): يتم تحويل درجات المكافأة إلى أوزان ميزة ممركزة ($w_i$). أولاً، يتم حساب احتمال softmax $p_i$ باستخدام درجة حرارة $\tau$. بعد ذلك، يتم تمركز الأوزان مقابل خط أساس موحد:
  $$w_i = p_i - \frac{1}{N_c}$$
  يضمن هذا أن $\sum w_i = 0$، مما يخصص أوزانًا إيجابية للعينات ذات المكافأة العالية وأوزانًا سلبية للعينات ذات المكافأة المنخفضة بالنسبة لمتوسط المجموعة.
• هدف التحسين: تطبق الطريقة هدف انحدار الميزة المرجحة (advantage-weighted regression objective) على المكافأة الضمنية. تُعرف المكافأة الضمنية بأنها تحسن خسارة إزالة الضجيج (denoising-loss improvement) للنموذج الحالي ($\theta$) مقارنة بنموذج مرجعي ثابت ($ref$):
  $$s_\theta(x_0, x_t, t, c, \epsilon) = \omega(\lambda_t) (l_{ref} - l_\theta)$$
  دالة الخسارة هي:
  $$L_{LAIR} = \mathbb{E} \left[ -\sum_{i=1}^{N_c} w_i s^{(i)}_\theta + \frac{\lambda}{N_c} \sum_{i=1}^{N_c} (s^{(i)}_\theta)^2 \right]$$
  يعمل الحد الأول على تشجيع النموذج على زيادة المكافأة الضمنية للعينات ذات المكافأة العالية وتقليلها للعينات ذات المكافأة المنخفضة. أما الحد الثاني فهو عقوبة تربيعية تعمل على تنظيم مقدار المكافأة الضمنية، مما يمنع الانحراف العنيف عن النموذج المرجعي.

التحليل النظري
يقدم المؤلفون توصيفاً نظرياً للهدف:

1. الحل الأمثل ذو الصيغة المغلقة: يمتلك الهدف حلاً أمثلاً فريداً ومحدوداً في فضاء المكافأة الضمنية: $s^*_i = \frac{N_c}{2\lambda} w_i$. وهذا يوضح أن قوة التنظيم $\lambda$ تتحكم مباشرة في مقدار تحديث التفضيل.
2. حد KL البديل (Surrogate KL Bound): تحت افتراضات محددة (تقريب نسبة اللوغاريتم وتوسيع الدعم الكامل المحدود)، يشتق المؤلفون حداً لتباعد كولباك - ليبلر (KL divergence) بين التوزيع المستحث والتوزيع المرجعي: $D_{KL} \le \frac{\Delta_c}{\eta}$. يشير هذا إلى أن $\lambda$ تتحكم في حدة ميل التفضيل، مما يضمن بقاء التحديث متحفظاً.
3. التفوق على الثنائي (Pairwise): على عكس الأهداف الثنائية (مثل Bradley-Terry) التي يمكن أن تدفع المكافأة الضمنية إلى اللانهاية لتعظيم الهامش بين الرابح والخاسر، فإن صيغة LAIR القائمة على القوائم تخصص أهدافاً نهائية ونسبية بناءً على مجموعة المرشحين بأكملها، مما يحافظ على هيكل الترتيب وتباعد المكافأة.

النتائج التجريبية
تم تقييم الطريقة على Stable Diffusion 1.5 (SD1.5) و Stable Diffusion XL (SDXL) باستخدام مجموعة بيانات Pick-a-Pic v2.

• الإعداد: تم تسجيل درجات الصور خارجياً باستخدام نموذج المكافأة PickScore. تم ضبط النماذج وتقييمها في توليد النص إلى صورة (HPD, Parti-prompts)، والتوليد التركيبي (GenEval)، وتحرير الصور القائم على التعليمات (InstructPix2Pix).
• الأداء: تفوقت Diffusion LAIR على النماذج المرجعية القوية (Diffusion-DPO, DSPO, Diffusion-KTO, MaPO) في معظم المقاييس.
  • في SD1.5، حققت أعلى الدرجات في PickScore، وHPS، وAesthetics، وCLIP، وImageReward لكل من مجموعات بيانات Parti-prompt وHPD.
  • في SDXL، تفوقت أيضاً على النماذج المرجعية، بما في ذلك MaPO وDiffusion-DPO.
  • التعميم: من الملاحظ أنه رغم التدريب فقط باستخدام PickScore، فقد أظهر النموذج تحسينات كبيرة في المقاييس الأخرى (مثل ImageReward)، مما يشير إلى أن هدف القائمة يحسن جودة العينات العامة بما يتجاوز نموذج المكافأة المحدد المستخدم.
  • التركيب والتحرير: أظهرت الطريقة مكاسب متسقة في معدلات الفوز في GenEval (الاستدلال التركيبي) وInstructPix2Pix (تحرير الصور) مقارنة بالنماذج الثنائية.
• الكفاءة: كانت عملية التدريب أكثر كفاءة بشكل ملحوظ من نماذج RL عبر الإنترنت، وهي قابلة للمقارنة أو أكثر كفاءة من الطرق غير المتصلة الأخرى، حيث تطلبت حوالي 24 ساعة من معالج الرسوميات لـ SD1.5 و140 ساعة من A100 لـ SDXL.

الأهمية والادعاءات
يزعم البحث أن Diffusion LAIR تقدم اتجاهاً بسيطاً وفعالاً لمواءمة نماذج الانتشار من خلال تجاوز قيود الاختزال الثنائي. وتتمثل مساهماته الرئيسية في:

1. التعلم القائم على القوائم (Listwise Learning): هي أول طريقة تستخدم مباشرة مجموعات من الصور المسجلة بالمكافأة لتحسين تفضيلات الانتشار، مستغلة البنية الكاملة للجودة النسبية للعينات.
2. الوضوح النظري: توفر حلاً أمثلاً مغلق الصيغة ومحدوداً، مما يوفر رؤية حول كيفية تحكم التنظيم في انزياح التوزيع ومقدار التحديث.
3. التفوق التجريبي: تثبت أداءً قوياً عبر مهام التوليد، والتركيب، والتحرير، مما يثبت أن تحسين التفضيلات القائم على القوائم والمدرك للمكافأة يحقق تحسينات أوسع من الطرق الثنائية.

يشير المؤلفون إلى بعض القيود، وتحديداً الاعتماد على جودة نموذج المكافأة المستخدم للتدريب والافتراضات المثالية في حد KL النظري. ومع ذلك، يرى المؤلفون أن الطريقة قوية تجاه تسميات التفضيلات المشوبة بالضجيج الشائعة في البيانات المسجلة بشرياً.