ملخص تقني: Arena كعائد غير متصل (ArenaPO)

بيان المشكلة

بينما نجح التعلم المعزز من التغذية الراجعة البشرية (RLHF) في مواءمة نماذج الانتشار (Diffusion Models) من "النص إلى الصورة" (T2I) مع التفضيلات البشرية، إلا أنه يعاني من عدم الكفاءة الحسابية بسبب الحاجة إلى تدريب ونشر نموذج مكافأة صريح يتطلب استدلالاً عبر الإنترنت (Online Inference). وقد ظهرت عملية تحسين التفضيل المباشر (DPO) كبديل أكثر كفاءة من خلال الاستفادة من مجموعات البيانات الثابتة غير المتصلة (Offline Datasets) دون الحاجة لنموذج مكافأة صريح. ومع ذلك، فإن DPO القياسي محدود بـ التغذية الراجعة الثنائية (أزواج مختارة مقابل مرفوضة)، مما يؤدي إلى تحسين خشن الحبيبات (Coarse-grained). في الواقع، تختلف جودة أزواج الصور بشكل كبير؛ فاعتبار جميع الصور "المختارة" متفوقة بنفس القدر على الصور "المرفوضة" يتجاهل مقدار التفضيل. التحديد الجوهري يكمح في كيفية دمج إشارات التفضيل دقيقة الحبيبات في إطار عمل DPO الفعال دون الاعتماد على نموذج مكافأة صريح ومكلف حسابياً.

المنهجية: ArenaPO

يقترح المؤلفون ArenaPO، وهو إطار عمل يستخرج مكافآت دقيقة الحبيبات من "ساحة النماذج" (Model Arena) لتعزيز تدريب DPO. تعمل الطريقة عبر ثلاث مراحل متميزة:

1. بناء ساحة النماذج (Model Arena Construction)

بدلاً من التعامل مع الصور بشكل منعزل، يقوم المؤلفون ببناء "ساحة نماذج" حيث يكون النموذج المصدر لكل صورة بمثابة منافس.

• النمذجة الاحتمالية: اتباعاً لنظرية Thurstone's Case V، يتم نمذجة قدرة كل نموذج ليس كنقطة ثابتة بل كـ توزيع غاوسي $\theta \sim \mathcal{N}(\mu, \sigma^2)$، حيث تمثل $\mu$ المتوسط و$\sigma$ تمثل عدم اليقين.
• التحديث البايزي: تُعتبر مجموعة البيانات سلسلة من المقارنات الزوجية. ومن خلال تتبع التفضيلات الزوجية المشروحة، يتم تحديث توزيع قدرة كل نموذج بشكل تكراري باستخدام الاستدلال البايزي. تعمل العلامة الثنائية (فوز/خسارة) كدالة إمكانية لتحديث التوزيع القبلي، لتتقارب نحو توزيع بعدي (Posterior Distribution) يصف قدرة النموذج الحقيقية.

2. استدلال المتغيرات الكامنة لتقدير فجوة الجودة

لأي زوج من الصور $(y_w, y_l)$ في مجموعة البيانات، تقوم الطريقة بتقدير فجوة الجودة المطلقة دون نموذج مكافأة.

• الصياغة: تُعامل جودة الصورة كعينة واحدة مسحوبة من توزيع قدرة نموذجها المصدر. تُصاغ المشكلة كتقدير للتوقع البعدي لفارق الجودة $Q_D = Q_w - Q_l$ بناءً على الحدث الملحوظ $Q_w > Q_l$.
• التوزيع الطبيعي المبتور: بما أن الفرق بين متغيرين غاوسيين مستقلين هو أيضاً متغير غاوسي، وبما أن الملاحظة تفرض قيداً أحادي الجانب ($Q_D > 0$)، يستخدم المؤلفون خصائص التوزيع الطبيعي المبتور (Truncated Normal Distribution).
• الحل ذو الصيغة المغلقة: يتم حساب فجوة الجودة المقدرة $Q_D^*$ كالتوقع الشرطي $E[Q_D | Q_D > 0]$. تتضمن هذه القيمة كلاً من متوسط الفرق القبلي ($\mu_w - \mu_l$) وحداً تصحيحياً مشتقاً من عدم اليقين ($\sigma_w, \sigma_l$) والتفضيل الثنائي المرصود. تعمل $Q_D^*$ هذه كـ إشارة مكافأة دقيقة الحبيبات وخاصة بكل حالة.

3. تدريب DPO دقيق الحبيبات

يتم دمج فجوة الجودة المقدرة في هدف Diffusion-DPO.

• نموذج برادلي-تيري القائم على الهامش: بدلاً من فرض ترتيب ثنائي بسيط، يتم نمذجة احتمال التفضيل بهامش: $p(y_w \succ y_l) = \sigma(r(y_w) - r(y_l) - Q_D^*)$.
• دالة الخسارة: يتم تعديل خسارة DPO القياسية لتشمل $Q_D^*$ كعامل قياس (موزون بمعامل $\gamma$). هذا يشجع السياسة (Policy) ليس فقط على تعلم أي صورة هي الأفضل، بل وأيضاً مدى تفوقها، مما يطابق مقدار فجوة التفضيل.
• الكفاءة: المسار بأكمله غير متصل (Offline). يتم حساب بناء الساحة وتقدير فجوة الجودة قبل التدريب، مما لا يتطلب أي استدلال إضافي عبر الإنترنت أو تدريب نموذج مكافأة، وبالتالي يحافظ على الكفاءة الحسابية لـ DPO.

المساهمات الرئيسية

1. إطار عمل ArenaPO: اقتراح طريقة تستفيد من درجات Arena كمكافآت غير متصلة لتوفير تغذية راجعة منقحة لـ DPO، محققةً كلاً من إشارات المكافأة الغنية لـ RLHF وكفاءة DPO دون نموذج مكافأة صريح.
2. استدلال المتغيرات الكامنة: تقديم طريقة استدلال مبتكرة تعتمد على التوزيع الطبيعي المبتور لتقدير فجوات الجودة المطلقة بين أزواج الصور باستخدام توزيعات قدرة النماذج والتفضيلات الثنائية فقط.
3. التفوق التجريبي: تجارب واسعة على مجموعات بيانات Pick-a-Pic v2 و HPD v3 أظهرت أن ArenaPO يتفوق باستمرار على النماذج المرجعية الحالية (بما في ذلك Diffusion-DPO و MaPO و DSPO و SDPO) عبر مقاييس تقييم متعددة (PickScore, HPS, Aesthetic, CLIP, ImageReward).

النتائج التجريبية

قيم المؤلفون ArenaPO على Stable Diffusion 1.5 و Stable Diffusion XL باستخدام مجموعات بيانات Pick-a-Pic v2 و HPD v3.

• مكاسب الأداء: حقق ArenaPO نتائج رائدة (SOTA) عبر جميع الاختبارات المرجعية المختبرة. على سبيل المثال، في مجموعة بيانات Pick-a-Pic v2 مع Stable Diffusion 1.5، حسن ArenaPO درجة PickScore من 0.2143 (SDPO) إلى 0.2151 و ImageReward من 0.5546 إلى 0.6063.
• معدل الفوز: في المقارنات المباشرة ضد Stable Diffusion 1.5 الأصلي، حقق ArenaPO معدل فوز بنسبة 79.0%، متفوقاً بشكل كبير على متغيرات DPO الأخرى.
• دراسات الاستئصال (Ablation Studies):
  • دقيق الحبيبات مقابل الهامش الموحد: أدى استبدال $Q_D^*$ التكيفي بهامش موحد ثابت إلى أداء أقل بكثير، مما يؤكد ضرورة المكافآت التكيفية دقيقة الحبيبات.
  • القابلية للتوسع: أدى دمج ArenaPO مع طرق متقدمة أخرى (مثل DSPO) إلى تحقيق مكاسب في الأداء، مما يشير إلى أن النهج منفصل ومتوافق مع استراتيجيات التحسين الأخرى.
  • الحساسية للمعلمات الفائقة: وُجد أن معامل القياس $\gamma$ غير حساس نسبياً، مع أداء أمثل عند $1 \times 10^{-3}$.

الأهمية والادعاءات

يزعم البحث أن ArenaPO يسد الفجوة بين كفاءة DPO وثراء RLHF. من خلال نمذجة قدرات النماذج كتوزيعات واستخدام استدلال المتغيرات الكامنة، تستخرج الطريقة معلومات تفضيل دقيقة الحبيبات من مجموعات البيانات الثنائية الموجودة دون العبء المرتبط بتدريب نموذج مكافأة. يؤكد المؤلفون أن هذا النهج يؤدي إلى مواءمة أكثر فعالية، مما يسمح للنماذج بتعلم ليس فقط اتجاه التفضيل ولكن أيضاً شدة ذلك التفضيل. تُقدم الطريقة كحل عملي وقابل للتوسع لتحسين نماذج الانتشار (T2I) في التطبيقات الواقعية حيث تكون الموارد الحسابية لنمذجة المكافأة عبر الإنترنت محدودة.