🤖 machine learning

Towards General Preference Alignment: Diffusion Models at Nash Equilibrium

تقدم هذه الورقة البحثية "تحسين تفضيل ناش للانتشار" (Diff.-NPO)، وهو إطار عمل قائم على نظرية الألعاب يُمكّن نماذج الانتشار من تحقيق محاذاة فائقة بين النص والصورة من خلال تشجيع اللعب الذاتي ضد نفسها، مما يتغلب على قيود طرق التفضيل التقليدية القائمة على نموذج برادلي-تيري.

المؤلفون الأصليون: Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً موهوباً جداً (نموذج الانتشار - Diffusion Model) يمكنه رسم صور بناءً على أوصافك. ومع ذلك، فقد تدرّب هذا الفنان على الإنترنت بأكمله، لذا فرغم مهارته، قد لا يتوافق أسلوبه دائماً مع ما تفضله أنت تحديداً. أحياناً، قد يرسم قطة تبدو وكأنها كلب، أو غروباً للشمس يبدو وكأنه حساء.

لإصلاح ذلك، نقوم عادةً بتعليم الفنان من خلال عرض أزواج من الصور عليه: "أنا أفضل هذه الصورة على تلك". وهذا ما يسمى محاذاة التفضيلات (Preference Alignment).

الطريقة القديمة: مشكلة "مسجل النقاط"

تحاول معظم الطرق الحالية (مثل DPO) تعليم الفنان عبر التظاهر بوجود "مسجل نقاط" خفي (نموذج مكافأة). هي تفترض أنه إذا كانت الصورة (أ) أفضل من (ب)، و(ب) أفضل من (ج)، فإن (أ) يجب بالضرورة أن تكون أفضل من (ج).

تجادل الورقة البحثية بأن هذا الافتراض معيب. فالذوق البشري فوضوي وأحياناً يكون دائرياً، مثل لعبة حجر-ورقة-مقص:

قد تفضل الحجر على المقص.
قد تفضل المقص على الورقة.
لكنك قد تفضل أيضاً الورقة على الحجر.

تحاول الطرق القديمة فرض هذه الاختيارات في خط مستقيم (أ > ب > ج)، وهو ما لا يستوعب تعقيد الذوق البشري الحقيقي. كما أنها تعتمد على "مسجل نقاط" يتعين على الكمبيوتر تخمين قيمته، وهو أمر قد لا يكون دقيقاً.

الطريقة الجديدة: لعبة "الشريك الملاكم" (Diff.-NPO)

يقترح المؤلفون طريقة جديدة تسمى Diff.-NPO (تحسين تفضيلات ناش للانتشار). بدلاً من تخمين درجة أو نتيجة، يحولون عملية التدريب إلى لعبة بين نسختين من الفنان:

الفنان الحالي: نسخة النموذج التي نحاول تحسينها.
الفنان السابق: نسخة النموذج من خطوة التدريب السابقة (يعمل كخصم).

كيف تعمل اللعبة:
تخيل أن الفنان الحالي والفنان السابق في حلبة ملاكمة. كلاهما يتلقى نفس الأمر (مثلاً: "ارسم قطة").

كلاهما يرسم صورة.
ينظر حكم (فاحص التفضيلات) إلى كليهما ويقرر أيهما أفضل.
يحاول الفنان الحالي الفوز بالجولة من خلال رسم صورة يفضلها الحكم على صورة الفنان السابق.
والأهم من ذلك، يجب على الفنان الحالي أن يتذكر ألا ينسى كيفية الرسم بشكل جيد بصفة عامة (البقاء قريباً من التدريب الأصلي)، وإلا فقد يبدأ في رسم أشياء غريبة وغير منطقية لمجرد الفوز في اللعبة.

هذا ما يسمى توازن ناش (Nash Equilibrium). الهدف هو الوصول إلى نقطة يصبح فيها الفنان الحالي بارعاً لدرجة أنه لا توجد استراتيجية أخرى يمكنها هزيمته باستمرار. إنها حلقة "لعب ذاتي" حيث يقاتل النموذج نفسه ليصبح أفضل، بدلاً من مجرد محاولة إرضاء درجة ثابتة.

"نقطة التوازن المثالية"

تقدم الورقة البحثية "مقبضاً" خاصاً (نسبة رياضية تسمى $\tau/\eta$ ) يتحكم في كيفية لعب اللعبة:

تدوير المقبض في اتجاه واحد: يحاول الفنان فقط التغلب على "الفنان السابق". هذا يشبه اللعب الذاتي الخالص؛ فهو هجومي ويتعلم بسرعة، لكن الفنان قد يخرج عن المسار الصحيح وينسى رسم الأشياء الطبيعية.
تدوير المقبض في الاتجاه الآخر: يحاول الفنان فقط التغلب على "الفنان المرجعي" (نسخة أصلية ثابتة). هذا آمن ومستقر، لكن الفنان قد يعلق ولا يتحسن كثيراً لأن الهدف سهل للغاية أو جامد جداً.
نقطة التوازن المثالية: تجد طريقة Diff.-NPO الحل الوسط المثالي. فهي تستخدم الفنان السابق للدفع نحو التحسن (التعلم عبر الإنترنت/المباشر) وتستخدم الفنان المرجعي لإبقاء النموذج متزناً (الاستقرار).

ماذا حدث عندما جربوا ذلك؟

اختبر الباحثون هذه الطريقة على مولدات الصور الشهيرة (Stable Diffusion 1.5 و SDXL) باستخدام مجموعة بيانات ضخمة من التفضيلات البشرية تسمى Pick-a-Pic.

النتيجة: تفوقت طريقة Diff.-NPO باستمرار على الطرق القديمة.
الدليل: عندما وضعوا النموذج الجديد في مواجهة النماذج القديمة، فاز نموذج Diff.-NPO في معظم المرات. لقد أنتج صوراً نالت إعجاب البشر (والقضاة الآليين) بشكل أكبر.
الجودة البصرية: في المقارنات جنباً إلى جنب، كانت صور Diff.-NPO أكثر واقعية، وتتبع الأوامر بشكل أفضل، وتبدو أكثر تماسكاً من الصور التي أنتجتها الطرق الأقدم.

الملخص

ببساطة، تقول الورقة البحثية: "توقفوا عن محاولة حساب درجة مثالية لما يحبه البشر، لأن الذوق البشري معقد للغاية بالنسبة لذلك. بدلاً من ذلك، دعوا الذكاء الاصطناي يلعب لعبة ضد ماضيه، مع وجود شبكة أمان لمنعه من الجنون. هذا النهج القائم على 'الملاكمة' يخلق فناناً أفضل وأكثر انسجاماً".

ملخص تقني: نحو محاذاة التفضيلات العامة: نماذج الانتشار عند توازن ناش

بيان المشكلة

أصبح التعلم المعزز من التغذية الراجعة البشرية (RLHF)، ومتغيره عالي الكفاءة الحسابية، تحسين التفضيلات المباشرة (DPO)، معيارًا لمحاذاة نماذج الانتشار (Diffusion Models) من نوع (Text-to-Image) مع التفضيلات البشرية. ومع ذلك، فإن طرق التفضيل الحالية لمحاذاة الانتشار ترث إلى حد كبير نموذج RLHF، حيث تعتمد على إشارات مكافأة ضمنية مستحثة بواسطة نموذج برادلي-تي (BT). يجادل المؤلفون بأن افتراض التعدي في نموذج BT (إذا كان أ > ب و ب > ج، فإن أ > ج) يفشل في استيعاب التعقيد الكامل للتفضيلات البشرية، والتي يمكن أن تكون غير متعدية (مثل دورات حجر-ورقة-مقص). علاوة على ذلك، تقوم الطرق الحالية بتحويل التفضيلات البشرية إلى دالة مستحثة بالمكافأة قبل عملية التحسين، بدلاً من نمذجة علاقة التفضيل مباشرة. تفترض هذه الورقة أن منظور نظرية الألعاب، وتحديدًا تعلم ناش من التغذية الرجعية البشرية (NLHF)، يوفر إطار عمل أكثر قوة لمحاذاة نماذج الانتشار يتجنب افتراضات التعدي المقيدة لنموذج BT.

المنهجية: تحسين تفضيل ناش للانتشار (Diff.-NPO)

يقترح المؤلفون إطار عمل Diff.-NPO، وهو إطار عام لتحسين التفضيلات مشتق من منظور توازن ناش. بدلاً من تعظيم احتمالية مستحثة بنموذج BT، يصيغ Diff.-NPO المحاذاة كعبة صفرية المجموع بين لاعبين: السياسة الحالية ( $\pi$ ) والسياسة السابقة ( $\pi_{prev}$ )، مع تنظيم بواسطة سياسة مرجعية ( $\pi_{ref}$ ).

الإطار الجوهري

الصياغة القائمة على نظرية الألعاب: يتم تعريف الهدف كإستراتيجية minimax حيث يحاول "اللاعب الأقصى" (السياسة الحالية) توليد عينات مفضلة على تلك الناتجة عن "اللاعب الأدنى" (السياسة السابقة)، بينما يتم تنظيم كليهما للبقاء قريبين من سياسة مرجعية ( $\pi_{ref}$ ) لمنع الانحراف التوزيعي.
النزول المرآتي عبر الإنترنت (Online Mirror Descent - OMD): لضمان ديناميكيات تعلم مستقرة وتجنب عدم استقرار تحديثات الاستجابة المثلى الجشعة، تستخدم الطريقة "النزول المرآتي المتفائل" مع تنظيم الإنتروبيا (Hedge). يؤدي هذا إلى هدف لعب ذاتي حيث يكون تحديث السياسة هو أفضل استجابة للسياسة السابقة، مقيدًا بالسياسة المرجعية.
اشتقاق دالة الخسارة:
- تقوم الطريقة برفع التفضيلات على مستوى الصورة إلى فضاء المسار العكسي.
- تشتق خسارة لوجستية زوجية بناءً على النسب اللوغاريتمية لاحتمالات المسار.
- دالة الهدف النهائية، $L_{Diff.-NPO}$ ، تقارن السياسة الحالية ( $p_\theta$ ) بالسياسة المرجعية ( $p_{ref}$ ) والسياسة السابقة ( $p_{prev}$ ).
- تُصاغ الخسارة كالتالي:
  $L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$
  حيث تمثل حدود $\delta$ الفرق في المكافآت الضمنية (أخطاء التنبؤ بالضجيج) بين العينات المفضلة ( $x^+$ ) والعينات المرفوضة ( $x^-$ ).
- يتحكم المعامل الفائق $\gamma = \tau/\eta$ في الاستيفاء بين السياسة المرجعية (أسلوب DPO، حيث $\gamma=1$ ) والسياسة السابقة (اللعب الذاتي النقي، حيث $\gamma=0$ ).

التمايز الجوهري عن الطرق الموجودة

مقابل Diffusion-DPO: بينما يعد Diffusion-DPO غير متصل (offline) ويقارن السياسة الحالية فقط بالمرجع الثابت، فإن Diff.-NPO هو بطبيعته متصل (online) وموجه نحو اللعب الذاتي، حيث يقيم التحديثات مقابل العينات المولدة من السياسة الحالية/السابقة.
مقابل INPO (تحسين سياسة ناش التكراري): بخلاف INPO، التي تستخدم خسارة المربعات المبررة بافتراضات سكانية معينة قد لا تتحقق في عمليات التصنيف القائمة على "الأوراكل" (المرجع الموثوق) العملية، يستخدم Diff.-NNPO خسارة لوجستية زوجية. ويُقال إن هذا أكثر استقرارًا عندما تكون أزواج التفضيلات مرتبة بشكل حتمي بواسطة "أوراكل" (تصنيف العينات المولدة) بدلاً من أخذ عينات من توزيع تفضيل احتمالي.

المساهمات الرئيسية

الأساس النظري: تجسر الورقة الفجوة بين تعلم ناش من التغذية الراجعة البشرية (NLHF) ومحاذاة نماذج الانتشار، من خلال صياغة محاذاة الانتشار كلعبة تفضيل عامة تتجنب افتراض برادلي-تي.
اقتراح خوارزمية: تقديم Diff.-NPO، وهي خوارزمية جديدة لتحسين التفضيلات عبر الإنترنت (on-policy). وهي توحد معايير DPO ونماذج اللعب الذاتي ضمن صياغة واحدة، حيث يقوم معامل التنظيم بالاستيفاء بين هذه الأنظمة.
نمذجة الافتراضات الصريحة: تجعل الإطار الافتراضات الكامنة وراء تحسين التفضيلات صريحة، حيث تفسر الهدف كملائمة لتوزيع مستهدف مبني من السياسة المرجعية، والسياسة السابقة، وإشارة التفضيل.
التحقق التجريبي: أظهرت التجارب المكثفة على Stable Diffusion 1.5 (SD1.5) و SDXL باستخدام مجموعات بيانات Pick-a-Pic و Parti-Prompts و HPSV2 فعالية الطريقة.

النتائج التجريبية

قيم المؤلفون Diff.-NPO مقابل خطوط الأساس بما في ذلك Online-SFT، و Online-DPO، و SPIN، و Seppo.

معدلات الفوز: حقق Diff.-NPO باستمرار أعلى متوسط لمعدلات الفوز عبر جميع مجموعات التقييم (Pick-a-Pic، Parti-Prompts، HPSV2) لكل من SD1.5 و SDXL.
- في نموذج SDXL مع Parti-Prompts، حسن Diff.-NPO معدل فوز ImageReward بنسبة 8.6% ومعدل فوز Aesthetic Score بنسبة 10.8% مقارنة بـ Online-Diff-DPO.
- تفوق أيضًا على Online-DPO في Pick-a-Pic و HPSV2.
المقاييس التلقائية: أظهرت الطريقة أداءً فائقًا في المقاييس التلقائية (PickScore، HPSV2، CLIP، ImageReward، Aesthetic Score) مقارنة بخطوط الأساس.
دراسات الاستئصال (Ablation Studies):
- نسبة $\tau/\eta$ : أكدت الدراسة أن القيمة المتوسطة (تحديدًا $\tau/\eta = 1/2$ ) تعطي أفضل أداء، مما يؤكد فرضية أن الاعتماد فقط على السياسة المرجعية (DPO) أو فقط على السياسة السابقة (اللعب الذاتي النقي) هو أمر غير مثالي.
- دالة الخسارة: أدى استبدال هدف اللوجستيك الزوجي بهدف مسافة المربعات (كما في INPO) إلى انخفاض كبير في الأداء، مما يدعم اختيار الخسارة اللوجستية للتصنيفات الحتمية للأوراكل.
التحليل النوعي: أشارت المقارنات النوعية إلى أن Diff.-NPO ينتج صورًا ذات محاذاة دلالية أفضل، وصحة تشريحية (مثل صور الجسم الكامل)، وتماسك بصري مقارنة بخطوط الأساس.

الأهمية والادعاءات

تدعي الورقة أن Diff.-NPO يوفر نهجًا بسيطًا ومستقرًا لمحاذاة الانتشار عبر الإنترنت من خلال التحسين المباشر لاحتمالات التفضيل النسبية عبر هدف بأسلوب اللعب الذاتي مع تنظيم السياسة المرجعية.

يؤكد المؤلفون أن التعلم عبر الإنترنت بنمط "ناش" هو بديل واعد للصياغات القائمة على المكافأة لمحاذاة نماذج الانتشار. ومن خلال الابتعاد عن افتراضات التعدي لنموذج برادلي-تي، تقدم الطريقة منظورًا أكثر عمومية لمحاذاة التفضيلات. يضع هذا العمل أساسًا لأبحاث مستقبلية حول التعلم بنمط "ناش" لنماذج الانتشار، موضحًا أن توحيد DPO واللعب الذاتي من خلال عدسة نظرية الألعاب يمكن أن يؤدي إلى جودة محاذاة فائقة.

تشير الورقة بتواضع إلى وجود قيد: يعتمد بناء التفضيل الحالي على متوسط ترتيب لخمسة نماذج تسجيل، ويمكن أن يوفر دمج مجموعة أوسع من نماذج التسجيل إشارة أكثر شمولاً. ومن المخطط مستقبلاً توسيع الإطار ليشمل استراتيجيات جمع بيانات أقوى عبر الإنترنت ومهام توليد وتحرير انتشار أوسع.