ملخص تقني: DeDPO: تحسين التفضيل المباشر غير المنحاز لنماذج الانتشار (Diffusion Models)

1. بيان المشكلة

أصبح تحسين التفضيل المباشر (Direct Preference Optimization - DPO) طريقة معيارية لمحاذاة نماذج الانتشار مع التفضيلات البشرية، حيث يوفر بديلاً فعالاً لتعلم التعزيز من التعليقات البشرية (RLHF) عبر إلغاء الحاجة إلى نموذج مكافأة منفصل. ومع ذلك، يواجه DPO عقبة حرجة في القابلية للتوسع: فهو يعتمد على تسميات تفضيل بشرية عالية الجودة وواسعة النطاق، والتي يصعب الحصول عليها نظراً لتكلفتها الباهظة والوقت الطويل الذي تستغرقه.

غالباً ما تفشل المحاولات الأخيرة لمعالجة ذلك باستخدام التفضيلات الاصطناعية (التي تولدها نماذج الذكاء الاصطناعي) لأن هذه التسميات الاصطناعية قد تكون مشوبة بالضجيج، أو غير متسقة مع الحكم البشري الحقيقي، أو تسبب انحيازاً منهجياً. ويؤدي التدريب مباشرة على مثل هذه التغذية الراجعة غير المثالية إلى محاذاة غير مستقرة وتدهور في الأداء. التحدي الجوهري يكمن في كيفية الاستفادة من كميات كبيرة من البيانات الاصطناعية منخفضة التكلفة مع تصحيح الضجيج والانحياز المتأصل فيها، باستخدام مجموعة صغيرة فقط من التسميات البشرية عالية الجودة.

2. المنهجية: DeDPO (تحسين التفضيل المباشر غير المنحاز)

يقترح المؤلفون DeDPO، وهو إطار عمل شبه مُشرف يدمج تقنية تقدير غير منحازة من الاستدلال السببي (Causal Inference) في هدف DPO. يعمل هذا الأسلوب في بيئة تتكون من مجموعة صغيرة من البيانات المصنفة بتفضيلات بشرية حقيقية، ومجموعة أكبر مصنفة بتفضيلات اصطناعية ناتجة عن تعليقات ذكاء اصطناعي منخفضة التكلفة (مثل نماذج الرؤية واللغة أو التدريب الذاتي).

2.1. إعادة صياغة DPO كمسألة تصنيف ثنائي

أعاد المؤلفون أولاً تفسير خسارة Diffusion-DPO القياسية كمسألة تصنيف ثنائي. بالنسبة لزوج من الصور $(x_0, x_1)$ والمطالبة $c$، تشير تسمية التفضيل $z$ إلى الصورة المفضلة. تمت إعادة كتابة خسارة DPO كخسارة "الإنتروبيا المتقاطعة الثنائية" (Binary Cross-Entropy Loss) $L(G_\theta(y), z)$، حيث $G_\theta$ هو متنبئ الهامش الضمني للنموذج.

2.2. دالة الخسارة غير المنحازة (Debiased Loss Function)

في النهج شبه المُشرف البدائي، قد يتم ببساطة استبدال التسميات البشرية المفقودة بتسميات اصطناعية $\hat{G}(y)$، مما يؤدي إلى مُقدّر انحدار النتيجة (Outcome Regression) منحاز. بدلاً من ذلك، يقترح DeDPO خسارة غير منحازة (المعادلة 8) تجمع بين البيانات المصنفة وغير المصنفة:

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

حيث أن:

• $n_l$ و $n_u$ هما عدد العينات المصنفة وغير المصنفة.
• $z_l$ هي التسمية البشرية الحقيقية.
• $\hat{G}(y)$ هي التسمية الاصطناعية.

آلية التصحيح:

• البيانات غير المصنفة: تستخدم الخسارة التسميات الزائفة الاصطناعية $\hat{G}(y)$ مباشرة كإشارة إشراف.
• البيانات المصنفة: تُدخل الخسارة حداً تصحيحياً $(z_l - \hat{G}(y_l))$ يعمل على إزاحة التسمية الزائفة نحو التسمية البشرية الحقيقية. يتم تضخيم هذا التصحيح بواسطة وزن الأهمية $\frac{n_l + n_u}{n_l}$، والذي يعكس ندرة البيانات المصنفة.
• الخصائص النظرية:
  1. عدم الانحياز (Unbiasedness): يتساوى توقع خسارة DeDPO مع خسارة DPO على مستوى المجتمع، بغض النظر عما إذا كانت التسميات الاصطناعية صحيحة أم لا. إذا كانت التسميات الاصطناعية مثالية، فإنه يستخدم جميع البيانات؛ وإذا كانت خاطئة تماماً، فإنه يعود تقاربياً لاستخدام البيانات المصنفة فقط.
  2. المتانة تجاه تقارب النموذج الاصطناعي: أثبت المؤلفون أن نموذج الانتشار المستهدف $\theta$ يمكنه تحقيق معدلات تقارب مثالية حتى لو تقارب نموذج التفضيل الاصطناعي $\hat{G}$ بمعدل أبطأ بكثير (تحديداً، يعتمد حد الخطأ على القوة الرابعة لخطأ النموذج الاصطناعي). وهذا يسمح للنظام بأن يكون متيناً حتى عندما يكون المقيّم الاصطناعي غير مثالي.

2.3. مصادر التفضيل الاصطناعي

يدعم إطار العمل مصدرين رئيسيين للتسميات الاصطناعية:

1. التدريب الذاتي (Self-Training): استخدام هامش المكافأة الضمني للسياسة الحالية $\theta$ (من الدورات السابقة) لتوليد التسميات. يشير المؤلفون إلى أنه لتجنب الإفراط في التخصيص (Overfitting)، يجب تدريب النموذج الاصطناعي بشكل مثالي على بيانات مستقلة عن مجموعة تدريب DPO.
2. نماذج الرؤية واللغة المدربة مسبقاً (VLMs): استخدام نماذج مثل Qwen أو CLIP لتسمية أزواج الصور. هذا هو المفضل في سياق الورقة لتجنب انتهاك الاستقلالية المتأصل في التدريب الذاتي على نفس البيانات المصنفة.

3. المساهمات الرئيسية

• التقدير غير المنحاز للانتشار: تقدم الورقة أول تطبيق لتقنيات التقدير غير المنحاز من الاستدلال السببي لمشكلة تحسين التفضيل في نماذج الانتشار.
• المحاذاة شبه المُشرفة: تؤسس إطار عمل متيناً لمحاذاة نماذج الانتشار باستخدام جزء صغير من التسميات البشرية (مثلاً 25%) مدعوماً بمتن ضخم من التسميات الاصطناعية، دون الحاجة إلى نموذج مكافأة منفصل.
• الضمانات النظرية: يقدم المؤلفون براهين نظرية تثبت أن الخسارة المقترحة غير منحازة وأن عملية التعلم متينة تجاه أخطاء نموذج التفضيل الاصطناعي، بشرط أن يتم تدريب النموذج الاصطناعي على بيانات مستقلة.

4. النتائج التجريبية

قيم المؤلفون DeDPO على مجموعات بيانات FiFA-5K و HPDv2 باستخدام هياكل SD1.5 و SDXL.

• الأداء مقابل DPO الخاضع للإشراف الكامل: حقق DeDPO المدرب بـ 25% من التسميات البشرية و75% من التسميات الاصطناعية أداءً يماثل أو يتجاوز قليلاً أداء DPO المدرب على 100% من التسمات البشرية.
  • في FiFA-5K مع SD1.5، حقق DeDPO درجة PickScore بلغت 21.91 و HPSv2 بلغت 27.80، متفوقاً على خط الأساس لـ DPO الخاضع للإشراف الكامل (21.88 PS، 27.79 HPSv2).
  • في SDXL، طابق DeDPO أداء الإشراف الكامل (22.83 PS مقابل 22.84 PS).
• المتانة تجاه الضجيج: في المقابل، أظهر النهج البدائي لخلط التسميات الاصطناعية مع DPO (بدون إزالة الانحياز) أداءً ضعيفاً باستمرار، مما يوضح أن مجرد إضافة البيانات الاصطناعية يمكن أن يؤدي إلى تدهور المحاذاة إذا لم يتم تصحيحها.
• القابلية للتوسع: مع زيادة حجم مجموعة البيانات الاصطناعية غير المصنفة (حتى 98 ألف زوج)، حافظ DeDPO على أداء مستقر، بينما تدهور أداء DPO التقليدي بشكل كبير بسبب تراكم التسميات المشوبة بالضجيج.
• التحسينات النوعية: أظهرت المقارنات البصرية أن DeDPO يلتقط التفاصيل الدقيقة والقيود التركيبية (مثل كائنات محددة في مطالبات معقدة) بشكل أفضل مقارنة بالنماذج المدربة بتسميات بشرية أقل أو خلط اصطناعي بدائي.
• الذكاء الاصطناعي كحكم (AI-as-a-Judge): فضلت الأحكام الاصطناعية المتوافقة مع البشر (Gemini 2.5 Flash) نموذج DeDPO على DPO الخاضع للإشراف الكامل في حوالي 57% من الحالات فيما يتعلق بالتفضيل العام والجمال البصري، وعلى النموذج شبه المُشرف في حوالي 76% من الحالات.

5. الأهمية والادعاءات

تزعم الورقة أن DeDPO يوفر حلاً قابلاً للتوسع ومنخفض التكلفة للمحاذاة بين البشر والذكاء الاصطناعي في نماذج الانتشار. من خلال دمج التقدير غير المنحاز، ينجح الأسلوب في تحويل التغذية الراجعة الاصطناعية منخفضة التكلفة والمشوبة بالضجيج إلى إشارة تدريب موثوقة.

يؤكد المؤلفون أن DeDPO:

1. يتغلب على عقبة البيانات: يتيح محاذاة عالية الجودة باستخدام جزء صغير من التسميات البشرية، مما يجعل تحسين التفضيل واسع النطاق ممكناً دون تكاليف باهظة.
2. يضمن المتانة: يتميز بالمرونة تجاه الاختلافات والضجيج المتأصل في المقيّمين الاصطناعيين (بما في ذلك التدريب الذاتي أو نماذج VLMs)، مما يمنع عدم الاستقرار الذي غالباً ما يُلاحظ عند التدريب على التفضيلات المولدة بالذكاء الاصطناعي.
3. يحقق كفاءة رائدة: يحقق أداءً يضاهي، وأحياناً يتجاوز، أداء النماذج المدربة على مجموعات بيانات موسومة بشرياً بالكامل، مما يضع معياراً جديداً لتحسين التفضيل الفعال.

تخلص الدراسة إلى أن التغذية الراجعة الاصطناعية التي تمت إزالة الانحياز منها بشكل صحيح تعد بديلاً صالحاً وموثوقاً للتوسيم البشري المكثف، مما يوفر مساراً عملياً لمحاذاة النماذج التوليدية مع القيم البشرية.