Step-level Denoising-time Diffusion Alignment with Multiple Objectives

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MSDDA: محاذاة النماذج الانتشارية متعددة الأهداف في مستوى الخطوة أثناء عملية إزالة الضجيج" (Step-level Denoising-time Diffusion Alignment with Multiple Objectives).

1. بيان المشكلة

تُدرب النماذج الانتشارية (Diffusion models) عادةً على مجموعات بيانات ضخمة لتطابق توزيعات البيانات، لكنها تفتقر إلى المحاذاة مع تفضيلات بشرية محددة (مثل الجودة الجمالية، الاتساق بين النص والصورة، والأمان). وبينما نجحت عمليات الضبط الدقيق باستخدام التعلم المعزز (RL) في المحاذاة لـ هدف واحد، فإن التطبيقات الواقعية تتطلب موازنة أهداف متعددة، وغالباً ما تكون متضاربة.

تواجه الأساليب الحالية للمحاذاة متعددة الأهداف قيوداً كبيرة:

• الضبط الدقيق بالتعلم المعزز متعدد الأهداف: يتطلب تدريب عدد هائل من النماذج (بشكل أسي بالنسبة لعدد الأهداف) لتغطية فضاء أوزان التفضيلات، أو حل اتجاهات تحديث معقدة لتجنب الصراع، وهو أمر مكلف حوسبياً.
• المحاذاة أثناء إزالة الضجيج (بدون إعادة تدريب): تنقسم الأساليب الموجودة التي تدمج النماذج المحاذية مسبقاً عند الاستنتاج عموماً إلى فئتين:
  1. تعتمد على المكافأة (Reward-dependent): تتطلب الوصول إلى وظائف المكافأة وتدرجاتها/قيمها، مما يستلسزم أخذ عينات وتقديرات متكررة (مثلاً عبر مقدرات Tweedie)، وهو أمر مكلف حوسبياً.
  2. خالية من المكافأة (Reward-free): تدمج النماذج دون الوصول إلى المكافأة (مثل Reward Soup، وDB-MPA، وDERADIFF). ومع ذلك، تعتمد هذه الأساليب غالباً على تقريبات مشتقة من سياسات مثلى غير قابلة للحل (intractable)، مما يؤدي إلى أخطاء تقريب غير محددة في أهداف إزالة الضجيج الناتجة.

السؤال الجوهري: هل يمكننا تصميم طريقة محاذاة متعددة الأهداف، تعمل أثناء إزالة الضجيج ولا تتطلب إعادة تدريب، بحيث لا تتطلب الوصول إلى وظائف مكافأة فردية ولا تُدخل أي خطأ تقريبي؟

2. المنهجية

يقترح المؤلفون إطار عمل MSDDA (محاذاة النماذج الانتشارية متعددة الأهداف في مستوى الخطوة أثناء عملية إزالة الضجيج)، وهو إطار يحقق محاذاة دقيقة متعددة الأهداف دون الحاجة لإعادة التدريب. تتكون المنهجية من ثلاث ركائز نظرية أساسية:

أ. صياغة التعلم المعزز على مستوى الخطوة (Step-level RL)

للتغلب على صعوبة تتبع السياسة المثلى في صياغات التعلم المعزز القياسية (التي تعتمد على تقديرات الميزة والسياسة بشكل دائري)، صاغ المؤلفون المشكلة كـ مهمة تعلم معزز على مستوى الخطوة.

• مستلهمين من تحسين منطقة الثقة (TRPO)، قاموا بتفكيك مصطلحات المكافأة وتنظيم KL إلى مزايا (advantages) على مستوى الخطوة.
• اشتقوا هدف DPO (تحسين التفضيل المباشر) على مستوى الخطوة. بخلاف DPO الانتشار التقليدي، تتضمن هذه الخسارة مصطلح تنظيم صريح على مستوى الخطوة ($\Delta_{diff}$) يشجع النموذج على البقاء أقرب إلى النموذج المدرب مسبقاً في المسارات الأقل تفضيلاً، مع السماح بالانحراف في المسارات المفضلة.
• الرؤية الجوهرية: تحل هذه الصياغة الاعتماد الدائري، مما يجعل السياسة المثلى قابلة للحل وتعتمد فقط على مزايا السياسة المدربة مسبقاً.

ب. الدمج متعدد الأهداف ذو الصيغة المغلقة (Closed-Form)

بناءً على صياغة مستوى الخطوة، أثبت المؤلفون أنه بالنسبة لمكافأة موزونة $r_w = \sum w_i r_i$، يمكن بناء توزيع إزالة الضجيج العكسي الأمثل $p_w$ حصرياً عن طريق دمج توزيعات النماذج المحاذية لهدف واحد $\{p_i\}$.

• النظرية 1: إذا كان كل نموذج أحادي الهدف $p_i$ يمثل توزيعاً غاوسياً $N(\mu_i, \sigma_i^2 I)$، فإن التوزيع متعدد الأهداف الأمثل $p_w$ هو أيضاً توزيع غاوسي $N(\mu_w, \sigma_w^2 I)$.
• المعلمات ذات الصيغة المغلقة: المتوسط والتباين هما دوال صريحة للنماذج الأساسية:
  $$\sigma_w^2 = \left( \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \right)^{-1}$$
  $$\mu_w = \sigma_w^2 \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \mu_i$$
• يسمح هذا بـ دمج دقيق عند الاستنتاج دون أي تدريب إضافي أو وصول لوظائف المكافأة.

ج. التكافؤ النظري

تثبت الورقة أن هدف إزالة الضجيج المستمد عبر هذا الدمج يكافئ تماماً حل صياغة الضبط الدقيق للتعلم المعزز على مستوى الخطوة.

• على عكس الأساليب السابقة الخالية من المكافأة (مثل DB-MPA وDERADIFF) التي تسقط بعض الحدود في ديناميكيات الانتشار لجعل المشكلة قابلة للحل (مما يدخل أخطاء)، فإن MSDDA لا يسقط أي حدود.
• يقوم بتعميم DB-MPA (الذي يفترض تباينات متطابقة لجميع الأهداف) للتعامل مع التباينات غير المتجانسة ($\sigma_i^2$).

3. المساهمات الرئيسية

1. إطار عمل التعلم المعزز على مستوى الخطوة: تقديم صياغة جديدة للتعلم المعزز على مستوى الخطوة للنماذج الانتشارية تتجنب عدم قابلية حل تحسين KL الهامشي وتمكن من اشتقاق هدف DPO على مستوى الخطوة.
2. حل دقيق بصيغة مغلقة: اقتراح خوارزمية MSDDA، وهي خوارزمية لا تتطلب إعادة تدريب تحسب توزيع إزالة الضجيج العكسي الأمثل لأي متجه أوزان تفضيلات بصيغة مغلقة.
3. صفر خطأ تقريبي: إثبات نظري بأن دمج MSDDA يكافئ رياضياً سياسة التعلم المعزز المثلى على مستوى الخطوة، مما يلغي أخطاء التقريب المتأصلة في طرق إزالة الضجيذ السابقة.
4. تشغيل خالٍ من المكافأة: لا تتطلب الطريقة الوصول إلى وظائف المكافأة أو تدرجاتها أثناء الاستنتاج، بل تعتمد فقط على معلمات النماذج المحاذية مسبقاً لأهداف فردية.

4. النتائج التجريبية

قيم المؤلفون MSDDA باستخدام Stable Diffusion v1.5 مع هدفين للمكافأة:

• ImageReward: للاتساق بين النص والصورة.
• VILA: للجودة الجمالية.

النماذج المرجعية (Baselines):

• Stable Diffusion (المدرب مسبقاً).
• Reward Soup (RS): الاستيفاء الخطي لمعلمات النموذج.
• CoDe & RGG: طرق توجيه تعتمد على تدرج/قيمة المكافأة.
• DB-MPA / DERADIFF: طرق دمج أخرى خالية من المكافأة.

النتائج:

• الأداء: تفوق MSDDA باستمرار على جميع النماذج المرجعية عبر مختلف أوزان التفضيلات ($w$). حقق أعلى درجات في جبهة باريتو (Pareto front)، موازناً بين الجودة الجمالية والاتساق النصي بشكل أفضل من Reward Soup أو الطرق القائمة على التدرج.
• المحاذاة النوعية: أظهرت النتائج المرئية أن MSDDA أنتج صوراً تتبع بدقة الأوامر المعقدة (مثل "كلب بلون أرجواني"، "موزة وردية") حيث فشل نموذج SD الأساسي وغالباً ما أنتج Reward Soup عيوباً أو ألواناً غير صحيحة.
• الكفاءة:
  • MSDDA أسرع بكثير من الطرق القائمة على تدرج المكافأة (CoDe, RGG) لأنها تتجنب تقييمات المكافأة المتكررة أثناء إزالة الضجيج.
  • هو أبطأ قليلاً من SD/RS (حوالي ضعفي وقت التشغيل) لأنه يشغل نموذجين للانتشار بالتوازي لحساب المتوسط والتباين المدمجين، ولكن هذه تكلفة ضئيلة مقارنة بتكاليف التدريب للتعلم المعزز متعدد الأهداف.

5. الأهمية

تمثل هذه الورقة تقدماً نظرياً وعملياً كبيراً في محاذاة النماذج الانتشارية:

• الصرامة النظرية: تجسر الفجوة بين نظرية التعلم المعزز والمحاذاة العملية أثناء إزالة الضجيج من خلال تقديم أول حل دقيق بصيغة مغلقة للدمج متعدد الأهداف، مما يزيل الطبيعة "الصندوق الأسود" للأساليب السابقة القائمة على التقريب.
• النشر العملي: من خلال إلغاء الحاجة للوصول للمكافأة أثناء الاستنتاج وتجنب إعادة التدريب، يقدم MSDDA حلاً فعالاً للغاية وقابلاً للتركيب والتشغيل (plug-and-play) لنشر النماذج الانتشارية في بيئات ديناميكية تتغير فيها تفضيلات المستخدمين (الأوزان) بشكل متكرر.
• القابلية للتعميم: لا يقتقتصر الإطار على توليد الصور؛ إذ يمكن استلهام صياغة التعلم المعزز على مستوى الخطوة ومنطق الدمج ذي الصيغة المغلقة لتطبيقات أخرى في التوليد التسلسلي ذات القيود متعددة الأهداف.