ملخص تقني: التحسين الموجه بالمراحل لكل خطوة لنماذج الانتشار (SGPO)

بيان المشكلة

تتفوق نماذج الانتشار (Diffusion models) في المهام التوليدية، لكنها تعاني في التوافق مع تفضيلات مستخدم محددة لأن هدف التدريب القياسي الخاص بها يركز على إعادة بناء توزيعات البيانات بدلاً من التحسين لأهداف محددة. وبينما يوفر التعلم التعزيزي (RL) مساراً للتوافق مع التفضيلات، فإنه يواجه تحديات كبيرة في هذا المجال:

1. ندرة المكافأة (Reward Sparsity): لا يمكن تقييم مكافآت التفضيل بدقة إلا عند اكتمال عملية التوليد (الخطوة الزمنية النهائية)، مما يترك الحالات الكامنة الوسيطة دون تغذية راجعة مباشرة.
2. عدم تطابق الهدف الزمني (Temporal Objective Mismatch): تعتمد الطرق الحالية عادةً على نشر المكافأة النهائية الوحيدة إلى جميع خطوات إزالة الضجيج السابقة للتخفيف من الندرة. ومع ذلك، يفترض هذا أن جميع مراحل إزالة الضجيج متكافئة بشكل أمثل، وهو ما يتناقض مع الطبيعة المرحلية لديناميكيات الانتشار.
3. اختراق المكافأة (Reward Hacking): يؤدي تطبيق مكافأة نهائية موحدة عبر جميع الخطوات إلى عدم تطابق زمني. فالمراحل المبكرة تكون فوضوية ومهيمنة بالضجيج، مما يجعل الارتباط بين الإجراءات والمكافأة النهائية ضعيفاً. وهذا يشجع النموذج على البحث عن "طرق مختصرة" (اختراق المكافأة) بدلاً من تعلم سلوكيات ذات معنى، مما يؤدي إلى انهيار النمط (mode collapse)، أو الهياكل المتكررة، أو الأنماط المحلية المبالغ فيها التي تضعف التنوع والدقة.

المنهجية: التحسين الموجه بالمراحل لكل خطوة (SGPO)

يقترح المؤلفون إطار عمل SGPO، وهو إطار عمل تعزيزي تكيفي يدرك الديناميكيات الجوهرية المرحلية لتوليد الانتشار. وبدلاً من التحسين الموحد، يقوم SGPO بتبديل أهداف التحسين ديناميكياً بناءً على مرحلة التوليد الحالية، والتي يتم تحديدها من خلال المراقبة اللحظية للتغيرات الدلالية ونسبة الإشارة إلى الضجيج (SNR).

1. الكشف التكيفي عن المرحلة

تقسم الطريقة عملية التوليد إلى ثلاث مراحل متميزة باستخدام مقياسين:

• معدل التطور الدلالي ($\Delta E(t)$): التغير في التوافق الدلالي (مثل درجة CLIP) بين الحالات الكامنة المتجاورة والمطالبة (prompt).
• نسبة الإشارة إلى الضجيج ($\gamma(t)$): نسبة الإشارة إلى الضجيل في الحالة الكامنة.

يتم تحديد نقاط الانتقال من خلال اقتراب المشتقات من الدرجة الثانية لهذه المقاييس من الصفر:

• المرحلة الأولى (الفوضوية/الضجيج): $0 \le t < t_c^{(1)}$. تتميز بضجيج عالٍ ودلالات غير مستقرة.
• المرحلة الثانية (التفضيل المستقر): $t_c^{(1)} \le t < t_c^{(2)}$. تستقر الدلالات، ويقوى الارتباط بين الإجراءات والمكافأة النهائية.
• المرحلة الثالثة (التقارب المستقر): $t \ge t_c^{(2)}$. الهيكل العالمي ثابت؛ تبقى فقط التفاصيل المحلية حساسة.

2. أهداف التحسين الخاصة بكل مرحلة

يخصص SGPO دوال مكافأة متميزة لكل مرحلة لتتوافق مع ديناميكيات التوليد:

• المرحلة الأولى (الفوضوية): الهدف هو الخروج من نظام الضجيج الفوضوي بسرعة. وبما أن المكافأة النهائية غير موثوقة هنا، فإن الهدف يركز على تعظيم المسافة من أصل الضجيج الأولي.

  • دالة المكافأة: $r_t^{(I)} = \lambda_t \|x_t - x_T\|^2$، حيث يتم قياس $\lambda_t$ وفقاً لـ SNR.

• المرحلة الثانية (التفضيل المستقر): هذه هي المرحلة الأساسية لتحسين التفضيل. يقوم النموذج بتحسين مكافأة التفضيل النهائية ($r(x_0, z)$) مع الحفاظ بنشاط على التنوع لمنع التقارب المبكر نحو نمط واحد.

  • دالة المكافأة: $r_t^{(II)} = r(x_0, z) + \Delta E(t) \| \hat{x}_0(x_t) - \hat{x}_0(x_{t-1}) \|^2$.
  • يعمل الحد الثاني كحافز للاستكشاف، يتم تعديله بواسطة معدل التطور الدلالي $\Delta E(t)$، مما يشجع على الانحرافات المحكومة التي تعزز التنوع دون كسر التوافق الدلالي.

• المرحلة الثالثة (التقارب): الهيكل العالمي ثابت إلى حد كبير. تحسين التفضيل الإضافي يخاطر بالإفراط في التخصيص (overfitting) وزعزعة استقرار التوزيع. يتحول الهدف إلى التقارب المستقر نحو التوزيع الحقيقي.

  • دالة المكافأة: $r_t^{(III)} = -\frac{1}{2} \| \hat{x}_0(x_t) - x_0^{pre} \|^2$، حيث $x_0^{pre}$ هو مخرج النموذج المدرب مسبقاً. هذا يعاقب على أي انحراف غير ضروري عن التوزيع المستقر المدرب مسبقاً.

المساهمات الرئيسية

1. إطار عمل RL مدرك للمراحل: يقدم البحث نموذجاً ينمذج صراحةً الديناميكيات التوليدية المرحلية لنماذج الانتشار، مبتعداً عن افتراض التحسين الموحد عبر جميع الخطوات الزمنية.
2. التخفيف من اختراق المكافأة: من خلال مواءمة إشارات التدريب مع الخصائص المعتمدة على المرحلة (الخروج من الفوضى، استكشاف التنوع، والتقارب المستقر)، يقلل SGPO بفعالية من اختراق المكافأة ويحسن جودة التوليد.
3. الآلية التكيفية: تستخدم الطريقة المراقبة اللحظية للدلالات و SNR للتبديل ديناميكياً بين استراتيجيات التحسين، مما يضمن مطابقة إشارة التدريب لمتطلبات مراحل التوليد المختلفة.

النتائج التجريبية

أجرى المؤلفون 16 تجربة مقارنة عبر مجموعات بيانات متنوعة (HPSv2, Pick-a-Pic, GenEval, Simple Animals) وببنيات نماذج مختلفة (Stable Diffusion v1.4–v2.1, SDXL, SD 3.5, FLUX).

• مكاسب الأداء: حقق SGPO متوسط زيادة قدرها 26.7% في جودة التوليد (مقاسة بدرجات المكافأة) وتحسناً بنسبة 36.7% في سرعة التقارب مقارنة بالنماذج المرجعية.
• التنوع والدقة: حسنت الطريقة التنوع بنسبة 8.51% ودقة التفاصيل بنسبة 41.93%، متفوقة بشكل كبير على النماذج المرجعية في مقاييس مثل LPIPS و IS و FID.
• مقاومة اختراق المكافأة: في التقييمات حيث تم تدريب النماذج لمطابقة درجة جمالية (AES) ثابتة، حافظ SGPO باستمرار على أفضل أداء في فئتي المركز الأول والثاني في مقاييس الدقة والتنوع والغنى، بينما أظهرت الطرق الأخرى علامات على الإفراط في التحسين وانهيار النمط.
• التوليد المتحكم به: أظهر SGPO قدرات فائقة في اتباع التعليمات في المطالبات المعقدة التي تتضمن أعداد الأشياء، الألوان، والعلاقات المكانية مقارنة بالنماذج المرجعية مثل DDPO و DPOK و Flow-GRPO.
• الكفاءة: على الرغم من العبء الإضافي لكشف المرحلة، كانت كفاءة وقت التشغيل الإجمالية متفوقة بشكل كبير على النماذج المرجعية بسبب سرعة التقارب.

الأهمية والادعاءات

يدعي البحث أن التطبيق العشوائي للمكافآت النهائية عبر جميع خطوات إزالة الضجيج هو سبب جوهري لاختراق المكافأة وعدم كفاءة التحسين في RL للانتشار. ومن خلال احترام البنية المرحلية لعمليات الانتشار — وتحديداً الانتقال من الضجيج الفوضوي إلى الدلالات المستقرة وأخيراً إلى التقارب — يتيح SGPO ضبطاً دقيقاً أكثر قوة وكفاءة.

يؤكد المؤلفون أن طريقتهم توفر تصحيحاً ضرورياً للممارسات الحالية للتعلم التعزيزي لنماذج الانتشار، مما يسمح بـ:

• توافق أفضل مع تفضيلات محددة دون التضحية بالتنوع.
• منع ظاهرة "اختصار المكافأة" حيث تستغل النماذج الارتباطات الزائفة.
• تعزيز القدرة على التحكم في مهام التوليد المعقدة.

يشير العمل إلى أن التحسين الدقيق المستقبلي (RL fine-tuning) للنماذج التوليدية يجب أن يأخذ في الاعتبار الديناميكيات الزمنية لعملية التوليد بدلاً من معاملة المسار كسلسلة متجانسة من الحالات.