Alleviating Sparse Rewards by Modeling Step-Wise and Long-Term Sampling Effects in Flow-Based GRPO

ملخص تقني: TurningPoint-GRPO للتعلم المعزز القائم على التدفق (Flow-Based Reinforcement Learning)

بيان المشكلة
تتناول الورقة مشكلتين حرجتين في تطبيق تحسين السياسة النسبي للمجموعات (GRPO) على نماذج مطابقة التدفق (Flow Matching - FM) لتوليد الصور من النصوص. تخصص النماذج الحالية، مثل Flow-GRPO وDanceGRPO، مكافأة واحدة قائمة على النتيجة (يتم تقييمها على الصورة النهائية النظيفة) بشكل موحد لجميع خطوات إزالة الضجيج السابقة. يؤدي هذا التصميم إلى مشكلتين محددتين:

1. ندرة المكافأة وعدم التوافق المحلي: من خلال نشر المكافأة النهائية إلى كل خطوة، تفشل الطريقة في تمييز المساهمة التزايدية "الصافية" لكل إجراء من إجراءات إزالة الضجيج. وبما أن خطوات إزالة الضجيج تساهم بشكل غير متساوٍ في التوليد النهائي، فإن التخصيص الموحد يؤدي إلى تخصيص غير دقيق للائتمان (Credit Assignment). علاوة على ذلك، غالبًا ما تتذبذب اتجاهات المكافأة المحلية أثناء مسار إزالة الضجيج أو تنخفض مؤقتًا حتى عندما يكون المسار النهائي ناجحًا. إن تخصيص ميزة نهائية عالية لهذه الخطوات يعزز بشكل خاطئ الإجراءات التي تؤدي محليًا إلى تدهور جودة الصورة.
2. إهمال التبعيات داخل المسار الواحد: تتجاهل تطبيقات GRPO الحالية ترتيب المسارات عند الخطوات الزمنية المتطابقة عبر المجموعة، متجاهلة التفاعلات الضمنية داخل المسار الواحد. في مطابقة التدفق (Flow Matching)، تؤثر إجراءات إزالة الضجيج المبكرة على الحالات اللاحقة والنتيجة النهائية من خلال تفاعلات ضمنية متأخرة. وتحديدًا، فإن بعض "نقاط التحول" (Turning Points)—وهي الخطوات التي تعكس اتجاهًا سلبيًا محليًا لتتماشى مع الاتجاه الإيجابي العام للمسار—لها تأثير طويل الأمد كبير يتم نمذجته بشكل غير كافٍ بواسطة المكافآت القياسية المعتمدة على الخطوة أو النتيجة النهائية.

المنهجية: TurningPoint-GRPO (TP-GRPO)
يقترح المؤلفون TP-GRPO، وهو إطار عمل يخفف من ندرة المكافأة ويقوم بنمذجة تأثيرات أخذ العينات طويلة الأمد بشكل صريح من خلال ابتكارين رئيسيين:

1. المكافآت التزايدية لكل خطوة:
   بدلاً من استخدام المكافأة النهائية، يحسب TP-GRPO مكافأة كثيفة على مستوى الخطوة بناءً على التأثير التزايدي لكل خطوة من خطوات أخذ عينات المعادلات التفاضلية العشوائية (SDE).

• بالنسبة للانتقال من $t$ إلى $t-1$، تقوم الطريقة بتخزين الحالات الكامنة $x_t$ و $x_{t-1}$.
• بعد ذلك، تكمل المسار من كلتا الحالتين باستخدام أخذ عينات المعادلات التفاضلية العادية (ODE) الحتمية للحصول على صور نظيفة $x^{ODE(t)}_t$ و $x^{ODE(t-1)}_{t-1}$.
• تُعرف المكافأة لكل خطوة $r_t$ بأنها الفرق: $r_t = R(x^{ODE(t-1)}_{t-1}) - R(x^{ODE(t)}_t)$.
• هذا يعزل الربح "الصافي" لتحديث الـ SDE المحدد عند الخطوة $t$، مما يوفر إشارة تعلم تعكس التقدم المحلي بدلاً من نتيجة المسار الإجمالية.

2. تحديد نقاط التحول والمكافآت المجمعة:
   تحدد الطريقة "نقاط التحول"—وهي الخطوات التي ينعكس فيها اتجاه المكافأة المحلي ليصبح متسقًا مع الاتجاه العام للمسار.

• التعريف: تعتبر الخطوة $t$ نقطة تحول إذا كان إجراء أخذ العينات المحلي يعكس اتجاهًا سلبيًا (أو يبدأ اتجاهًا إيجابيًا) بحيث يتوافق تطور المكافأة اللاحق مع الاتجاه العالمي من الضوضاء إلى الصورة النهائية. يتم اكتشاف ذلك حصريًا عبر تغيرات الإشارة في المكافآت التزايدية.
• المكافأة المجمعة: بالنسبة لنقاط التحول المحددة، يتم استبدال مكافأة الخطوة المحلية بمكافأة مجمعة طويلة الأمد: $r^agg_t = R(x_0) - R(x^{ODE(t)}_t)$، حيث $x_0$ هي الصورة النهائية التي تم أخذ عينات منها عبر SDE كاملة. هذا يلتقط التأثير التراكمي لنقطة التحول على بقية المسار.
• التعامل مع الخطوة الأولية: تمت إضافة قيد محدد لتوسيع هذا المنطق ليشمل خطوة إزالة الضجيج الأولى ($t=T$)، مما يضمن أن القرارات المبكرة التي توجه المسار تُنسب أيضًا إلى آثارها طويلة الأمد إذا كانت تتماشى مع الاتجاه العالمي.

المساهمات الرئيسية

• تحديد ندرة المكافأة: تسلط الورقة الضوء على أن نشر المكافآت النهائية إلى الخطوات المتوسطة يسبب عدم توافق بين الإجراءات المحلية والأهداف العالمية، مما يؤدي إلى إشارات تعلم شحيحة وغير دقيقة.
• النمذجة الصريحة للتفاعلات الضمنية: يعد TP-GRPO أول عمل يقوم بنمذجة التبعيات داخل المسار بشكل صريح في GRPO القائم على التدفق من خلال تحديد نقاط التحول وتخصيص مكافآت مجمعة طويلة الأمد لها.
• تصميم فعال وخالٍ من المعلمات الفائقة (Hyperparameter-Free): يعتمد اكتشاف نقاط التحول حصريًا على تغيرات الإشارة في المكافآت التزايدية، مما يتجنب الحاجة إلى ضبط المعلمات الفائقة المعقدة أو عتبات القيمة.
• تكامل الإطار: تدمج الطريقة هذه الرؤى في إطار عمل GRPO الذي يخفف من ندرة المكافأة ويحسن تخصيص الائتمان المتأخر دون تغيير هيكل تحسين RL الأساسي.

النتائج التجريبية
قيم المؤلفون TP-GRPO على ثلاث مهام باستخدام نموذج SD3.5-M الأساسي مع ضبط LoRA الدقيق:

1. توليد الصور التركيبي: تم التقييم باستخدام Geneval (العد وربط السمات).
2. رسم النصوص المرئية: تم التقييم بناءً على دقة OCR.
3. محاذاة التفضيل البشري: تم التقييم باستخدام PickScore والمقاييس الجمالية.

النتائج:

• الأداء: تفوقت متغيرات TP-GRPO باستمرار على خط الأساس Flow-GRPO في جميع المهام الثلاث من حيث درجات المهمة المحددة (مثل GenEval، ودقة OCR) ومقاييس التفضيل البشري (PickScore، ImageReward).
• التقارب: أظهرت منحنيات التدريب أن TP-GRPO يتقارب بشكل أسرع من Flow-GRPO. على سبيل المثال، في مهمة PickScore، حقق TP-GRPO مكافآت مماثلة لـ Flow-GRPO في حوالي ثلث خطوات التدريب فقط.
• التحسينات النوعية: أظهرت المقارنات النوعية تحسينات في دقة عد الأشياء، وفاء رسم النصوص، والمحاذاة مع المحتوى.
• المتانة: أشارت دراسات الاستئصال (Ablation studies) على حجم نافذة أخذ عينات SDE ومقياس الضوضاء ($\alpha$) إلى أن TP-GRPG يتميز بالمتانة تجاه تغيرات المعلمات الفائقة ويتفوق باستمرار على خط الأساس حتى تحت مستويات مختلفة من العشوائية.

الأهمية والادعاءات
تدعي الورقة أنه من خلال الانتقال من النتائج القائمة على المخرجات إلى المكافآت التزايدية لكل خطوة ونمذجة نقاط التحول صراحةً، يوفر TP-GRPO تقديرًا أكثر دقة للربح "الصافي" لإجراءات إزالة الضجيج. تعالج هذه الطريقة عدم التوافق بين العالمي والمحلي المتأصل في الطرق السابقة وتلتقط الآثار المتأخرة للخطوات الحرجة في عملية التوليد. يؤكد المؤلفون أن هذا يؤدي إلى ضبط أكثر فعالية لـ RL لنماذج مطابقة التدفق (Flow Matching)، مما ينتج عنه توليد صور بجودة أعلى دون الحاجة إلى معلمات فائقة إضافية أو نمذجة مكافأة معقدة. يضع هذا العمل نفسه كتحسين أساسي لنموذج GRPO للنماذج التوليدية القائمة على الانتشار (Diffusion) والتدفق (Flow).