ملخص تقني: dFlowGRPO

بيان المشكلة

تمثل نماذج التدفق المنفصلة (DFMs) فئة مرنة من النماذج التوليدية للبيانات المنفصلة، حيث توفر مساحة تصميم أوسع من نماذج اللغة الكبيرة ذات الانتشار المنفصل (dLLMs) عبر دعم مسارات احتمالية عامة وتوزيعات مصدر غير مقنعة. وبينما تم تطبيق التعلم التعزيزي (RL) بنجاح على dLLMs لتحسين جودة التوليد، تواجه الطرق الحالية تحديات كبيرة عند التوسع لتشمل نماذج DFMs العامة. العقبة الرئيسية هي صعوبة تقدير لوغاريتم الاحتمالية (log-likelihood) لنماذج DFMs، والتي لا يمكن تفكيكها بشكل طبيعي كما هو الحال في النماذج ذات الترتيب الذاتي (autoregressive). تعتمد مناهج RL الحالية لـ dLLMs على تقريبات (مثل حقل المتوسط أو القائم على ELBO) التي غالبًا ما تفشل في مراعاة معدلات الانتقال الشرطية وديناميكيات اللاحقة (posterior dynamics) المحددة المتأصلة في نماذج DFMs العامة. وبناءً على ذلك، هناك نقص في إطار عمل موحد للتعلم التعزيزي يستفيد بفعالية من معلومات المسار الكامل لـ DFMs، بما في ذلك كل من معدلات الانتقال الشرطية والنماذج اللاحقة.

المنهجية

يقترح المؤلفون dFlowGRPO (Discrete Flow-GRPO)، وهو إطار عمل موحد لتحسين السياسة يعتمد على الوعي بالمعدل (rate-aware) مصمم خصيصًا لنماذج DFMs. تمر المنهجية عبر الخطوات الرئيسية التالية:

1. صياغة عملية ماركوف (MDP Formulation): يتم صياغة عملية إزالة الضجيج (denoising) لنماذج DFMs كعملية قرار ماركوف (MDP)، حيث تتضمن الحالة تسلسل الرموز (tokens) والخطوة الزمنية الحالية، ويكون الإجراء (action) هو الانتقال إلى الحالة التالية.
2. اشتقاق احتمال المسار: المساهمة النظرية الجوهرية هي اشتقاق احتمال المسار الكامل لنماذج DFMs باستخدام عينة أويلر (Euler sampler). يثبت المؤلفون أن نسبة احتمال الانتقال بين السياسة الحالية والسياسة القديمة يمكن التعبير عنها كحاصل ضرب لنسب اللاحقة المتوقعة لكل رمز، مع إعادة وزنها بواسطة حد يعتمد على المعدل (rate-dependent term).
   • على وجه التحديد، يتم اشتقاق النسبة $r_k(\theta)$ كالتالي:
     $$r_k(\theta) = \prod_{d \in [D]} \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ w^{\theta_{old}, d}_{Q,k} \cdot \frac{p^\theta_{1|t_k}(X^d_1|x_{t_k})}{p^{\theta_{old}}_{1|t_k}(X^d_1|x_{t_k})} \right]$$
   • هنا، $w^{\theta_{old}, d}_{Q,k}$ هو وزن يعتمد على المعدل مشتق من معدلات الانتقال الشرطية، والحد الثاني هو نسبة اللاحقة (posterior ratio).
3. التقدير الفعال: يتيح إطار العمل تقدير نسبة احتمال الانتقال هذه باستخدام عينات مونت كارلو (MC) من النموذج اللاحق دون الحاجة إلى تمريرات أمامية (forward passes) إضافية. وهذا يسمح بدمج المعلومات من كل من معدلات الانتقال الشرطية والنموذج اللاحي في هدف التعلم التعزيزي.
4. هدف التحسين: بناءً على إطار عمل GRPO (تحسين السياسة النسبية للمجموعة)، يقوم dFlowGRPO بتحسين السياسة باستخدام هدف مقصوص (clipped objective) يتضمن نسبة احتمال انتقال المسار المشتقة ومقدر ميزة معياري للمجموعة. يتضمن الهدف حد تنظيم KL لمنع انهيار السياسة.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. إطار عمل موحد: اقتراح dFlowGRPO، وهو إطار عمل موحد لتحسين السياسة يعتمد على الوعي بالمعدل لنماذج DFMs يدعم مسارات الاحتمالية العامة والمعدلات الشرطية من خلال الاستفادة من المعلومات من كل من المعدل الشرطي والنموذج اللاحي.
2. الاشتقاق النظري: اشتقاق نسبة احتمال الانتقال لمسار إزالة الضجيج، مما يوضح إمكانية تفكيكها إلى حاصل ضرب لنسب اللاحقة المتوقعة لكل رمز مع إعادة وزنها بحد يعتمد على المعدل. وقد ثبت أن هذا الحد يمكن تقديره عبر عينات MC دون تمريرات أمامية إضافية.
3. التحقق التجريبي: تطبيق dFlowGRDO على نموذج DFM متعدد الوسائط (FUDOKI)، مما أظهر تحسينات كبيرة في كل من توليد الصور من النصوص ومهام الفهم متعدد الوسائط مقارنة بطرق التعلم التعزيزي الموجودة.

النتائج التجريبية

قيم المؤلفون dFlowGRPO باستخدام FUDOKI كنموذج أساسي عبر مجالين:

• توليد الصور من النصوص (Text-to-Image Generation):

  • التقييم على GenEval و PickScore و DrawBench.
  • بدون التوجيه الخالي من التصنيف (CFG)، أدى dFlowGRPO إلى تحسين PickScore لنموذج FUDOKI من 20.87 إلى 23.00 وتحسين درجة GenEval من 61% إلى 93%.
  • في اختبار GenEval المرجعي، حقق dFlowGRDO درجة إجمالية قدرها 0.93، متفوقًا على النماذج متعددة الوسائط الموحدة الأخرى ومساويًا أو متجاوزًا النماذج المتخصصة في التوليد فقط، رغم استخدامه خطوات إزالة ضجيج أقل (8 NFEs) وعدم استخدام CFG.
  • أظهرت الطريقة متانة ضد "اختطاف المكافأة" (reward hacking)، مع تحسينات ثابتة عبر مقاييس متعددة (HPSv3، Aesthetic Score، إلخ).

• الفهم متعدد الوسائط (Multimodal Understanding):

  • التقييم على ScienceQA و POPE و MME-P و SEED و MMB و GQA.
  • في ScienceQA، رفع dFlowGRDO الدقة من 75.1% إلى 81.1% (مع استخراج LLM) ومن 54.1% إلى 59.1% (بدون استخراج LLM)، مع حد أدنى من اختطاف المكافأة.
  • لوحظت أيضاً تحسينات في الأداء على اختبارات GQA و SEED و MMB.

• دراسات الاستئصال (Ablation Studies):

  • عينات MC: أدى زيادة عدد عينات MC (من $n=1$ إلى $n=24$) إلى تسريع تقارب التدريب وتحسين المكافآت النهائية.
  • تنظيم KL: بينما حقق التدريب بدون تنظيم KL مكافآت عالية، فإن إضافة تنظيم KL ($\beta=0.01$) قلل بشكل كبير من اختطاف المكافأة وحسن الأداء في المقاييس المساعدة.
  • المقارنة: تفوق dFlowGRDO باستمرار على طرق تقريب حقل المتوسط (diffu-GRPO، diffu-GSPO) ومتغيرات DPO عبر الإنترنت (online DPO)، والتي وُجد أنها أقل استقرارًا أو أقل فعالية لمسارات الاحتمالية العامة.

الأهمية والادعاءات

تدعي الورقة أن dFlowGRPO يوفر حلاً موحداً وفعالاً لتطبيق التعلم التعزيزي على نماذج التدفق المنفصلة العامة، معالجةً القيود التي فرضتها الطرق السابقة التي كانت مقتصرة على تكوينات محددة لـ dLLM أو اعتمدت على تقريبات غير دقيقة. من خلال اشتقاق نسبة احتمال الانتقال الدقيقة ودمج الأوزان المعتمدة على المعدل، يستفيد إطار العمل من المعلومات الهيكلية الكاملة لـ DFMs.

يضع المؤلفون dFlowGRPO كخطوة مهمة للأمام في مواءمة نماذج التدفق المنفصلة مع التفضيلات البشرية والأهداف الخاصة بالمهام، مما يثبت أن التعلم التعزيزي يمكن تطبيقه بنجاح على الفئة الأوسع من نماذج DFMs بما يتجاوز مجرد نماذج الانتشار المقنعة (masked diffusion models). تشير النتائج إلى أن dFlowGRDO يحقق أداءً منافسًا للنماذج القائمة على التدفق المستمر التي يتم تدريبها باستخدام Flow-GRPO، مع الحفاظ على قدرات قوية في مهام الفهم. تشير الورقة بتواضع إلى أن تقييمها يقتصر حاليًا على نموذج DFM واحد (FUDOKI)، وتقترح أن العمل المستقبلي يمكن أن يستكشف تطبيق هذه التقنيات المعتمدة على المعدل على نماذج dLLMs أخرى ذات معدلات شرطية بديلة.