ملخص تقني: ما وراء انهيار النمط: مطابقة التوزيع لتعزيز تنوع الاستدلال

1. بيان المشكلة

تحدد الورقة البحثية انهيار النمط (mode collapse) كقصور جوهري في طرق التعلم التعزيزي (RL) داخل السياسة (on-policy)، لا سيما تلك المستخدمة لتدريب نماذج الاستدلال الكبيرة (LRMs) عبر التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR). وبينما حققت أساليب مثل تحسين السياسة النسبية للمجموعات (GRPO) نجاحاً في حل المسائل الرياضية وتوليد الأكواد البرمجية، إلا أنها تظهر نزعة لتركيز الكتلة الاحتمالية على مسار واحد عالي المكافأة بمجرد اكتشافه. هذا السلوك يثبط استراتيجيات الحل البديلة، ويوقف الاستكشاف، ويؤدي إلى استدلال هش يفشل في التعميم.

يجادل المؤلفون بأن هذه الظاهرة ليست مجرد نتاج عرضي للتنفيذ، بل هي نتيجة مباشرة لهدف التحسين: حيث يعمل التعلم التعزيزي القياسي داخل السياسة ضمنياً على تقليل تباعد كولباك-ليبلر العكسي (reverse KL divergence) ($D_{KL}(\pi_\theta \| p^*)$). إن تباعد KL العكسي بطبيعته "باحث عن النمط" (mode-seeking)، حيث يضخم أول مسار ناجح يتم العثور عليه بدلاً من الحفاظ على توزيع عبر عدة حلول عالية المكافأة. في المقابل، فإن تباعد كولباك-ليبلر الأمامي (forward KL divergence) ($D_{KL}(p^* \| \pi_\theta)$) يظهر سلوكاً "مغطياً للأنماط" (mode-covering)، مما يشجع السياسة على مطابقة الدعم الكامل لتوزيع الهدف، ولكنه عادة ما يكون غير قابل للحل حسابياً لأنه يتطلب أخذ عينات من توزيع عالمي مرجح بالمكافأة.

2. المنهجية: DMPO

لمعالجة انهيار النمط دون الحاجة إلى أخذ عينات عالمية غير قابلة للحل، يقترح المؤلفون تحسين مطابقة التوزيع (Distribution-Matching Policy Optimization - DMPO).

الرؤية الجوهرية

يقوم DMPO بتقريب تقليل تباعد KL الأمامي على مستوى المجموعة بدلاً من المستوى العالمي. فبدلاً من أخذ عينات من توزيع مستهدف عالمي، تقوم الخوارزمية ببناء توزيع مستهدف فوق مجموعة محددة من المسارات المأخوذة لعينة معينة من مطالبة (prompt) معينة.

الصيغة الخوارزمية

1. توزيع الهدف على مستوى المجموعة: بالنسبة لمجموعة من $G$ من المسارات $\mathcal{O} = \{o_1, \dots, o_G\}$ المأخوذة من السياسة الحالية $\pi_{\theta_{old}}$، يتم بناء توزيع هدف $p(o_i | \mathcal{O})$ يتناسب طردياً مع الأس الخاص بمكافآتها (توزيع بولتزمان):
   $$p(o_i | \mathcal{O}) = \frac{\exp(r(o_i)/\alpha)}{\sum_{j=1}^G \exp(r(o_j)/\alpha)}$$
   هذا الأمر قابل للتنفيذ حسابياً لأنه يتطلب فقط دالة التقسيم على مستوى المجموعة.

2. توزيع السياسة على مستوى المجموعة: لمواءمة السياسة مع هذا الهدف، تحدد الطريقة توزيع السياسة $q_\theta(o_i | \mathcal{O})$ بناءً على لوغاريتم الاحتمالية الطبيعي المعياري حسب الطول لمراعاة انحياز طول المسار:
   $$q_\theta(o_i | \mathcal{O}) = \frac{\exp(\varphi(o_i))}{\sum_{j=1}^G \exp(\varphi(o_j))}$$
   حيث أن $\varphi(o_i)$ هو متوسط لوغاريتم الاحتمالية لكل توكن (token).

3. خسارة مطابقة التوزيع: يتم مواءمة السياسة مع الهدف عن طريق تقليل التباعد بين $q_\theta$ و $p$. يستخدم المؤلفون متوسط مربع الخطأ (MSE) بدلاً من تباعد KL من أجل الاستقرار العددي، مما يمنع انفجار التدرج عندما يقترب احتمال السياسة من الصفر:
   $$\mathcal{L}_{DM}(\theta) = \frac{1}{G} \sum_{i=1}^G (p(o_i | \mathcal{O}) - q_\theta(o_i | \mathcal{O}))^2$$

4. الهدف الموحد: يجمع الهدف النهائي بين حد تعظيم مكافأة GRPO القياسي مع تنظيم مطابقة التوزيع:
   $$\mathcal{L}_{DMPO}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda \mathcal{L}_{DM}(\theta)$$
   هنا، يقوم $\mathcal{L}_{GRPO}$ بدفع عملية الاستغلال (تعظيم المكافأة)، بينما يقوم $\mathcal{L}_{DM}$ بفرض الاستكشاف عن طريق منع السياسة من الانهيار إلى نمط واحد داخل منطقة المكافأة العالية.

3. المساهمات الرئيسية

أ. خوارزمية DMPO

تقدم الورقة DMPO كحل مبدئي وعملي لانهيار النمط. من خلال تقريب KL الأمامي على مستوى المجموعة، تحقق الخوارزمية سلوكاً مغطياً للأنماط دون الحاجة إلى دالة تقسيم متعلمة أو أخذ عينات عالمية. وتتوافق الطريقة مع أطر عمل GRPO الحالية، حيث تتطلب فقط إضافة حد تنظيم واحد.

ب. اختبار MM-NP-Bench

قدم المؤلفون MM-NP-Bench، وهو اختبار مرجعي متعدد الوسائط مصمم لتقييم الاستكشاف في نماذج الاستدلال بصرامة.

• النطاق: يوسع NP-Bench القائم على النصوص ليشمل تمثيلات بصرية لـ 10 مهام تحسين توافقية صعبة (NP-hard) (مثل TSP، وتلوين الرسم البياني، وتغطية الرؤوس).
• التقييم بالمعايير المزدوجة: لجعل انهيار النمط قابلاً للملاحظة، يستخدم الاختبار معيارين:
  • معدل النجاح (SR): يقيس مدى تحقيق القيود (القابلية للتنفيذ).
    % نسبة الجودة (QR): تقيس جودة التحسين بالنسبة لخط أساس استدلالي (heuristic baseline).
  • الأهمية: يظهر انهيار النمط في شكل معدل نجاح (SR) مرتفع ولكن نسبة جودة (QR) منخفضة (إيجاد حلول صالحة ولكنها غير مثالية).
• البنية التحتية: تتضمن مولدات بارامترية، ومحققات قائمة على القواعد، وحلول استدلالية لتوفير خطوط أساس قريبة من المثالية.

ج. التحقق التجريبي

تقدم الورقة تجارب واسعة النطاق تثبت أن DMPO يتفوق على خطوط الأساس القوية (GRPO, GSPO, GPG, FlowRL, إلخ) عبر مجالات متعددة.

4. النتائج

الأداء في مهام التحسين

• MM-NP-Bench (متعدد الوسائط): حقق DMPO نسبة جودة 43.1%، وهو تحسن بنسبة 12% نسبياً عن GRPO (38.4%). كما حقق أعلى معدل نجاح بنسبة 61.9% مقابل 55.7%.
• NP-Bench (نصي فقط): حقق DMPO نسبة جودة 43.9%، وهو تحسن بنسبة 9% نسبياً عن GRPO (40.1%).
• الدراسة الاستبعادية (Ablation): أظهرت الطريقة متانة تجاه اختيارات المعلمات الفائقة ($\lambda \in [0.3, 0.7]$ و $\alpha \in [0.8, 1.2]$).

التعميم والنقل

• الاستدلال الرياضي: أدى التدريب على مهام التحسين باستخدام DMPO إلى تحسين الأداء في اختبارات الاستدلال الرياضي (AIME, AMC, إلخ) بنسبة 2.0% مقارنة بـ GRPO.
• المهام خارج النطاق: أظهر DMPO تحسناً بنسبة 2.3% في اختبارات الاستدلال البصري خارج النطاق (LogicVista, MathVista, إلخ)، مما يشير إلى أن التدريب المحافظ على التنوع يعزز قدرات الاستدلال العامة.

ديناميكيات التدريب

كشف تحليل سجلات التدريب أنه بينما يعاني GRPO من "انهيار الطول" (التحلل إلى استجابات قصيرة وتافهة) والوص‌ها المبكر إلى استقرار المكافأة، يحافظ DMPO على تحسن مستمر ويحافظ على سلاسل استدلال قوية (~400 توكن). يحافظ DMPO على إنتروبيا أقل من GRPO، مما يشير إلى "تنوع مهيكل" (تنفيذ واثق لاستراتيجيات منطقية مختلفة) بدلاً من الارتباك العشوائي.

5. الأهمية والادعاءات

تدعي الورقة ترسيخ مطابقة التوزيع كنهج عملي ومبدئي لمنع انهيار النمط في التعلم التعزيزي داخل السياسة. يجادل المؤلفون بأن:

1. تحديد السبب الجذري: انهيار النمط في RLVR ناتج بشكل أساسي عن طبيعة البحث عن النمط لتباعد KL العكسي.
2. حل قابل للتطبيق: يمكن تقريب تقليل KL الأمامي، الذي يعتبر تقليدياً غير قابل للحل، بفعالية على مستوى المجموعة للحفاظ على تنوع الحلول.
3. الفائدة العامة: إن الحفاظ على التنوع أثناء التدريب على مهام تحسين محددة ينتقل إلى تحسين قدرات الاستدلال العامة، مما يشير إلى أن الاستكشاف عنصر حاسم في تعزيز الاستدال القوي في نماذج الاستدلال الكبيرة.

تضع هذه الدراسة DMPO ليس مجرد منظم للتنوع، بل كآلية تمكن من اكتشاف حلول أعلى جودة قد تغفل عنها أهداف البحث عن النمط، مما يعزز أداء التحسين وقوة الاستدلال عبر الوسائط المختلفة.