ملخص تقني: POISE (تحسين السياسة باستخدام تقدير القيمة من الحالة الداخلية)

بيان المشكلة

يعد التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR) محركًا مركزيًا لتحسين نماذج الاستدلال الكبيرة (LRMs) في المهام المعقدة مثل الاستدلال الرياضي. ومع ذلك، يعتمد RLVR المستقر والفعال بشكل كبير على التقدير الدقيق للخط المرجعي (baseline) لتقليل تباين تدرجات السياسة. وتتسبب الأساليب الحالية في تكاليف حوسبة كبيرة:

• PPO (تحسين السياسة القريبة): يتطلب تدريب نموذج ناقد (critic) منفصل بحجم النماذج اللغوية الكبيرة (LLM-scale) يقوم بمعالجة التسلسل المولد بالكامل عند كل تحديث، مما يضاعف استهلاك الذاكرة وتعقيد التحسين بنحو مرتين.
• GRPO (تحسين السياسة النسبية للمجموعة): يتجنب الناقد المنفصل عن طريق تقدير الخطوط المرجعية من متوسط المكافأة لمجموعة من المسارات (rollouts) التي تم أخذ عينات منها لكل مطالبة (prompt). هذه الطريقة "تستبدل المعلمات بالعينات"، مما يتطلب مسارات متعددة لكل مطالبة للحفاظ على خط مرجعي مستقر. وتحت ميزانية حوسبة ثابتة، يقلل هذا من تنوع المطالبات في الدفعة الواحدة (batch)، مما يؤدي إلى تضخم تباين التدرج. علاوة على على ذلك، يُهدر جزء كبير من الحوسبة على المطالبات "المنحطة" (degenerate) حيث تحصل جميع المسارات على مكافآت متطابقة (advantage صفري).

السؤال الجوهري الذي يعالجه هذا العمل هو: هل يمكن استخراج خط مرجعي فعال من الحسابات التي يتم إجراؤها بالفعل أثناء تدريب السياسة، مما يلغي الحاجة إلى موارد إضافية؟

المنهجية: POISE

يقترح المؤلفون POISE (تحسين السياسة باستخدام تقدير القيمة من الحالة الداخلية)، وهي طريقة تستفيد من التمثيلات الداخلية لنموذج السياسة لتقدير دالة القيمة $V^\pi(x)$ بتكلفة ضئيلة.

1. تقدير قيمة الحالة الداخلية

بدلاً من تدريب ناقد منفصل، يقوم POISE بتدريب مسبار (probe) خفيف الوزن للتنبؤ بالمكافأة المتوقعة القابلة للتحقق مباشرة من الحالات الخفية (hidden states) وإحصائيات الرموز (tokens) المستخرجة من عملية التمرير الأمامي (forward pass) للنموذج.

• ميزات المدخلات: يستخدم المسبار ثلاث إشارات متكاملة:
  1. ميزات مستوى المطالبة (Prompt-level): الحالات الخفية من الرموز النهائية للمطالبة، والتي تلتقط تمثيل النموذج للمطالبة والصعوبة المتوقعة.
  2. ميزات مستوى المسار (Trajectory-level): الحالات الخفية من نهاية مسار الاستدلال، والتي تكشف عن معلومات ذات صلة بالقيمة لا تتوفر في المطالبة وحدها.
  3. إحصائيات إنتروبيا مستوى الرمز (Token-level entropy): ميزات عدم اليقين خفيفة الوزن.
• هدف التدريب: يتم تدريب المسبار للتنبؤ بقيمة مستوى المطالبة $V^\pi(x)$. ولمنع الهدف من تسريب معلومات حول المسار المحدد الذي يتم تقييمه، استخدم المؤلفون هدف مونت كارلو بنظام الاستبعاد الواحد (leave-one-out Monte Carlo target). فبالنسبة لمطالبة $x$ مع $K$ من المسارات التي تم أخذ عينات منها، يكون الهدف للمسار $i$ هو متوسط المكافأة للمسارات الـ $K-1$ الأخرى.

2. البناء عبر المسارات لضمان عدم الانحياز

هناك تحدٍ نظري حرج يتمثل في ضمان بقاء الخط المرجعي مستقلًا شرطيًا عن الإجراء (المسار المأخوذ)، وذلك للحفاظ على عدم انحياز تدرج السياسة. إذا اعتمد الخط المرجعي على نفس المسار الذي يقيمه، فسيؤدي ذلك إلى إدخال انحياز.

• الحل: يستخدم POISE بناءً عبر المسارات (cross-rollout construction). لكل مطالبة، يتم أخذ عينات من مسارين مستقلين، $y^{(1)}$ و $y^{(2)}$.
  • يتم التنبؤ بالخط المرجعي لـ $y^{(1)}$ باستخدام الحالات الخفية لـ $y^{(2)}$.
  • يتم التنبؤ بالخط المرجعي لـ $y^{(2)}$ باستخدام الحالات الخفية لـ $y^{(1)}$.
• يضمن هذا أن الخط المرجعي المستخدم لتحديث مسار معين مشتق من عينة مستقلة، مما يحقق الشرط $E[b(x) \nabla \log \pi(y|x)] = 0$.

3. التكامل في تحسين السياسة

يدمج POISE هذا المقدر في حلقة تحسين بأسلوب PPO:

• التدريب عبر الإنترنت (Online Training): يتم تدريب مقدر القيمة بشكل مشترك مع السياسة باستخدام ذاكرة مؤقتة (buffer) من المسارات الأخيرة. ولأن الميزات تُستخرج من عملية التمرير الأمامي المطلوبة بالفعل لتحديثات السياسة، فإن العبء الحوسبي ضئيل للغاية.
• حساب الميزة (Advantage Calculation): يتم حساب المزايا كـ $A^{(i)}(x) = R(x, y^{(i)}) - b^{(i)}(x)$، حيث $b^{(i)}(x)$ هو الخط المرجعي عبر المسارات.
• الكفاءة: على عكس GRPO، الذي يتطلب مجموعة كبيرة (مثل 8 مسارات) لتقدير خط مرجعي، يتطلب POISE زوجًا فقط من المسارات. وهذا يسمح بتخصيص ميزانية الحوسبة الثابتة لعدد أكبر من المطالبات المتميزة في كل دفعة، مما يقلل نظريًا من تباين التدرج.

المساهمات الرئيسية

1. تقدير مبتكر للخط المرجعي: يقدم طريقة لاشتقاق الخطوط المرجعية من الحالات الخفية لنموذج السياسة، مما يلغي الحاجة إلى ناقد منفصل بحجم LLM أو مجموعات مسارات كبيرة.
2. عدم الانحياز النظري: يقترح بنية عبر المسارات تضمن الاستقلال الشرطي المطلوب لتدرجات السياسة غير المنحازة مع استخدام ميزات مشروطة بالمسار.
3. كفاءة الحوسبة: يثبت أن مسبارًا خفيف الوزن (انحدار خطي) يمكنه تحقيق أداء في تقدير القيمة يضاهي أو يتفوق على ناقد منفصل بحجم LLM، مع تطلب قدر أقل بكثير من الحوسبة.
4. القدرة على التعميم: يوضح أن إشارات الحالة الداخلية تعمم عبر مجالات مختلفة (الرياضيات، البرمجة، استدعاء الأدوات، واتباع التعليمات) ومقاييس النماذج المختلفة.

النتائج التجريبية

تم تقييم الطريقة على نماذج Qwen3-4B و DeepSeek-R1-Distill-Qwen-1.5B عبر اختبارات معايير الاستدلال الرياضي بمستوى الأولمبياد (AMC, AIME, HMMT, BRUMO).

• الأداء: يحقق POISE أداءً يضاهي DAPO (وهو خوارزمية تعتمد على GRPO متطورة).
  • في Qwen3-4B، حقق POISE متوسط درجة Avg@32 قدره 0.500، وهو ما يطابق تقريبًا درجة DAPO البالغة 0.508، بينما تفوق عليها في معايير محددة مثل AMC23 و HMMT25.
  • في DeepSeek-R1-Distill-Qwen-1.5B، حسن POISE متوسط الدرجة إلى 0.303 مقارنة بـ 0.296 لـ DAPO.
• كفاءة التدريب: يتطلب POISE وقتًا أقل بكثير في زمن التنفيذ الفعلي. في DeepSeek-R1-Distill-Qwen-1.5B، استغرق الوصول إلى أداء مماثل 18 ساعة باستخدام POISE مقابل 24 ساعة باستخدام DAPO على وحدة معالجة رسومية واحدة من نوع B200. وفي Qwen3-4B، كان الوقت 36 ساعة مقابل 49 ساعة لـ DAPO.
• الاستقرار: كانت قيم تدرج (gradient norms) في POISE أقل باستمرار من DAPO، مما يشير إلى تقليل تباين التدرج وتحسين استقرار التحسين.
• جودة تقدير القيمة: حقق مسبار الحالة الداخلية معامل ارتباط بيرسون قدره 0.870 مع المكافآت التجريبية، متفوقًا على ناقد منفصل تم تدريبه بحجم LLM (الذي سجل 0.676) في المهمة نفسها.
• التعميم: حافظ المقدر على أداء عالٍ عبر مهام البرمجة، واستدعاء الأدوات، واتباع التعليمات، متفوقًا في كثير من الأحيان على النواقد المنفصلة في هذه المجالات.

الأهمية والادعاءات

يزعم البحث أن POISE يوفر مسارًا فعالًا من حيث الحوسبة نحو RLVR مستقر وقابل للتوسع لنماذج الاستدلال الكبيرة. ومن خلال الاستفادة من التمثيلات الداخلية للنموذج، تقوم الطريقة بـ:

• إلغاء عبء الذاكرة والحوسبة المرتبط بتدريب نموذج ناقد منفصل.
• إزالة عدم كفاءة أخذ العينات في الخطوط المرجعية النسبية للمجموعات (GRSO)، مما يسمح بتنوع أكبر للمطالبات ضمن ميزانية ثابتة.
• تجنب هدر الحوسبة على المطالبات المنحطة التي تنتج ميزة (advantage) صفرية.
• إثبات أن الحالات الداخلية، التي كانت تُستخدم سابقًا كأدوات تشخيصية فقط، يمكن أن تعمل كإشارات تحسين عملية وعالية الدقة للتعلم التعزيزي.

يخلص المؤلفون إلى أن POISE يتيح تحسين السياسة بشكل أكثر استقرارًا وكفاءة دون الحاجة إلى خطوط مرجعية نسبية للمجموعات أو نماذج قيمة إضافية، مما يجعله بديلًا واعدًا لتدريب نماذج الاستدلال الكبيرة تحت قيود الموارد.