ملخص تقني: اختيار المطالبات الموجه بالمرشح (KGPS) للضبط الدقيق التكيفي لتعلم التعزيز (RL)

1. بيان المشكلة

يعزز الضبط الدقيق لتعلم التعزيز (RL) قدرات الاستدلال لنماذج اللغات الكبيرة (LLMs) بشكل كبير، ولكن فعاليته تعتمد بشدة على اختيار مطالبات التدريب ذات الصعوبة المناسبة للسياسة الحالية. ويتمثل التحدي الحرج في هذا المجال في عدم الاستقرار (non-stationarity): فمع تحسن السياسة، تتطور صعوبة المطالبات. فالمطالبات التي كانت معلوماتية سابقاً قد تصبح تافهة، بينما تلك التي كانت صعبة جداً قد تصبح قابلة للتعلم.

تواجه طرق اختيار المطالبات عبر الإنترنت (online) الحالية مقايضة:

• النهج القائم على التقييم (Evaluation-based approaches): (مثل العينات الديناميكية - Dynamic Sampling) دقيقة ولكنها مكلفة حاسبياً، حيث تتطلب عمليات توليد (rollouts) إضافية هائلة لتقدير معدلات نجاح المطالبات، مما يؤدي غالباً إلى زيادة قدرها 7 أضعاف في عبء الاستدلال مقارنة بالتدريب القياسي.
• النهج القائم على التنبؤ (Prediction-based approaches): (مثل MoPPS وGRESO) فعالة ولكنها عادة ما تنمذج صعوبة المطالبة كـ معلم كامن ثابت (stationary latent parameter). وهي تعتمد على عوامل اضمحلال تجريبية (heuristic decay factors) للتعامل مع عدم الاستقرار، وهو ما يفشل في تتبع مشهد الصعوبة المتغير بدقة، الناتج عن تحديثات السياسة المستمرة، مما يؤدي إلى أخطاء تقدير مرتفعة باستمرار.

تجادل الورقة بأن التحول المبدئي من تقدير المعلمات الثابتة إلى تقدير الحالة الديناميكي (dynamic state estimation) هو أمر ضروري للحفاظ على التوافق مع الصعوبة المتطورة دون تكبد تكاليف استدلال إضافية.

2. المنهجية: اختيار المطالبات الموجه بالمرشح (KGPS)

يعيد KGPS صياغة اختيار المطالبات كمسألة تقدير حالة ديناميكية. فبدلاً من معاملة معدل نجاح المطالبة كمعلم ثابت، يقوم KGPS بنمذجتها كحالة كامنة متغيرة زمنياً ضمن نموذج فضاء الحالة الخطي-الغاوسي (linear-Gaussian state-space model - SSM).

المكونات الأساسية:

1. صياغة فضاء الحالة في فضاء اللوجيت (Logit Space):

   • يتم تحويل معدل النجاح الكامن $\phi^t_\tau$ للمطالبة $\tau$ عند الخطوة $t$ إلى فضاء اللوجيت: $\psi^t_\tau = \text{logit}(\phi^t_\tau)$.
   • تطور الحالة: تتطور الحالة الكامنة كمسار عشوائي (random walk): $\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$، حيث يرتبط تباين ضوضاء العملية $Q_t$ صراحةً بحجم تحديث السياسة: $Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$. وهذا يضمن زيادة عدم اليقين عندما يتغير السياسة بشكل جوهي، مما يعكس احتمال تغير صعوبة المطالبة.
   • نموذج الملاحظة: عندما يتم اختيار مطالبة وتوليدها $k$ من المرات، يتم تحويل معدل النجاح التجريبي عبر "طريقة دلتا" (delta method) لتقريب ملاحظة غاوسية في فضاء اللوجيت.

2. المرشح (Kalman Filter) للحفاظ على التوزيع اللاحق (Posterior):

   • يستخدم KGPS مرشح كالمان للحفاظ على توزيع لاحق غاوسي $N(\hat{\psi}^t_\tau, P^t_\tau)$ لكل مطالبة في المجموعة.
   • خطوة التنبؤ: عند كل خطوة تدريب، يتم تضخيم التباين $P^t_\tau$ لجميع المطالبات (سواء تم اختيارها أم لا) بواسطة $Q_t$. تضمن هذه الآلية زيادة درجة عدم اليقين للمطالبات التي لم يتم تقييمها مؤخراً، مما يمنع تجاهلها نهائياً.
   • خطوة التحديث: بالنسبة للمطالبات التي تم اختيارها في الخطوة السابقة، يدمج المرشح ملاحظات التوليد الجديدة لتحديث المتوسط وتقليل التباين.

3. اختيار المنفعة المتوقعة من التوزيع اللاحق (Posterior-Expected Utility Selection):

   • بدلاً من اختيار المطالبات بناءً على تقدير نقطي للصعوبة، يختار KGPS المطالبات عن طريق تعظيم المنفعة التدريبية المتوقعة من التوزيع اللاحق: $\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$، حيث $h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ تصل ذروتها عند الصعوبة المتوسطة.
   • يدمج هذا التوقع عبر التوزيع اللاحق الكامل. وبناءً على ذلك، تحصل المطالبات ذات عدم اليقين العالي (التباين الكبير $P^t_\tau$) طبيعياً على درجات أعلى، مما يوازن بين استغلال التقديرات الحالية واستكشاف المطالبات غير المؤكدة.
   • يتم حساب التوقع بكفاءة باستخدام "تربيع غاوس-هيرميت" (Gauss–Hermite quadrature)، دون الحاجة إلى أخذ عينات عشوائية.

ميزة الكفاءة الرئيسية: يعمل KGPS بالكامل على نتائج التوليد (rollout outcomes) التي تم إنتاجها بالفعل لتدريب السياسة القياسية. فهو لا يتطلب أي عمليات توليد إضافية أو استدلالات إضافية لنموذج LLM لعملية الاختيار نفسها.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. إعادة صياغة تتبع الصعوبة: يقترح المؤلفون نمذجة تتبع صعوبة المطالبة كمسألة تقدير حالة ديناميكية باستخدام SSM خطي-غاوسي، حيث ترتبط ضوضاء العملية بحجم تحديثات السياسة، بدلاً من معاملتها كمعلم ثابت.
2. اشتقاق مرشح كالمان ودرجة المنفعة: قاموا باشتقاق مرشح كالمان لتتبع الصعوبة عبر الإنترنت، وقدموا درجة منفعة متوقعة من التوزيع اللاحق توازن بين الاستغلال والاستكشاف دون الحاجة لجداول اضمحلال محددة يدوياً.
3. التحقق التجريبي: أظهرت التجارب المكثفة أن KGPS يتفوق باستمرار على جميع النماذج المرجعية (baselines) في كل من الدقة النهائية وكفاءة التوليد عبر مهام الاستدلال الرياضي، والتخطيط، والهندسة.

4. النتائج التجريبية

قيم المؤلفون KGPS على ثلاثة اختبارات استدلال (الرياضيات، التخطيط/العد التنازلي، الهندسة البصرية) باستخدام مقاييس نماذج مختلفة (من Qwen3-0.6B إلى DeepSeek-R1-Distill-7B) وخوارزميات RL متنوعة (GRPO, PPO, Reinforce++).

• الأداء مقابل تكلفة التوليد (Rollout Cost): في نموذج DeepSeek-R1-Distill-7B، حقق KGPS أداءً مماثلاً أو متفوقاً قليلاً على "الأوراكل" (Oracle) القائم على التقييم (Dynamic Sampling) مع استخدام 83% أقل من عمليات التوليد. مقارنة بالنموذج المرجعي القائم على التنبؤ MoPPS، حسن KGPS متوسط الأداء بمقدار 0.12 نقطة عبر ستة اختبارات رياضية باستخدام نفس ميزانية التوليد.
• مكاسب الدقة: عبر جميع مقاييس النماذج والمهام، حقق KGPS باستمرار أعلى دقة اختبار بين طرق الاختيار عبر الإنترنت، وغالباً ما تفوق على "الأوراكل" (DS) الذي يتطلب تكاليف حاسبية هائلة.
• دقة التقدير: حافظ KGPS على خطأ مطلق متوسط (MAE ≈ 0.15) أقل بكثير بين معدلات النجاح المتوقعة والتجريبية مقارنة بـ MoPS (MAE ≈ 0.40)، مما يثبت قدرة فائقة على تتبع عدم الاستقرار.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة التوقع اللاحق (استخدام التقديرات النقطية بدلاً منها) إلى خفض الأداء بنحو 1.09 نقطة.
  • أدى فصل ضوضاء العملية عن حجم تحديث السياسة (استخدام ضوضاء ثابتة) إلى خفض الأداء بنحو 1.21 نقطة، مما يؤكد أهمية عدم اليقين التكيفي.
  • أدى إزالة تهيئة الإحماء (warmup initialization) إلى انخفاض طفيف في الأداء، مما يؤكد الحاجة إلى توزيعات لاحقة أولية مستقرة.

5. الأهمية والادعاءات

تدعي الورقة أن KGPS يضع معياراً جديداً (SOTA) للاختيار عبر الإنترنت للمطالبات في الضبط الدقيق لتعلم التعزيز (RL). وتكمن أهميته في حل التوتر بين الكفاءة والتكيفية:

• يحقق دقة الطرق المكلفة القائمة على التقييم دون أعبائها الحاسبية.
• يتغلب على قيود الطرق الثابتة القائمة على التنبؤ من خلال نمذجة الطبيعة غير المستقرة لديناميكيات تدريب RL بشكل صارم.
• من خلال معامل الصعوبة كحالة ديناميكية وليس كمعلم ثابت، يوفر KGPS آلية مبدئية لإدارة عدم اليقين تعيد زيارة المطالبات المهملة بشكل طبيعي، مما يضمن بقاء المنهج التدريبي متوافقاً مع كفاءة النموذج المتطورة.

يخلص المؤلفون إلى أن تقدير الحالة الديناميكية هو بديل عملي ومتفوق للتقريبات الثابتة للصعوبة في الضبط الدقيق التكيفي لتعلم التعزيز.