ملخص تقني: NUDGERL – الاستكشاف الفعال الموجه بالاستراتيجية لتعلم التعزيز مع المكافآت القابلة للتحقق (RLVR)

1. بيان المشكلة

أصبح التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) نموذجاً قابلاً للتوسع لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs)، لا سيما من خلال طرق مثل تحسين السياسة النسبي للمجموعات (GRPO). ومع ذلك، فإن فعالية RLVR مقيدة بشكل أساسي بـ الاستكشاف. فالسياسة لا يمكنها إلا التحسن بناءً على المسارات التي قامت بتمثيلها بالفعل.

تواجه النهج الحالية للتخفيف من هذا القيد مقايضات كبيرة:

• التوسع بالقوة الغاشمة: يؤدي زيادة عدد عمليات التدحرج ($N$) إلى تحسين احتمالية اكتشاف المسارات الصحيحة والنادرة، ولكنه أمر مكلف حاسبياً. تشير التحليلات النظرية إلى أن مسارات "الذيل الطويل" الصحيحة تتلاشى ببطء في الاحتمالية، مما يتطلب ميزانيات ضخمة للغاية لتغطيتها.
• تعديل الهدف: تشجع التقنيات مثل تنظيم الإنتروبيا أو القص المنفصل على استكشاف أوسع على مستوى التوزيع، لكنها تقدم تحكماً محدوداً في ما يتم استكشافه، وغالباً ما تفشل في ضمان تغطية استراتيجيات استنتاج ذات معنى دلالي.
• المعلومات المميزة: تعتمد الطرق التي تستخدم حلولاً "أوراكل" (Oracle) أو خطوات وسيطة (مثل POPE) على إشراف مكلف وغير قابل للتوسع. علاوة على ذلك، فإن توجيه السياسة نحو مسارات ناجحة محددة مسبقاً قد يحد من اكتشاف استراتيجيات استنتاج بديلة.

التحدي الجوهري هو تحقيق استكشاف مهيكل ومدفوع بالتنوع يكون فعالاً حاسبياً، وقابلاً للتوسع، ولا يعتمد على بيانات "أوراكل" باهظة الثمن.

2. المنهجية: NUDGERL

يقترح المؤلفون NUDGERL، وهو إطار عمل مصمم لهيكلة فضاء الاستنتاج من خلال "توجيه الاستراتيجية" (Strategy Nudging). يتكون الإطار من ثلاثة مكونات أساسية:

أ. توجيه الاستراتيجية (الاستكشاف المهيكل)

بدلاً من الاعتماد على أخذ العينات الساذج من مطالبة واحدة، يقوم NUDGERL بتكييف توليد التدحرج بناءً على سياقات خفيفة الوزن على مستوى الاستراتيجية.

• الآلية: لكل مطالبة $x_0$، يتم إنشاء مجموعة من السياقات على مستوى الاستراتيجية $C(x_0)$ (مثل نظريات رياضية محددة أو كلمات مفتاحية استنتاجية مثل "نظرية فيثاغورس") باستخدام نموذج لغوي كبير خفيف الوزن خارج عملية التدريب.
• العملية: أثناء توليد التدحرج، يتم أخذ عينة من سياق واحد $c$ وإلحاقه بالمطالبة ($x_1 = (x_0, c)$) لهذا التدحرج المحدد. وللحفاظ على التوافق مع السياسة الأساسية وتجنب الاعتماد المفرط على السياقات، يتم تطبيق آلية "إسقاط السياق" (context dropout)، حيث يتم توليد تدحرج دون سياق أحياناً ($c = \emptyset$).
• الهدف: هذا يجبر النموذج على عبور أنماط استنتاج متميزة قد يتجاهلها في حالة أخذ العينات الساذجة، مما ينقل توزيع أخذ العينات بفعالية نحو المسارات النادرة ولكن المحتمل أن تكون صحيحة، دون الحاجة إلى حلول "أوراكل".

ب. الميزة بين-داخل المجموعة (تخصيص الائتمان)

تحسب GRPO القياسية المزايا بناءً على المكافآت داخل المجموعة لنفس توزيع المطالبة. ومع ذلك، ينتج NUDGERL عمليات تدحرج تحت ظروف سياقية مختلفة، مما يخلق عدم تطابق حيث تعكس تباينات المكافأة كلاً من جودة المسار والتحيزات المرتبطة بالسياق.

• الحل: قدم المؤلفون مقدراً موحداً للميزة يقوم بتفكيك الإشارة إلى مكونين:
  1. الميزة داخل السياق (Intra-context Advantage): تقيس جودة المسار بالنسبة لمتوسط مكافأة سياقه المحدد.
  2. الميزة بين السياقات (Inter-context Advantage): تقيس مدى موثوقية السياق نفسه بالنسبة للمتوسط العالمي.
• الصيغة: تُعرف الميزة $\hat{A}_i$ للتدحرج $i$ مع السياق $z(i)$ والمكافأة $r_i$ كالتالي:
  $$\hat{A}_i = \frac{A_i - \mu_A}{\sigma_A + \delta}$$
  حيث $A_i = (r_i - \bar{r}_{z(i)}) + \lambda(\bar{r}_{z(i)} - \bar{r})$ إذا كان $z(i) \neq \emptyset$، و $A_i = r_i - \bar{r}$ خلاف ذلك.
• دور $\lambda$: يوازن هذا المعلم الفائق بين الاستكشاف والاستغلال. إذا كانت $\lambda > 1$، فإنها تفضل النجاحات القادمة من السياقات ذات المكافأة العالية (الاستغلال)، بينما إذا كانت $\lambda < 1$، فإنها تشجع على استكشاف السياقات ذات المكافأة الأقل (الاستكشاف). يثبت البحث أنه بالنسبة لـ $\lambda \in [0, 2]$، فإن المكافآت الأعلى تؤدي دائماً إلى مزايا أعلى، مما يضمن الاتساق مع هدف التحسين.

ج. الهدف المعزز بالتقطير (سد الفجوة بين التدريب والاختبار)

بما أن عمليات التدحرج يتم توليدها مع سياقات ($x_1$) ولكن يجب أن تعمل السياسة بدونها عند الاستنتاج ($x_0$)، فإن هناك عدم تطابق في التوزيع.

• الآلية: يستخدم NUDGERL مصطلح تقطير ذاتي لنقل السلوكيات عالية الجودة المكتشفة أثناء الاستكشاف المشروط بالسياق إلى السياسة الأساسية.
• دالة الخسارة: يجمع الهدف الإجمالي بين خسارة RL القياسية على عمليات التدحرج المشروطة بالسياق وبين خسارة التقطير:
  $$\mathcal{L}_{NUDGERL} = \mathcal{L}_{RL} + \lambda_{distill} \mathcal{L}_{Distill}$$
  حيث $\mathcal{L}_{Distill} = -\mathbb{E}_{y \sim \pi_\theta(\cdot|x_1)} [\hat{A} \log \pi_\theta(y|x_0)]$.
• الأثر: يضمن هذا أن تستوعب السياسة استراتيجيات الاستنتاج الفعالة المكتشفة تحت سياقات متنوعة، مما يسمح لها بإعادة إنتاجها أثناء الاستنتاج الخالي من السياق.

3. المساهمات الرئيسية

1. توجيه الاستراتيجية: آلية استكشاف مبتكرة تستخدم مطالبات استراتيجية خفيفة الوزن لتحفيز مسارات استنتاج متنوعة دون إشراف "أوراكل" مكلف.
2. الميزة بين-داخل المجموعة: طريقة لتخصيص الائتمان تفك الارتباط بين التحيز الناتج عن السياق وجودة المسار الجوهرية، مما يتيح تعلماً مستقراً من التدحرجات المشروطة بالسياق.
3. التعلم التعزيزي المعزز بالتقطير: هدف يسد صراحة الفجوة بين الاستنتاج المشروط بالسياق والاستنتاج الخالي من السياق، مما يضمن الاحتفاظ بالاستراتيجيات المكتشفة بواسطة السياسة الأساسية.
4. التحقق التجريبي: إثبات أن الاستكشاف المهيكل يمكن أن يتفوق على كل من توسيع عمليات التدحرج بالقوة الغاشمة والأساليب الموجهة بـ "أوراكل".

4. النتائج التجريبية

قيم المؤلفون NUDGERL على خمسة اختبارات رياضية صعبة (AIME24, AIME25, AMC23, MATH500, APEX) باستخدام نماذج Qwen3-4B و Olmo3-7B.

• الكفاءة مقابل توسع التدحرج: حقق NUDGERL أداءً متوسطاً متفوقاً مقارنة بـ GRPO حتى عندما مُنحت GRPO ميزانية تدحرج أكبر بـ 8 أضعاف (على سبيل المثال، تفوق NUDGERL بـ 8 عمليات تدحرج على GRPO بـ 64 عملية تدحح على Qwen3-4B).
• المقارنة مع أساليب الأوراكل: تفوق NUDGERL على POPE (نموذج مرجعي ببادئة أوراكل) عبر جميع النماذج والاختبارات، رغم استخدامه تلميحات استراتيجية خفيفة الوزن وغير مؤكدة بدلاً من حلول "أوراكل" المكلفة.
• تنوع الاستكشاف: أظهر التحليل أن NUDGERL زاد بشكل كبير من عدد عناقيد الاستنتاج المتميزة المكتشفة مقارنة بأخذ العينات الساذج، الذي غالباً ما ينهار إلى أنماط مهيمنة.
• دراسة حالة: في مسألة محددة من AIME25، فشلت GRPO في إيجاد حل، معتمدة على استراتيجيات غير فعالة. نجح NUDGERL في اكتشاف واستخدام استراتيجية "صيغة شولاس" (shoelace formula)، مولداً حلولاً صحيحة عبر فرض الاستكشاف في هذا النمط الاستنتاجي المحدد.

5. الأهمية والادعاءات

يزعم البحث أن NUDGERL يثبت أن الاستكشاف المهيكل والموجه بالسياق هو بديل قابل للتطبيق وفعال لكل من التوسع بالقوة الغاشمة والأساليب الموجهة بالمعلومات المميزة.

• القابلية للتوسع: باستخدام تلميحات استراتيجية خفيفة الوزن ومولدة مسبقاً، يتجنب الأسلوب التكلفة الحسابية لميزانيات التدحرج الضخمة ومشكلات ندرة البيانات المرتبطة بطرق "الأوراكل".
• التحكم: على عكس التنظيم على مستوى التوزيع الذي يتسم بالعشوائية، يوفر "توجيه الاستراتيجية" تحكماً صريحاً في فضاء الاستنتاج، مما يضمن تغطية استراتيجيات متنوعة وذات معنى دلالي.
• التعميم: ينجح مكون التقطير في نقل الاكتشافات الخاصة بالسياق إلى السياسة الأساسية، مما يثبت أن النماذج يمكنها تعلم أنماط استنتاج متنوعة دون الاعتماد على تلميحات خارجية أثناء الاستنتاج.

يخلص المؤلفون إلى أن تحسين جودة الاستكشاف من خلال التوجيه المهيكل أكثر فعالية من مجرد زيادة كمية العينات أو الاعتماد على إشارات ضيقة ومميزة.