Reinforced Efficient Reasoning via Semantically Diverse Exploration

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعزيز الفعال للاستدلال عبر الاستكشاف المتنوع دلاليًا" (ROSE).

1. بيان المشكلة

تتناول الورقة مشكلتين حرجتين في التعلم المعزز بالجوائز القابلة للتحقق (RLVR) الحالية للنماذج اللغوية الكبيرة (LLMs)، لا سيما في الاستدلال الرياضي:

1. محدودية تنوع الاستكشاف: تعتمد الطرق الحالية، بما في ذلك تلك التي تستخدم بحث مونت كارلو في الأشجار (MCTS)، غالبًا على إنتروبيا التوليد لتحديد نقاط التفرع. يرى المؤلفون أن إنتروبيا التوليد العالية (عدم اليقين في اختيار الرموز/Tokens) لا تعني بالضرورة التنوع الدلالي. قد تتفرع النماذج عند نقاط تكون فيها الرموز مختلفة تركيبياً ولكنها متطابقة دلاليًا (مثل "يمكن" مقابل "يجب")، مما يؤدي إلى مسارات استدلال مكررة تفشل في استكشاف فضاء الحل بفعالية.
2. الاستدلال غير الفعال (الإفراط في التفكير): تعاني مناهج RLVR الحالية غالبًا من "الإفراط في التفكير"، حيث تولد النماذج سلاسل استدلال طويلة بلا داعٍ للوصول إلى إجابة صحيحة. تفشل طرق تخصيص الائتمان الحالية (مثل GRPO التقليدي) في توزيع الجوائز بشكل موحد عبر جميع الرموز، مما يفشل في معاقبة الخطوات الزائدة أو مكافأة الاستدلال الموجز.

2. المنهجية: إطار عمل ROSE

يقترح المؤلفون إطار عمل ROSE (التعزيز الفعال للاستدلال عبر الاستكشاف المتنوع دلاليًا)، وهو إطار يدمج الاستكشاف المدرك دلاليًا مع تخصيص الائتمان المدرك للطول.

أ. الاستكشاف الموجه بالإنتروبيا الدلالية

لحل مشكلة التنوع، يقدم ROSE استراتيجية تفرع جديدة:

• التباعد الدلالي ($SD_k$): بدلاً من مجرد قياس عدم اليقين في احتمالية الرمز، يحسب ROSE المسافة الدلالية بين الرموز المرشحة ذات الاحتمالية العالية. يقوم باختيار أفضل 20 رمزًا، ويسترجع تمثيلاتها (embeddings)، ويحسب مجموعًا مرجحًا لتشابه جيب التمام الزوجي. يشير التباعد العالي إلى أن النموذج يختار بين مفاهيم متميزة دلاليًا.
• الإنتروبيا الدلالية ($SE_k$): يتم تعريف مقياس التفرع كحاصل ضرب إنتروبيا التوليد ($H_k$) والتباعد الدلالي ($SD_k$):
  $$SE_k = SD_k \cdot H_k$$
  يضمن هذا أن التفرع يحدث فقط حيث يوجد عدم يقين عالٍ واختلاف دلالي عالٍ، مما يعزز مسارات استدلال متنوعة حقًا.
• آلية الاستكشاف $\epsilon$ ($\epsilon$-Exploration): لمنع البحث من العلوق في الأمثل المحلية، يتضمن ROSE استراتيجية $\epsilon$-greedy. باحتمالية $\epsilon$، يقوم النموذج بإعادة توليد استجابة من البداية (تدفق مستقل) بدلاً من التفرع من عقدة شجرة موجودة. هذا يوازن بين العمق (استكشاف الشجرة) والاتساع (الاستكشاف العالمي).

ب. تقدير الميزة على مستوى القطاع المدرك للطول

لحل مشكلة الكفاءة، يستفيد ROSE من هيكل الشجرة لتخصيص ائتمان أكثر دقة:

• تعيين قيمة العقدة: يتم تقسيم الشجرة إلى قطاعات بناءً على عقد التفرع. قيمة العقدة هي متوسط المكافأة لجميع الاستجابات التي تمر عبرها.
• ميزة القطاع (Segment Advantage): يتم حساب ميزة الرمز كفرق في القيمة بين العقدة الحالية والعقدة الأب ($\hat{A}_{i,t} = \hat{V}(b_j) - \hat{V}(b_{j-1})$).
• المعايرة المدركة للطول: لمعاقبة الإفراط في التفكير، يتم معاقبة ميزة سلاسل الاستدلال الصحيحة ولكن الطويلة بالنسبة لأقصر سلسلة صحيحة. إذا كانت الاستجابة $o_c$ أطول من أقصر استجابة صحيحة $o_s$، يتم تقليل ميزة الرموز بعد نقطة تباعدهما بمعامل يعتمد على نسبة الطول:
  $$\hat{A}_{i,t} \leftarrow \hat{A}_{i,t} - |\hat{A}_{i,t}| \cdot \left(1 - \left(\frac{|o_s| - b_c}{|o_c| - b_c}\right)^\alpha\right)$$
  حيث $\alpha$ هو معلم فائق (hyperparameter) يتحكم في شدة العقوبة.

3. المساهمات الرئيسية

1. تفرع الإنتروبيا الدلالية: مقياس مبتكر يجمع بين عدم اليقين الاحتمالي وتباعد التمثيل الدلالي لتوجيه تفرع MCTS، مما يضمن استكشاف مسارات استدلال متميزة دلاليًا.
2. آلية الاستكشاف $\epsilon$: آلية عشوائية لإعادة بدء التدفقات من الجذر، مما يمنع عملية البحث من أن تصبح محلية للغاية.
3. تقدير الميزة المدرك للطول: طريقة تخصيص ائتمان على مستوى القطاع تكافئ صراحةً الاستدلال الموجز وتعاقب الخطوات الزائدة، مما يعالج مشكلة "الإفراط في التفكير" دون تدهور الأداء.
4. التحقق الشامل: تجارب واسعة النطية تثبت تفوق ROSE على أفضل النماذج المرجعية (GRPO, DAPO, Dr.GRPO, TreePO, FR3E) عبر عائلات نماذج متعددة (Qwen, Llama).

4. النتائج التجريبية

قيم المؤلفون ROSE في اختبارات الاستدلال الرياضي (AIME2024, AIME2025, AMC2023, MATH500) باستخدام نماذج Qwen3 (4B/8B) و Llama-3.2 (3B).

• مكاسب الأداء: حقق ROSE باستمرار أعلى درجات pass@8.
  • في نموذج Qwen3-8B، حقق ROSE متوسط درجة 55.75%، متفوقًا على أفضل نموذج مرجعي (Dr.GRPO بنسبة 51.02%) بمقدار 4.73 نقطة مئوية.
  • في نموذج Llama-3.2-3B، حسن ROSE متوسط الدرجة من 28.35% (GRPO) إلى 31.67%.
• الكفاءة: قلل ROSE بشكل كبير من متوسط طول الرموز في سلاسل الاستدلال. على سبيل المثال، مع $\alpha=1$، قلل نموذج Qwen3-8B طول الاستدلال بنسبة 3.0% مع تحسين الدقة، بينما زادت متغيرات GRPO القياسية الطول غالبًا.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة الاستكشاف $\epsilon$ إلى انخفاض في الأداء، مما أكد الحاجة إلى الاستكشاف العالمي.
  • استبدال الإنتروبيا الدلالية بالتفرع العشوائي أو إنتروبيا التوليد القياسية أدى إلى درجات أقل، مما يؤكد أهمية التفرع المدرك دلاليًا.
  • أدت إزالة المعايرة المدركة للطول إلى سلاسل استدلال أطول وأقل كفاءة.

5. الأهمية

• تحول جذري في الاستكشاف: ينتقل ROSE من مجرد عدم اليقين على مستوى الرمز (إنتروبيا التوليد) إلى عدم اليقين على المستوى الدلالي، وهي خطوة حاسمة لتحسين استدلال النماذج اللغوية الكبيرة في المهام المعقدة حيث لا تعني الاختلافات السطحية تنوعًا منطقيًا.
• حل مشكلة الإفراط في التفكير: من خلال دمج عقوبات الطول مباشرة في تقدير الميزة ضمن إطار عمل MCTS، يوفر ROSE طريقة مبدئية لتدريب النماذج لتكون دقيقة وموجزة في آن واحد، وهو نمط فشل شائع في مناهج RLHF/RLVR الحالية.
• القدرة على التعميم: الطريقة متوافقة مع دوال خسارة GRPO الحالية ولا تتطلب تدريب نموذج ناقد (critic) منفصل، مما يجعلها فعالة حاسوبيًا وسهلة التكامل في خطوط أنابيب RL الحالية للنماذج اللغوية الكبيرة.

باختة، يمثل ROSE تقدمًا مهمًا في التعلم المعزز للنماذج اللغوية الكبيرة من خلال التحسين المتزامن لـ التنوع (عبر الإنتروبيا الدلالية) و الكفاءة (عبر المعايرة المدركة للطول)، مما يؤدي إلى قدرات استدلال أكثر قوة وإيجازًا.