Restoring Exploration after Post-Training: Latent Exploration Decoding for Large Reasoning Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "استعادة الاستكشاف بعد التدريب اللاحق: فك تشفير الاستكشاف الكامن لنماذج الاستدلال الكبيرة (Latent Exploration Decoding for Large Reasoning Models)."

1. بيان المشكلة: انهيار الاستكشاف في نماذج الاستدلال الكبيرة (LRMs)

حققت نماذج الاستدلال الكبيرة (LRMs)، مثل Qwen3-T وMiMo، أداءً فائقاً في الرياضيات والبرمجة من خلال التعلم التعزيزي (RL) في مرحلة ما بعد التدريب (مثل GRPO). ومع ذلك، فإن هذا التدريب يحسن بشكل كبير دقة pass@1 (احتمالية الحصول على الإجابة الصحيحة من المحاولة الأولى)، ولكنه يتسبب في أثر جانبي غير مقصود يُعرف باسم انهيار الاستكشاف (Exploration Collapse).

• الظاهرة: في النماذج اللغوية الكبيرة (LLMs) القياسية، يؤدي زيادة درجة حرارة أخذ العينات ($\tau$) عادةً إلى زيادة التنوع وتحسين دقة pass@n (الحصول على إجابة صحيحة واحدة على الأقل في $n$ من المحاولات). ومع ذلك، في نماذج LRMs التي خضعت للتدريب اللاحق بالتعلم التعزيزي، غالباً ما تفشل زيادة درجة الحرارة في تحسين pass@n أو حتى تؤدي إلى تدهور الأداء.
• السبب: يحدد المؤلفون أن التدريب اللاحق بالتعلم التعزيزي يعمل على تحسين الصحة (correctness)، مما يتسبب في جعل توزيع الاحتمالات في الطبقة النهائية مركزاً للغاية (إنتروبيا منخفضة). يصبح النموذج مفرط الثقة، مما يؤدي فعلياً إلى "ضغط" الكتلة الاحتمالية على فرضية مهيمنة واحدة.
• الفرصة الخفية: على الرغم من انهيار الطبقة النهائية، يلاحظ المؤلفون أن الطبقات المتوسطة تحتفظ بعدم يقين كبير (إنتروبيا عالية). وهذا يخلق عدم تماثل في الإنتروبيا (entropy asymmetry): حيث يمتلك النموذج "خزانات إنتروبيا كامنة" في حالاته المخفية يتم التخلص منها أثناء عملية فك التشفير القياسية.

2. المنهجية: فك تشفير الاستكشاف الكامن (LED)

يقترح المؤلفون استراتيجية فك تشفير الاستكشاف الكامن (Latent Exploration Decoding - LED)، وهي استراتيجية لفك التشفير لا تتطلب تدريباً ولا تعديلاً في المعلمات (parameter-free)، وتستفيد من هذه الاحتمالات اللاحقة الكامنة لاستعادة القدرة على الاستكشاف دون التضحو بالدقة التي اكتسبها النموذج من التعلم التعزيزي.

المكونات الأساسية لـ LED:

1. استخراج الاحتمالات اللاحقة الكامنة:
   بدلاً من التخلص من الحالات المخفية المتوسطة، يقوم LED بتغذية الحالات المخفية من الطبقات $L-d+1$ إلى $L$ (حيث $L$ هي الطبقة النهائية و $d$ هو عمق الاستكشاف) مباشرة في رأس نموذج اللغة (LM-Head). يستخدم هذا تقنية "الخروج المبكر" (early exit) للحصول على مجموعة من الاحتمالات اللاحقة الكامنة $\{p_{L-d+1}, \dots, p_L\}$.

2. تصفية Top-k:
   لمنع فك التشفير لرموز (tokens) نادرة أو غير منطقية، يضع LED قيوداً على مساحة البحث. فهو يحدد أفضل $k$ من الرموز من الاحتمال اللاحق للطبقة النهائية ($p_L$) ويطبق هذا القناع (mask) على جميع الاحتمالات اللاحقة الكامنة. يضمن ذلك بقاء الاستكشاف ضمن المرشحات ذات المعنى الدلالي.

3. التجميع التراكمي واختيار الإنتروبيا:

   • التجميع: يقوم LED بتجميع الاحتمالات اللاحقة المصفاة باستخدام جمع تراكمي من الطبقة النهائية نزولاً إلى الطبقات الكامنة. بالنسبة لعمق محدد $l$، يكون الاحتمال اللاحق المجمع $p_{agg}^l$ هو المجموع الطبيعي للاحتمالات من الطبقة $l$ إلى $L$.
   • الاختيار: تقوم الخوارزمية بحساب الإنتروبيا لكل توزيع مجمع. وهي تختار العمق $l$ الذي يعطي أقصى إنتروبيا ($p_{explore} = \arg\max_l H(p_{agg}^l)$). يحدد هذا بشكل تكيفي الطبقة التي توفر أغنى إشارة استكشاف دون الحاجة لضبط يدوي للمعلمات الفائقة.

4. الموازنة بين الاستكشاف والاستغلال:

   • فحص الثقة: يستخدم LED احتمال أعلى 1 (top-1 probability) في الطبقة النهائية كمقياس للثقة. إذا كان النموذج واثقاً جداً (احتمالية عالية)، فإنه يستخدم الاستغلال (exploitation) (فك التشفير القياسي من $p_L$). إذا كانت الثقة منخفضة، فإنه يفعل الاستكشاف (exploration) (أخذ العينات من $p_{explore}$ المختارة).
   • خاص بـ DeepThink فقط: يتم تطبيق الاستكشاف حصرياً خلال مرحلة "DeepThink" (مسار الاستدلال)، حيث يبحث النموذج عن الحلول. خلال توليد الإجابة النهائية، يعود النموذج إلى فك التشفير القياسي لضمان اتباع المخرجات لمسار الاستدلال المقرر.

3. المساهمات الرئيسية

1. تحديد انهيار الإنتروبيا: تثبت الورقة تجريبياً أن التدريب اللاحق بالتعلم التعزيزي يسبب انهياراً في إنتروبيا الطبقة النهائية لنماذج LRMs، مما يجعل أخذ العينات القائم على درجة الحرارة غير فعال.
2. اكتشاف خزانات الإنتروبيا الكامنة: يكشف البحث أن الطبقات المتوسطة تحتفظ بإنتروبيا عالية، مما يوفر مصدراً قابلاً للاستخدام للاستكشاف يتجاهله فك التشفير القياسي.
3. اقتراح LED: استراتيجية بسيطة لفك التشفير لا تتطلب تدريباً، تقوم بتجميع الاحتمالات اللاحقة الكامنة واختيار العمق الأكثر معلوماتية عبر تعظيم الإنتروبيا.
4. تقييم شامل: تجارب واسعة النطاق على خمسة نماذج (Qwen3, MiMo, DeepSeek) وستة معايير اختبار (الرياضيات، العلوم، البرمجة) تُظهر تحسينات متسقة.

4. النتائج التجريبية

قيم المؤلفون LED على معايير تشمل GSM8K، MATH-500، AIME 2024/2025، GPQA-Diamond، وLiveCodeBench.

• مكاسب الأداء:
  • pass@1: تحسنت بمعدل 0.61 نقطة مئوية.
  • pass@16: تحسنت بمعدل 1.03 نقطة مئوية في المتوسط.
  • تفوق LED باستمرار على خطوط الأساس القوية مثل DoLa وSoftThinking وSoftThinking-Gumbel.
• استعادة حساسية درجة الحرارة: نجح تطبيق LED في إعادة تنشيط الارتباط الإيجابي بين درجة حرارة أخذ العينات ودقة pass@n. لقد تغير "ميل الدقة-درجة الحرارة" ($\alpha$) من قيمة سالبة (في نماذج RL-post-trained القياسية) إلى قيمة موجبة.
• الكفاءة:
  • لا تدريب: لا يتطلب LED أي تدريب إضافي للنموذج أو تحديثات للمعلمات.
  • عبء حسابي منخفض: عبء الاستدلال ضئيل (زيادة طول التوليد بأقل من 1%)، حيث أن $d$ و $k$ هما ثابتان صغيران.
• دراسات الاستبعاد (Ablation Studies):
  • أدى إزالة قيد "DeepThink-only" إلى إضعاف الأداء قليلاً.
  • تطبيق LayerNorm على الحالات المخفية حسن الاستكشاف (pass@16) ولكنه أضر بالدقة (pass@1).
  • أدت إزالة تصفية top-k إلى حدوث حلقات لا نهائية واستنفاد سعة السياق (context limit)، مما يثبت ضرورة حصر الاستكشاف في المرشحات المعايرة.

5. الأهمية

يعالج هذا العمل عقبة حرجة في الجيل الحالي من نماذج الاستدلال الكبيرة: المقايضة بين الصحة عالية الثقة (pass@1) والقدرة على استكشاف مسارات حل متنوعة (pass@n).

• الأثر العملي: بالنسبة للتطبيقات الواقعية مثل توليد الكود أو إثبات النظريات، حيث يتم التحقق غالباً من محاولات متعددة، يسمح LED للنماذج بتوليد مرشحات أكثر تنوعاً وصحة محتملة دون إعادة تدريب.
• الرؤية النظرية: يتحدى العمل الافتراض بأن الطبقة النهائية تحتوي على جميع المعلومات اللازمة لفك التشفير، مسلطاً الضوء على قيمة التمثيلات "الكامنة" في هياكل Transformer العميقة.
• القدرة على التعميم: كونه طريقة لا تتطلب تدريباً، يمكن نشر LED فوراً على نماذج LRMs الحالية لتعزيز قدرات الاستكشاف والمتانة لديها.

باختصار، يعمل فك تشفير الاستكشاف الكامن (LED) بفعالية على "إحياء" قدرة الاستكشاف في نماذج الاستدلال الحديثة من خلال النظر بعمق أكبر في الحالات المخفية للشبكة، مما يقدم حلاً بسيطاً وقوياً لانهيار الاستكشاف الناتج عن التعلم التعزيزي.