ReLaX: Reasoning with Latent Exploration for Large Reasoning Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "ReLaX: الاستدلال باستخدام الاستكشاف الكامن للنماذج الاستدلالية الضخمة".

1. بيان المشكلة

تعالج الورقة عقبة حرجة في تدريب النماذج الاستدلالية الضخمة (LRMs) باستخدام التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR).

• انهيار الإنتروبيا والتقرير الزائد (Over-Determinism): بينما يحسن RLVR القدرة على الاستدلال، فإنه غالبًا ما يدفع توزيع السياسة نحو التقرير الزائد. تتقارب السياسة قبل الأوان نحو فضاء فرعي ضيق، مما يسبب "انهيار الإنتروبيا". يؤدي هذا إلى استكشاف غير فعال وأداء دون المستوى الأمثل.
• قصور الأساليب القائمة على مستوى الرمز (Token-Level): تحاول الحلول الحالية التخفيف من ذلك عن طريق زيادة إنتروبيا مستوى الرمز (مثل إعادة تشكيل المكافآت، أو تنظيم الإنتروبيا، أو تثبيت الرموز عالية الإنتروبيا). ومع ذلك، يرى المؤلفون أن هذه الأساليب سطحية:
  • تتعارض مع الميل الطبيعي للتعلم التعزيزي لتقليل الإنتروبيا.
  • تفشل في التقاط البنية الحسابية الغنية للنماذج متعددة الوسائط (MLLMs)، حيث لا تتوافق الحسابات المتقاطعة عبر الوسائط الداخلية مع مخرجات النصوص أحادية الوسائط.
  • لا تعالج السبب الجذري: فقدان المرونة في الديناميكيات الكامنة (تطور الحالة الخفية).

2. المنهجية: إطار عمل ReLaX

يقترح المؤلفون إطار عمل ReLaX (الاستدلال باستخدام الاستكشاف الكامن)، وهو إطار ينقل التركيز من إحصائيات الرموز إلى الديناميكيات الكامنة للحالات الخفية للنموذج.

أ. الأساس النظري: نظرية مؤثر كوبمان (Koopman Operator Theory)

لجعل الديناميكيات الكامنة غير الخطية وعالية الأبعاد للنماذج اللغوية الكبيرة (LLMs) قابلة للتحليل، يستفيد ReLaX من نظرية مؤثر كوبمان.

• الخطيّة (Linearization): تسمح هذه النظرية بتمثيل التطور غير الخطي للحالات الخفية ($x_{t+1} = f(x_t)$) كتطور خطي في فضاء لانهائي الأبعاد من الملحوظات.
• قاموس كوبمان العصبي (Neural Koopman Dictionary): يستخدم المؤلفون ResKoopNet لتعلم قاموس عصبي ($g(x) = \sigma(Wx)$) يقوم بخرائط الحالات الخفية إلى تمثيل فضاء خطي. يتم تعلم هذا القاموس مرة واحدة على بيانات السياسة الأولية ثم يتم تجميده.

ب. المقياس الرئيسي: التشتت الطيفي الديناميكي (DSD)

باستخدام التمثيل الخطي، يقدم المؤلفون التشتطت الطيفي الديناميكي (DSD) كمقياس لقياس استكشاف السياسة.

• التعريف: يُعرف DSD بأنه تباين قيم magnitudes للقيم الذاتية (eigenvalues $\Lambda$) لمؤثر كوبمان لمسار معين:
  $$\text{DSD}(x) = \text{Var}(|\Lambda|)$$
• التفسير:
  • DSD منخفض: يشير إلى طيف مركز، مما يعني حسابات داخلية متدهورة ومتكررة وصلبة (انهيار الإنتروبيا).
  • DSD مرتفع: يشير إلى طيف مشتت، مما يعني ديناميكيات داخلية غنية وغير متجانسة ومرنة قادرة على دعم مسارات استدلال متنوعة.

ج. هدف التحسين

يدمج ReLaX مقياس DSD في هدف تحسين السياسة النسبي للمجموعات (GRPO) عبر حد التنظيم ($\mathcal{L}_{xp}$).

• التنظيم المشكل بالميزة (Advantage-Shaped Regularization): لضمان أن يكون الاستكشاف مفيدًا، يتم وزن عقوبة DSD بالجزء الموجب من الميزة ($\hat{A}_i$). وهذا يشجع المرونة فقط على طول المسارات التي تحقق مكافآت إيجابية.
  $$\tilde{\mathcal{L}}_{xp} = \log \left( \frac{1}{R} \sum_{i=1}^R \exp(-\text{clip}(\hat{A}_i, 0) \cdot \text{DSD}(x_i)) \right)$$
• تنظيم KL التكيفي: لمنع عدم الاستقرار الناتج عن التشتت المفرط، يتم تطبيق عقوبة تباعد KL تكيفية فقط على المسارات التي يتجاوز فيها DSD عتبة $\xi$.
• الهدف النهائي:
  $$J(\theta) = J_{\text{GRPO}}(\theta) + \alpha \tilde{\mathcal{L}}_{xp} + \beta \sum_{i \in I} D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})$$

3. المساهمات الرئيسية

1. مقياس DSD: مقياس مبتكر يلتقط عدم تجانس ديناميكيات الاستدلال الكامنة، مما يوفر توصيفًا أعمق للاستكشاف من إنتروبيا الرموز السطحية.
2. إطار عمل ReLaX: نهج مبدئي لتنظيم المقايضة بين الاستكشاف والاستغلال من خلال تحسين الديناميكيات الكامنة المرنة صراحةً بدلاً من تنوع الرموز.
3. الأداء المتفوق (SOTA): أظهر تحسينات كبيرة مقارنة بالأساليب الحالية القائمة على مستوى الرمز عبر معايسات متنوعة.

4. النتائج التجريبية

قيم المؤلفون ReLaX على نماذج ذات 3 و7 مليارات معلمة (نماذج لغوية LLMs ونماذج متعددة الوسائط MLLMs) عبر معايسات متعددة.

• الاستدلال متعدد الوسائط (VLMs):

  • تم الاختبار على 7 معايسات (مثل MMMU، MathVista، EMMA).
  • حقق ReLaX-VL-7B درجة متوسطة جديدة (SOTA) بلغت 53.2، متفوقًا على أفضل نتيجة سابقة (VL-Rethinker-7B عند 52.5).
  • أظهر ReLaX-VL-3B أداءً يتفوق على عدة نماذج بمستوى 7B، مما يدل على كفاءة قوية في التوسع.
  • أظهرت ديناميكيات التدريب أن ReLaX حافظ على إنتروبيا وDSD أعلى مقارنة بـ vanilla GRPO، مما منع الانهيار السريع الذي شوهد في النماذج المرجعية.

• الاستدلال الرياضي للنصوص فقط (LLMs):

  • تم الاختبار على 6 معايسات (مثل MATH500، AIME، AMC).
  • تفوق ReLaX-7B على السجل السابق (FR3E) بمقدار 4.3 نقطة على Qwen2.5-7B-Base و 6.3 نقطة على Qwen2.5-7B-Math.
  • في معيار AIME 2024، حقق ReLaX درجة 36.9، متفوقًا بشكل كبير على المنافسين.

• التعميم:

  • تعممت الطريقة بشكل جيد على عائلات نماذج ومقاييس مختلفة (Llama3.2، Qwen3).
  • أظهر التحليل النوعي أن نماذج ReLaX قدمت تحققًا ذاتيًا أكثر قوة (باستخدام المبادئ الرياضية) مقارنة بطرق مستوى الرمز التي غالبًا ما تهلوس بتنفيذ الكود أو تفشل في المتغيرات البصرية.

5. الأهمية والخاتمة

• تحول في النموذج (Paradigm Shift): ينتقل ReLaX إلى ما وراء التدخلات "على مستوى الرمز"، بحجة أن العقبة الحقيقية في توسيع نطاق LRMs هي صلابة الحسابات الكامنة الداخلية. من خلال تحسين الفضاء الكامن مباشرة، يحقق توازنًا أكثر فعالية بين الاستكشاف والاستغلال.
• التفوق متعدد الوسائط: الطريقة فعالة بشكل خاص لنماذج MLLMs، حيث تفشل إنتروبيا مستوى الرمز في التقاط تعقيد الاستدلال عبر الوسائط.
• الكفاءة: التكاليف الحسابية ضئيلة. يتم تعلم قاموس كوبمان مرة واحدة (تكلفة مهملة)، وتضيف عملية حساب DSD حوالي 10% فقط إلى وقت التشغيل لكل خطوة.
• الاتجاه المستقبلي: ترسي هذه الورقة الفضاء الكامن كحدود قوية لتعزيز قدرات الاستدلال، مما يشير إلى أن توجيه الاستكشاف عبر الخصائص الطيفية الديناميكية هو حل أكثر منهجية من التلاعب الهيوريستي بالرموز.