ملخص تقني: كيف تبدأ هو كيف تستنتج: دفع الاستكشاف في التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR) عبر الأولويات الضبطية المسبقة (Prefix-Tuned Priors)

1. بيان المشكلة

برز التعلم التعزيزي ذو المكافآت القابلة للتحقق (RLVR) كنموذج قوي لتعزيز قدرات الاستنتاج لدى النماذج اللغوية الكبيرة (LLMs) في مهام مثل حل المسائل الرياضية وإثبات النظريات. ومع ذلك، يحدد المؤلفون قصوراً حرجاً في مناهج RLVR الحالية: انهيار الإنتروبيا (entropy collapse).

بينما يحسن RLVR غالباً دقة المسار الواحد (Pass@1)، فإنه يفشل تكراراً في توسيع نطاق تغطية مسارات الاستنتاج الناجحة. يتجلى هذا في انخفاض تنوع المخرجات، حيث يتقارب النموذج نحو مجموعة ضيقة من مسارات الاستنتاج. وتعتبر تقنيات الاستكشاف الحالية، مثل تنظيم الإنتروبيا أو المكافآت الجوهرية، غير كافية لأنها تعامل التوزيع الأساسي للنموذج ككتلة ثابتة وتحاول تعديل هدف RL أو إجراء أخذ العينات. يجادل البحث بأن هذه الطرق غير كافية لأن عملية التعزيز (RL) تتشكل بقوة بواسطة التوزيع القبلي (prior distribution) للنموذج الأساسي. علاوة على ذلك، فإن تقنيات الاستكشاف السلبية غالباً ما تؤدي إلى تدهور جودة التوليد، مما ينتج عنه مسارات استكشاف مشوشة لا تساهم في الاستنتاج الفعال.

التحدي الجوهري هو تشجيع الاستكشاف الفعال — اكتشاف سلوكيات استنتاجية متنوعة، وذات صلة بالمهمة، وعالية الجودة — دون جعل السياسة تنهار في مسارات مكررة أو منخفضة الجودة، ودون تحمل التكلفة الحسابية لتحديث كافة معاملات النموذج.

2. المنهجية: إطار عمل IMAX

يقترح المؤلفون إطار عمل IMAX (Information-Maximizing Augmented eXploration)، وهو إطار عمل خفيف الوزن ينقل هدف التحسين من معاملات النموذج اللغوي الكبير (LLM) إلى ضبط المطالبات الناعمة (soft prompt tuning). بدلاً من تعديل عملية RL فوق توزيع قبلي ثابت، يقوم IMAX بتعلم مجموعة من البادئات الناعمة (soft prefixes) التي تعمل بنشاط على إعادة تشكيل التوزيع القبلي للنموذל فوق مسارات الاستنتاج.

2.1 الاستنتاج المشروط بالبادئة

تتضمن الآلية الجوهرية مجموعة من $C$ من البادئات الناعمة (رموز افتراضية مستمرة) $\mathcal{E} = \{e_1, \dots, e_C\}$. بالنسبة لمطالبة مدخلة معينة $x$، يتم إلحاق بادئة $e_z$ بتسلسل تضمين المدخلات. يظل النموذج الأساسي (backbone LLM) ثابتاً (frozen)، وتكون السياسة $\pi_E(y|x, z)$ مشروطة بكل من المطالبة وهوية البادئة المختارة $z$.

• التهيئة (Initialization): يتم تهيئة البادئات من مجموعة من المطالبات النصية ذات المعنى الدلالي (مثل: "قدم المتغيرات صراحة"، "قسم إلى حالات") المولدة بواسطة نموذج لغوي كبير خارجي. يضمن ذلك أن تبدأ البادئات باستراتيجيات استنتاج متميزة.
• التحكم (Control): تعمل كل بادئة بمثابة "مقبض تحكم"، مما يستحث توزيع مسارات (rollout distribution) متميزاً ويوجه النموذج نحو مناطق مختلفة من مساحة الاستنتاج الخاصة به (على سبيل المثال: الحلول الجبرية مقابل الرسوم البيانية مقابل الحلول الشبيهة بالكود).

2.2 مكافأة تعظيم المعلومات (InfoMax Reward)

لمنع مجموعة البادئات المتعلمة من الانهيار في ضوابط مكررة (حيث تؤدي البادئات المختلفة إلى مسارات متطابقة)، قدم المؤلفون مكافأة InfoMax. الهدف هو تعظيم المعلومات المتبادلة (Mutual Information - MI) بين هوية البادئة $Z$ والمسار المولد $Y$، بشرط المطالبة $X$:
$$I(Z; Y | X) = H(Y | X) - H(Y | X, Z)$$
بشكل حدسي، يشجع هذا الأمر البادئات المختلفة على إنتاج سلوكيات استنتاجية صالحة ومتميزة لنفس السؤال.

2.3 الحد الأدنى التبايني والتدريب

إن حساب المعلومات المتبادلة بشكل مباشر هو أمر مستعصٍ حسابياً. لذا اشتق المؤلفون حداً أدنى تباينياً باستخدام بعد نظر تبايني (variational posterior) $q_\phi(z | x, y)$، وهو مصنف خفيف الوزن يتم تدريبه للتنبؤ بالبادئة التي ولدت استجابة معينة $y$ بناءً على المطالبة $x$.

• الصيغة العكسية: استخدموا التفكيك العكسي للمعلومات المتبادلة: $I(Z; Y | X) = H(Z | X) - H(Z | X, Y)$.
• صياغة المكافأة: تُعرف مكافأة InfoMax بـ $\log q_\phi(z | x, y)$. يصبح الهدف الإجمالي لمجموعة البادئات هو:
  $$\max_E \mathbb{E} [R(x, y) + \beta \log q_\phi(z | x, y)]$$
  حيث $R(x, y)$ هي المكافأة القابلة للتحقق القياسية (الصحة)، و $\beta$ هو معامل ضبط (hyperparameter).

2.4 التحسين التناوبي (Alternating Optimization)

تتبع عملية التدريب مخطط تحسين تناوبي (Coordinate Ascent Variational Inference):

1. تحديث بعد النظر ($q_\phi$): مع تثبيت مجموعة البادئات، يتم تحديث المصنف $q_\phi$ للتنبؤ بهوية البادئة من زوج (المطالبة-الاستجابة)، والذي يتم توليده بدون البادئة الناعمة لمنع تسرب المعلومات.
2. تحديث مجموعة البادئات ($E$): مع تثبيت $q_\phi$، يتم تحديث البادئات الناعمة باستخدام خوارزمية تحسين السياسة النسبية الجماعية (GRPO) المعززة بمكافأة InfoMax.
3. أخذ العينات الطبقي (Stratified Sampling): أثناء التدريب، يتم إقران كل مطالبة بهويات بادئات متميزة لضمان التغطية الموحدة لمساحة البادئات ضمن كل مجموعة GRPO.

3. المساهمات الرئيسية

1. نموذج RLVR خفيف الوزن: يقدم البحث طريقة لتحسين الاستنتاج عبر تحسين مجموعة من المطالبات الناعمة بدلاً من معاملات النموذج الكاملة. هذا يعيد تشكيل توزيع التوليد المشروط لنموذج ثابت دون العبء الحسابي للضبط الدقيق الكامل.
2. مكافأة InfoMax للتنوع: اقترح المؤلفون مكافأة InfoMax على مستوى الاستجابة تشجع صراحةً البادئات المختلفة على إحداث مسارات استنتاج متميزة وذات صلة بالمهمة، مما يمنع انهيار مجموعة البادئات إلى ضوابط مكررة.
3. التحقق التجريبي: أظهرت التجارب المكثفة على معايير الاستنتاج الرياضي (GSM8K, MATH-500, Minerva) عبر ثلاثة أحجام من النماذج (Qwen2.5-1.5B, Qwen3-4B, Qwen3-8B) أن IMAX يحسن جودة الاستنتاج وتنوعه.

4. النتائج التجريبية

قيم المؤلفون IMAX مقابل عدة خطوط أساس (baselines)، بما في ذلك GRPO للسياسة الكاملة، والتهيئة بالمطالبات النصية، وطرق RLVR أخرى موجهة نحو التنوع (DIVER, MERCI).

• مكاسب الأداء: تفوق IMAX باستمرار على نماذج RLVR المعتمدة على الضبط المسبئي (prefix-tuned) القياسية.
  • في نموذج Qwen3-4B، حسن IMAX قيمة Pass@4 بنسبة تصل إلى 11.60% وقيمة Avg@4 بنسبة 10.57% مقارنة بالنماذج القياسية في معايير محددة.
  • في نموذج Qwen3-8B، أظهر DAPO+IMAX تحسينات كبيرة مقارنة بـ DAPO-prefix في GSM8K و MATH-500 و Minerva.
• التنوع والتغطية:
  • تحليل t-SNE: أظهرت تصورات تضمينات الاستجابة أن البادئات المستحثة بواسطة IMAX نتجت عن عناقيد (clusters) أكثر انفصالاً مقارنة بالطرق الأخرى، مما يشير إلى تنوع أقوى داخل المجموعة الواحدة.
  • مكونات الاستنتاج: كشفت الخرائط الحرارية أن البادئات المختلفة نجحت في استحثاث أنماط استنتاج متميزة (مثلاً: البادئة 1 تفضل المعالجة الجبرية، والبادية 2 تفضل تقسيم الحالات والتحقق)، وهو ما يتوافق مع تهيئتها الدلالية.
  • أداء الأوراكل (Oracle): تجاوز الأداء المشترك لعدة بادئات (Oracle) أفضل بادئة منفردة، مما يؤكد أن البادئات تغطي مناطق متكاملة وناجحة من مساحة المسألة.
• الكفاءة: يتطلب IMAX تكلفة تدريب أقل بكثير (أقل بـ 3.0 إلى 6.0 مرات من حيث ساعات GPU) مقارم بـ GRPO لكامل المعلمات، حيث يقوم فقط بتحديث تضمينات البادئة الخفيفة ورأس المصنف.

5. الأهمية والادعاءات

يزعم البحث أن كيف يبدأ النموذج عملية الاستنتاج (القبلي/Prior) يحدد بشكل أساسي كيف يستنتج. من خلال التعامل مع المطالبات الناعمة كمتغيرات تحكم قابلة لإعادة الاستخدام، يوفر IMAX حلاً قابلاً للتوسع لمشكلة الاستكشاف في RLVR.

• استقلالية الخوارزمية: تم تصميم الإطار ليدمج بسلاسة في خطوط أنابيب RLVR الحالية (مثل GRPO, DAPO).
• تنوع مهيكل: على عكس الطرق التي تزيد العشوائية ببساطة، يشجع IMAX على تنوع استنتاجي مهيكل، مما يضمن أن يؤدي الاستكشاف إلى مسارات متميزة دلالياً وعالية الجودة.
• محدوديات متواضعة: يقر المؤلفون بأن الطريقة مصممة أساساً لمهام الاستنتاج، حيث أظهرت مكاسب محدودة في مهام اتباع التعليمات العامة. بالإضافة إلى ذلك، تعتمد الفعالية على جودة المطالبات النصية الأولية، والتي قد تتطلب تصميماً يدوياً أو إعادة ضبط عبر المجالات المختلفة. كما تفرض البادئات المتعلمة عبئاً إضافياً طفيفاً ومستمراً أثناء الاستنتاج.

باختصار، يثبت IMAX أن تحسين "بداية" عملية التوليد عبر البادئات الناعمة هو استراتيجية فعالة للغاية لدفع الاستكشاف وتحسين قدرات الاستنتاج في النماذج اللغوية الكبيرة، مما يوفر بديلاً فعالاً من حيث الحوسبة للتعلم التعزيزي للسياسة الكاملة.