ملخص تقني: التعلم المعزز التبايني المقترن لتعميم الاستدلال في النماذج اللغوية

بيان المشكلة

أظهر التعلم المعزز باستخدام المكافآت القابلة للتحقق (RLVR) نجاحاً كبيراً في تعزيز الاستدلال في النماذج اللغوية الكبيرة (LLM)، لا سيية في المجالات الرياضية حيث يمكن للبرامج القائمة على القواعد التحقق من الإجابات النهائية. ومع ذلك، فإن هذا النموذج مقيد بمتطلبات المكافآت القابلة للتحقق، مما يحد من قابليته للتطبيق في مهام الاستدلال العامة (مثل الكيمياء، أو الأسئلة المفتوحة) حيث يصعب أو يستحيل التحقق الرسمي.

تحاول النهج الحديثة "الخالية من المُحقِّق" (verifier-free) تجاوز ذلك باستخدام احتمال توليد النموذج لإجابة مرجعية صحيحة كموجة للمكافأة. ورغم فعاليتها، تعتمد هذه الأساليب عادةً على التوليد القائم على السؤال فقط، حيث يقوم النموذج بأخذ عينات من مسارات الاستدلال بناءً على السؤال المدخل فقط. وقد حدد المؤلفون قصورين جوهريين في هذا التصميم:

1. كفاءة العينة المنخفضة: بدون توجيه، يواجه النموذج صعوبة في توليد مسارات استدلال مفيدة للأسئلة الصعبة، مما يؤدي إلى استكشاف غير فعال لمساحة الاستدلال.
2. عدم الاتساق بين المسار والإجابة: قد يؤدي أخذ العينات دون الوصول إلى الإجابة المستهدفة إلى مسارات استدلال سليمة منطقياً ولكنها تفشل في التوافق مع التنسيق أو التمثيل المحدد للحقيقة (ground truth)، مما يتسبب في تلقي الاستدلال الصحيح لمكافآت منخفضة.

المنهجية: التعلم المعزز التبايني المقترن (CoVRL)

يقترح البحث إطار عمل CoVRL، وهو إطار يربط بين الاستدلال التبايني والتعلم المعزز لمعالجة قيود التدريب القائم على السؤال فقط. الابتكار الجوهري هو اقتران توزيعات المسبق (prior) والبعدي (posterior) من خلال استراتيجية أخذ عينات هجينة.

1. الصيغة التباينية

يتم تأطير عملية الاستدلال كمسألة متغير كامن حيث تعمل مسارات الاستدلة ($z$) كوسيط بين السؤال ($x$) والإجابة ($y$). الهدف هو تحسين الاحتمال الهامشي $p(y|x) = \int p(y|z, x)p(z|x) dz$.

• التوزيع المسبق ($p_\phi(z|x)$): يمثل التوليد القائم على السؤال فقط، مما يعكس ظروف الاستدلال الحقيقية حيث تكون الإجابة مجهولة.
• التوزيع البعدي ($q_\psi(z|x, y)$): يمثل التوليد الموجه بالإجابة، حيث يتم أخذ عينات من المسارات مشروطة بكل من السؤال والإجابة الصحيحة لضمان الاتساق.

تقوم النهج القياسية بتحسين التوزيع المسبق (غير فعال) أو التوزيع البعدي (مما يسبب عدم تطابق بين التدريب والاستدلال). يقدم CoVRL توزيعاً مركباً $p'(z|x, y)$ يجمع بينهما:
$$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$$
يسمح هذا التوزيع المركب للنموذج بالتعلم من الإشارات الموجهة بالإجابة مع الحفاظ على التوافق مع ظروف الاستدلال.

2. استراتيجية أخذ العينات الهجينة

بدلاً من أخذ عينات مباشرة من التوزيع المركب على مستوى الرمز (token)، يستخدم CoVRL استراتيجية أخذ عينات هجين خارج السياسة (off-policy hybrid sampling):

• لكل مثال تدريبي، يأخذ النموذج عينات عشوائية من المسبق باحتمالية $\alpha$ أو من البعدي باحتمالية $1-\alpha$.
• ترجيح الأهمية (Importance Weighting): لتحسين التوزيع المركب المستهدف باستخدام عينات من التوزيع الهجين، تطبق الطريقة ترجيح الأهمية على تحديثات تدرج السياسة.
• هندسة الأوامر (Prompt Engineering): يتم تنفيذ المسبق والبعدي باستخدام نموذج لغوي واحد مع قوالب أوامر مختلفة:
  • المسبق: السؤال $\leftarrow$ الاستدلال $\leftarrow$ الإجابة.
  • البعدي: السؤال $\leftarrow$ الإجابة $\leftarrow$ الاستدلال (توفير الإجابة كـ سياق لتوليد الاستدلال).

3. هدف التحسين

يعمل هدف التدريب على تعظيم الحد الأدنى للبرهان (ELBO)، والذي يتكون من:

• مصطلح إعادة البناء: يشجع على توليد مسارات تؤدي إلى الإجابة الصحيحة. يتم تحسين هذا المصطلح باستخدام تحسين السياسة النسبي للمجموعة (GRPO) مع مكافآت مستمدة من احتمال تنبؤ النموذج للإجابة نفسها (مما يلغي الحاجة لمحقِّقين خارجيين).
• مصطلح التنظيم: هو مصطلح تباعد KL $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ الذي يقيد التوزيع المركب ليبقى قريباً من التوزيع المسبق. يضمن ذلك أن أنماط الاستدلال المتعلمة أثناء التدريب (التي قد تستخدم توجيه الإجابة) تنتقل بفعالية إلى مرحلة الاستدلال (حيث لا تتوفر الإجابة).
• تقدير KL: اشتق الورقة مُقدِّرات KL ذات تباين منخفض وغير سالبة باستخدام متغيرات التحكم القائمة على تباعد بريجمان (Bregman divergence)، للتعامل مع عدم التطابق في التوزيع بين أخذ العينات الهجين والتوزيع المركب المستهدف.

المساهمات الرئيسية

1. الصياغة التباينية للاستدلال: صاغ المؤلفون تحسين الاستدلال كمسألة استدلال تبايني، مما يوحد نظرياً بين أنماط التوليد المسبق (القائم على السؤال فقط) والبعدي (الموجه بالإجابة) ضمن إطار عمل قابل للتطبيق.
2. استراتيجية أخذ العينات الهجينة: اقترحوا آلية توازن بين التعلم الموجه بالإجابة (من أجل الكفاءة والاتساق) والقدرة على الانتقال إلى مرحلة الاستدلال (عبر المسبق)، مما يعالج المقايضة بين كفاءة العينة والتوافق بين المسار والإجابة.
3. تحسين التوزيع المركب: من خلال بناء وتحسين توزيع مركب، يتيح CoVRL استكشافاً فعالاً مع الحفاظ على اتساق قوي بين الفكر والإجابة، متجنباً مشاكل التغطية التي يعاني منها التدريب القائم على التوزيع البعدي فقط.

النتائج التجريبية

قام المؤلفون بتقييم CoVRL على مجموعة شاملة من الاختبارات المرجعية، بما في ذلك الاستدلال العام (MMLU-Pro, GPQA, TheoremQA) والاستدلال الرياضي (AIME'24, MATH-500, إلخ)، باستخدام نماذج Qwen2.5-7B-Base وQwen3.

• مكاسب الأداء: حقق CoVRL تحسناً بنسبة 12.4% عن النموذج الأساسي وتحسناً بنسبة 2.3% عن أقوى النماذج المرجعية الخالية من المُحقِّق (مثل VeriFree و RLPR و LaTRO) في المتوسط.
• التعميم: على الرغم من التدريب أساساً على أسئلة غير رياضية، أظهر النموذج مكاسب كبيرة في الاختبارات الرياضية، مما يشير إلى أن قدرات الاستدلال المتعلمة قابلة للتعميم عبر المجالات.
• ديناميكيات التدريب: أظهرت التجارب أن التوزيع البعدي يوفر توجيهاً فعالاً لتحسين المكافأة، بينما يتحسن التوزيع المسبق بشكل مطرد، مما يؤكد أن التوجيه ينتقل بفعالية إلى مرحلة الاستدلال.
• دراسات الاستئصال (Ablation Studies):
  • نسبة أخذ العينات ($\alpha$): تفوقت نسبة أخذ العينات المتوازنة ($\alpha=0.5$) على الإعدادات المتطرفة، مما يؤكد ضرورة اقتران كلا التوزيعين.
  • المتانة: أظهرت الطريقة تحسينات متسقة عبر أحجام نماذج مختلفة (من 7B إلى 14B) وبنيات مختلفة.
  • جودة الاستدلال: أشارت تقييمات البشر والتقييم بواسطة النماذج اللغوية (LLM-as-a-judge) إلى تحسينات في الواقعية، والصلاحية، والاتساق، وفائدة مسارات الاستدلال الوسيطة.

الأهمية والادعاءات

يزعم البحث أن CoVRL يوفر إطار عمل مبدئي لتعزيز قدرات الاستدماء العامة للنماذج اللغوية دون الاعتماد على مُحقِّقين خارجيين. ومن خلال الاقتران الصريح بين التوزيعات المسبقة والبعدية، يتغلب هذا النهج على عدم كفاءة أخذ العينات القائم على السؤال فقط وعدم تطابق التدريب مع الاستدلال في حالة التوجيه بالإجابة.

يؤكد المؤلفون أن نهجهم يساهم في دمقرطة الوصول إلى الاستدلال المتقدم للذكاء الاصطناعي من خلال إزالة التبعية لمحركات التحقق القوية والمتخصصة في مجالات معينة. وبينما يقرون بإمكانية إساءة الاستخدام (مثل توليد معلومات مضللة متطورة)، فإن العمل يضع نفسه كخطوة نحو استدلال أكثر متانة وعمومية في النماذج اللغوية الكبيرة، خاصة في المجالات التي يصعب فيها التحقق الرسمي حالياً. وتشير النتائج إلى أن تطوير أنماط استدلال أساسية من خلال هذا النهج التبايني المقترن أكثر فعالية من تحسين الحلول المخصصة لمجالات بعينها.