QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

إليك ملخص تقني مفصل لورقة البحث بعنوان "QUESTA: توسيع قدرة الاستنتاج في النماذج اللغوية الكبيرة عبر تعزيز الأسئلة".

1. بيان المشكلة

أصبح التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) نموذجاً مهيمناً لتعزيز قدرات الاستنتاج في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، تشير الدراسات الحديثة إلى وجود قصور حرج: غالباً ما يفشل التعلم التعزيزي القياسي في توسيع قدرة الاستنتاج الجوهرية للنموذج بما يتجاوز ما هو مشفر بالفعل في النموذج الأساسي. بدلاً من ذلك، يميل النموذج إلى استغلال المعرفة الموجودة أو الإفراط في التكيف مع الأنماط السطحية.

تحدد الورقة مقايضة جوهرية في تدريب التعلم التعزيزي:

• المطالبات السهلة (Easy Prompts): يؤدي التدريب على المشكلات التي يستطيع النموذج حلها بالفعل إلى "انهيار الإنتروبيا" (entropy collapse)، حيث يفرط النموذج في التكيف مع أنماط الحلول المعروفة، مما يقلل التنوع ويؤدي إلى تدهور الأداء في المهام الأكثر صعوبة (خفض قيمة pass@k مع زيادة $k$).
• المطالبات الصعبة (Hard Prompts): يؤدي التدريب مباشرة على المشكلات الصعبة التي تكون فيها نسبة نجاح النموذج قريبة من الصفر إلى إشارات مكافأة شحيحة للغاية. ينتج عن ذلك بطء في التعلم، وعدم كفاءة في العينات، وغالباً ما يؤدي إلى فشل تام في إحراز أي تقدم لأن النموذج لا يستطيع توليد أي مسارات صحيحة لتلقي المكافأة.

التحدي الجوهري: كيف يمكن هيكلة تدريب التعلم التعزيزي لمعالجة مشكلات الاستنتاج عالية الصعوبة بفعالية دون المعاناة من شح المكافآت أو انهيار الإنتروبيا؟

2. المنهجية: QUESTA

يقترح المؤلفون QUESTA (تعزيز الأسئلة)، وهي استراتيجية قائمة على البيانات تقوم بحقن حلول جزئية (تلميحات) في مطالبات التدريب لدعم عملية التعلم.

الآليات الرئيسية:

• حقن الحل الجزئي (Partial Solution Injection): بدلاً من تقديم مشكلة صعبة خام، تقوم QUESTA بإضافة جزء من الحل الصحيح (على سبيل المثال، أول 50% من خطوات الاستنتاج أو كتلة الحل) إلى المطالبة. هذا يحول المشكلة المستعصية إلى مشكلة قابلة للحل حيث يحتاج النموذج فقط إلى إكمال الخطوات المتبقية.
• التعلم المنهجي (على مرحلتين) (Curriculum Learning):
  1. المرحلة الأولى (تلميح عالٍ): يتم تدريب النموذج على مطالبات معززة بنسبة عالية من التلميحات (على سبيل المثال، $p=50\%$). يوفر هذا إشارات مكافأة كثيفة، مما يسمح للنموذج بتعلم هيكل الحلول المعقدة.
  2. المرحلة الثانية (تلميح مخفض): يتم تقليل نسبة التلميح (على سبيل المثال، $p=25\%$). يُجبر النموذج على توليد جزء أكبر من الحل بشكل مستقل، مما ينقله تدريجياً من الاستنتاج المدعوم بالتلميحات إلى الاستنتاج المستقل.
• تصفية الصعوبة (Difficulty Filtering): تستهدف الطريقة تحديداً المجموعة "الأكثر صعوبة" من مجموعة البيانات (حيث تكون نسبة نجاح النموذج الأساسي قريبة من الصفر). وتستخدم خط أنابيب تصفية من مرحلتين لضمان تركيز موارد التعزيز على المشكلات التي تتطلب دعماً حقيقياً.
• التعامد (Orthogonality): تعمل QUESTA على مستوى المدخلات، وهي متوافقة مع خوارزميات التعلم التعزيزي الحالية (مثل GRPO و DAPO) دون تعديل دالة المكافأة أو خوارزميات التحسين.

الرؤية النظرية:

تقدم الورقة تحليلاً نظرياً يوضح أنه بدون التلميحات، إذا لم تتقاطع "مجموعة القدرة" (المخرجات المحتملة) للنموذج مع "مجموعة الحل"، فإن احتمال أخذ عينة لمسار صحيح يكون ضئيلاً جداً ($O(1/\delta_p)$). ومن خلال توفير تلميح، تقوم الطريقة بتفكيك المشكلة بفعالية، مما يزيد من احتمال أخذ عينة لمسار صالح إلى $O(1/\sqrt{\delta_p})$. وهذا يحسن كفاءة العينات بشكل كبير ويسمح للنموذج باكتشاف مسارات الحل التي كان سيفقدها لولا ذلك.

3. المساهمات الرئيسية

1. الاكتشاف التجريبي: يثبت المؤلفون أن تدريب التعلم التعزيزي على المطالبات السهلة يقلل من أداء pass@k (مما يقلل تنوع الاستنتاج)، بينما التدريب على المطالبات الصعبة بدون دعم يكون غير فعال.
2. إطار عمل QUESTA: تقديم طريقة تعزيز بيانات بسيطة وقابلة للتشغيل المباشر تستخدم الحلول الجزئية لإنشاء منهج تعليمي سلس لتدريب التعلم التعزيزي.
3. التبرير النظري: تقديم برهان رسمي يوضح أن تعزيز الحل الجزئي يقلل من ميزانية العينات المطلوبة لإيجاد حل من $O(1/\delta_p)$ إلى $O(1/\sqrt{\delta_p})$، مما يفسر تسارع التعلم.
4. نتائج رائدة (SOTA): تحقيق نتائج قياسية جديدة في الاختبارات الرياضية باستخدام نموذج بـ 1.5 مليار معلمة.

4. النتائج التجريبية

قيم المؤلفون QUESTA على نماذج Nemotron-1.5B و DeepScaleR-1.5B باستخدام مجموعة بيانات OpenR1-Math-220K.

اختبارات الأداء (Pass@1, Avg@32):

حقق نموذج QUESTA-Nemotron-1.5B نتائج قياسية جديدة للنماذج ذات الـ 1.5 مليار معلمة، متفوقاً على نماذج أكبر بكثير:

• AIME24: 72.50% (مقابل 61.77% للنموذج الأساسي؛ زيادة قدرها +10.73%).
• AIME25: 62.29% (مقابل 49.50% للنموذج الأساسي؛ زيادة قدرها +12.79%).
• HMMT25: 41.67% (مقابل 31.56% للنموذج الأساسي؛ زيادة قدرها +10.11%).
• المقارنة: تفوق نموذج QUESTA (1.5B) على نموذج DeepSeek-R1-Distill-32B في اختبار AIME25 بنسبة +11%، وطابقه أو تجاوزه في الاختبارات الأخرى، رغم امتلاكه عدد معلمات أقل بنحو 20 ضعفاً.

ملاحظات رئيسية:

• الحفاظ على Pass@k: على عكس التعلم التعزيزي القياسي الذي غالباً ما يشهد انخفاضاً في pass@k مع زيادة $k$ (بسبب الإفراط في التكيف)، تحافظ QUESTA على pass@k أو تحسنه عبر جميع قيم $k$، مما يشير إلى تعزيز تنوع الحلول.
• استقرار الإنتروبيا: يمنع التدريب باستخدام QUESTA انهيار الإنتروبيا، حيث يحافظ النموذج على سلوك استكشافي طوال فترة التدريب.
• التعميم: تتحسن النتائج وتعمم على المشكلات بدون تلميحات عند وقت التقييم. يتعلم النموذج حل المشكلة الكاملة بشكل مستقل بعد التدريب باستخدام الدعم.
• الكفاءة: المنهج التعليمي (50% $\leftarrow$ 25% تلميحات) يتقارب بشكل أسرع ويحقق دقة أعلى من التدريب باستخدام بيانات التلميحات العالية فقط أو بدون تلميحات.

5. الأهمية

• ديمقراطية الاستنتاج: تثبت QUESTA أن النماذج الصغيرة (1.5B) يمكن أن تحقق قدرات استنتاج تضاهي أو تتجاوز النماذج الأكبر بكثير (32B+) من خلال استراتيجيات تدريب فعالة بدلاً من مجرد زيادة حجم المعلمات.
• حل عقبة "المشكلة الصعبة": تقدم حلاً عملياً لمشكلة المكافأة الشحيحة في التعلم التعزيزي، مما يمكن النماذج من التعلم من مهام لم يكن بإمكانها حلها سابقاً.
• تحول في النموذج الفكري: تتحدى هذه الورقة الفكرة القائلة بأن التعلم التعزيزي يستغل فقط المعرفة المسبقة. فمن خلال استخدام الحلول الجزئية لتوجيه الاستكشاف، تظهر الورقة أن التعلم التعزيزي يمكنه حقاً توسيع قدرة الاستنتاج للنموذج.
• قابلية التطبيق الواسعة: رغم التركيز على الرياضيات، يشير المؤلفون إلى أن إطار العمل قابل للتطبيق على البرمجة، والمنطق الصوري، وغيرها من المهام الوكيلية (agentic tasks) التي تتطلب استنتاجاً خطوة بخطوة.

باختصار، تسد QUESTA الفجوة بين الحاجة إلى بيانات تدريب صعبة وعدم كفاءة المكافآت الشحيحة، مما يوفر طريقة قوية ومبنية على أسس نظرية لتوسيع قدرات الاستنتاج في النماذج اللغوية الكبيرة.