ملخص تقني: الحكم على ما لا يمكننا حله

بيان المشكلة

أظهرت التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) قدرة على توليد محاولات تبدو منطقية في الرياضيات ذات المستوى البحثي. ومع ذلك، تظل هناك عقبة حرجة: التحقق. يتطلب التحقق من هذه الحلول عادةً وقت خبراء نادراً، أو الاعتماد على مقيمين "خالين من الأوراكل" (oracle-free) مثل الحكام من النماذج اللغوية الكبيرة ونماذج المكافأة، والتي غالباً ما تكون غير موثوقة، ومنحازة، وعرضة للتضليل عبر الإشارات الأسلوبية أو عبارات الهيبة.

التحدي الجوهري الذي يتم معالجته هو كيفية تقييم صحة الحلول المرشحة لـ أسئلة بمستوى بحثي حيث لا تتوفر إجابات حقيقية (ground-truth)، والأسئلة التي لم تحلها النماذج المتطورة حالياً، وحيث لا يمكن توسيع نطاق التحقق من قبل الخبراء. تعاني الأساليب الحالية الخالية من الأوراكل (مثل التصويت بالأغلبية، ونماذج المكافأة، وحكام النماذج اللغوية الكبيرة) من صعوبة التمييز بين الحلول الصحيحة والخاطئة في هذا النطاق عالي الصعوبة، وغالباً ما تفشل في الفصل بين الاستدلال الصحيح وبين "الهلوسة التي تبدو منطقية ولكنها خاطئة".

المنهجية: المنفعة القائمة على التبعات (CBU)

يقترح المؤلفون إطار عمل للتقييم الخالي من الأوراكل يسمى المنفعة القائمة على التبعات (Consequence-Based Utility - CBU)، وهو مستند إلى المفهوم الرياضي لـ "الدعم عبر التبعات". الفرضية المركزية هي أن الحل الصحيح يحتوي على معلومات على مستوى الطريقة تنتقل بفعالية إلى المسائل ذات الصلة، بينما لا يفعل الحل الخاطئ ذلك.

الآلية الجوهرية

1. بناء الجوار: بالنسبة لسؤال بحثي مستهدف $Q$ وحل مرشح $C$، يقوم النظام ببناء مجموعة من أسئلة الجوار $\mathcal{N}(Q)$. هذه الأسئلة هي متغيرات من $Q$ (على سبيل المثال، تعديل المعاملات أو نظريات ذات صلة) مصممة لتكون قابلة للتحقق (تملك حقائق أرضية معروفة) وأسهل قليلاً من السؤال الأصلي، ومع ذلك يمكن حلها باستخدام المنطق المستمد من $C$.
2. النقل داخل السياق: يُستخدم الحل المرشح $C$ كـ نموذج استرشادي داخل السياق (exemplar) لنموذج حل $M_\theta$. يتم توجيه النموذج لحل كل سؤال $Q^* \in \mathcal{N}(Q)$ مشروطاً بـ $(Q, C)$.
3. تسجيل المنفعة: تُعرف درجة المنفعة $U(C)$ بأنها متوسط الدقة للمحلل على أسئلة الجوار عند تقديم $C$ كسياق.
   $$U(C) = \frac{1}{|\mathcal{N}(Q)|} \sum_{Q^* \in \mathcal{N}(Q)} \mathbb{E}_{\tilde{C} \sim M_\theta(\cdot|Q,C,Q^*)} [v(Q^*, \tilde{C})]$$
   حيث أن $v$ هو مُتحقق (verifier) يفحص صحة مخرجات المحلل.
4. التصنيف: يتم تصنيف المرشحين بناءً على درجات المنفعة المستحثة لديهم. تشير الدرجة الأعلى إلى أن المرشح يوفر استدلالاً أكثر فائدة وقابلية للنقل، مما يعني أنه من المرجح أن يكون صحيحاً.

مجموعة البيانات: EXPERTMATH

لتقييم هذا النهج، قدم المؤلفون EXPERTMATH، وهي مجموعة اختبار تتكون من:

• 192 مسألة بمستوى بحثي كتبها خبراء (تشمل نظرية التمثيل، والتركيب الجبري، والهندسة، ونظرية الهوموتوبي). نصف هذه المسائل لا تزال دون حل من قبل النماذج الرائدة (مثل GPT-5، Gemini-3-Pro).
• 425 مسألة تم إنشاؤها بواسطة النماذج اللغوية الكبيرة مشتقة من الأدبيات الموجودة.
• الحقيقة الأرضية (Ground Truth): كل مسألة مقترنة بحل مكتوب من خبير وتسعة حلول مرشحة تم إنشاؤها بواسطة النماذج اللغوية الكبيرة (أربعة صحيحة وخمسة خاطئة)، تم التحقق منها يدوياً من قبل البشر.

المساهمات الرئيسية

1. المنفعة القائمة على التبعات (CBU): طريقة تحقق مبتكرة خالية من الأوراكل، تقوم بتسجيل الحلول بناءً على أدائها اللاحق في الأسئلة ذات الصلة بدلاً من الفحص المباشر لنص الحل.
2. مجموعة بيانات EXPERTMATH: مجموعة بيانات عالية الصعوبة من مسائل الرياضيات بمستوى بحثي مع حلول موثقة من خبراء ومرشحات تم إنشاؤها بواسطة النماذج اللغوية الكبيرة، مصممة خصيصاً لاختبار طرق التقييم على المسائل التي لا تستطيع النماذج الحالية حلها مباشرة.
3. التفوق التجريبي: إثبات أن CBU يتفوق باستمرار على الخطوط المرجعية الحالية الخالية من الأوراكل، بما في ذلك حكام النماذج اللغوية الكبيرة، ونماذج المكافأة (RMs)، ونماذج المكافأة التوليدية (GenRMs).
4. تحليل الأخطاء وأنماط الفشل: تحديد أنماط فشل محددة في حكام النماذج اللغوية الكبيرة (مثل الاعتماد المفرط على الإسهاب، والضغط غير المبرر، وإشارات الهيبة) والتي يتجنبها CBU بنجاح من خلال معاقبة الحلول التي تفشل في نقل الاستدلال.

النتائج التجريبية

تم التقييم على EXPERTMATH باستخدام نماذج مثل GPT-OSS-120B و Qwen3-235B-A22B:

• جودة التصنيف: يحسن CBU مقاييس التصنيف بشكل كبير مقارنة بالخطوط المرجعية.
  • بالنسبة لـ GPT-OSS-120B الذي يعمل كمحلل/مقيم، يحسن CBU من Acc@1 (دقة أفضل حل مصنف) من 67.2% إلى 76.3% ومن AUC (المساحة تحت المنحنى) من 71.4% إلى 79.6%.
  • لوحظت مكاسب مماثلة في النماذج الأصغر (على سبيل المثال، ارتفع AUC لـ GPT-OSS-20B من 69.0 إلى 79.2).
• فجوة المحلل والمقيم: يحافظ CBU على فصل أكبر بين الحلول الصحيحة والخاطئة حتى في الأسئلة التي لا يستطيع المحلل الأساسي حلها بنفسه. بينما تتدهور قدرة حكام النماذج اللغوية الكبيرة على التمييز بين الحلول الصحيحة والخاطئة بشكل حاد مع زيادة صعوبة المسألة، يظل CBU قوياً.
• القدرة التنبؤية: تحقق مصنفات الانحدار اللوجستي المدربة على درجات CBU دقة أعلى في التنبؤ بالصحة الثنائية مقارنة بتلك المدربة على درجات حكام النماذج اللغوية الكبيرة (زيادة قدرها +6 إلى +18 نقطة مئوية عبر النماذج الأساسية).
• المتانة تجاه الأسلوب: على عكس حكام النماذج اللغية الكبيرة، الذين غالباً ما يتم تضليلهم بواسطة الحلول الخاطئة المسهبة أو التي تبدو "ذات سلطة"، يقوم CBU بخفض تصنيف الحلول ذات الضغط غير المبرر (الخطوات المفقودة) والاستدلال الخاطئ لأن هذه الحلول تفشل في توفير معلومات قابلة للنقل لأسئلة الجوار.

الأهمية والادعاءات

يزعم البحث أن المنفعة القائمة على التبعات تقدم بديلاً قابلاً للتوسع وموثوقاً للتحقق من قبل الخبراء البشريين للمخرجات العلمية بمستوى بحثي. تكمن أهميتها في:

• التحقق الخالي من الأوراكل: تتيح تقييم المسائل "غير القابلة للحل" دون الحاجة إلى أوراكل للحقيقة الأرضية للسؤال المستهدف المحدد.
• التحول في نموذج التقييم: تنقل التقييم من "الفحص الساكن" (الحكم على نص البرهان) إلى "المنفعة الديناميكية" (الحكم على قدرة البرهان على تمكين حل المسائل ذات الصلة).
• القابلية للتطبيق العملي: يقدم المؤلفون دليلاً للممارسين، يوضح أن CBU يظل فعالاً حتى عندما يتم إنشاء أسئلة الجوار بواسطة النماذج اللغوية الكبيرة (بشرط أن تكون الأسئلة المستهدفة صعبة بما يكفي) وأن التقديرات المستقرة يمكن تحقيقها بعدد معتدل من عمليات التشغيل (على سبيل المثال، $n \ge 8$).

يخلص المؤلفون إلى أن CBU مناسب بشكل خاص للتحقق العلمي عالي المخاطر حيث يتطلب الأمر فصلاً عالي الثقة بين الفرضيات الصحيحة والخاطئة، وحيث تفشل حكام النماذج اللغوية الكبيرة التقليدية بسبب أخطاء الاستدلال الدقيقة أو الانحيازات الأسلوبية.