Likelihood scoring for continuations of mathematical text: a self-supervised benchmark with tests for shortcut vulnerabilities

ملخص تقني: تسجيل الاحتمالية لاستمراريات النصوص الرياضية

بيان المشكلة
يعد تقييم النماذج اللغوية في مجال الاستدلال التقني أمراً صعباً لأن الاستمراريات التقنية (مثل الاشتقاقات، البراهين، المعادلات) غالباً ما تمتلك أشكالاً متعددة صحيحة ومتكافئة تقريباً، مما يجعل الحكم على كل عنصر على حدة مشوباً بالضجيج. ومن ناحية أخرى، فإن التنبؤ بالرمز التالي (next-token prediction) التقليدي على النص الخام يكافئ نمذجة سطحية (بناء الجملة، الرموز) بدلاً من الاستدلال العميق. هناك حاجة إلى معيار يتم إنشاؤه تلقائياً يقع بين هذين القطبين: يكون غزيراً بما يكفي ليكون قابلاً للتجديد، وفي الوقت نفسه حساساً بما يكفي للكشف عن قدرات الاستدلال دون الاعتماد على تسميات بشرية أو إجابات قابلة للتحقق منها ولكنها هشة (مثل رياضيات المسابقات). علاوة على ذلك، هناك قلق من أن إشارات المكافأة المستخدمة في التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) يمكن "اختراقها" من قبل النماذج عبر استغلال الاختصارات (مثل حشو السياق) بدلاً من توليد تنبؤات حقيقية.

المنهجية
تقدم الورقة معياراً ثابتاً يعتمد على تنبؤ لاحقة المعادلة (equation-suffix prediction).

1. إعداد المهمة: يتم إعطاء نموذج متنبئ سياقاً مرئياً $X$ (نص الورقة السابق) وبادئة لمعادلة معروضة. يجب عليه توليد سلسلة مساعدة $Z$ (تنبؤ) لإكمال المعادلة.
2. آلية التسجيل: يقوم نموذج لغوي منفصل وثابت (الـ "مُقيّم" أو "الـ scorer"، $J$) بتعيين احتمالية الرمز التالي لـ $Y$ (الاستمرارية المخفية الحقيقية). المقياس الأساسي هو رفع الاحتمالية (likelihood lift) ($\Delta_J$)، وهو تعريف الزيادة في متوسط لوغاريتم الاحتمالية لـ $Y$ عندما يشترط المُقيّم وجود $Z$ مقابل عندما يشترط $X$ فقط (أو سلسلة تحكم).
   • الصيغة: $\Delta_J(X, Z, Y) = \frac{1}{T} \log p_J(Y | X, Z) - \frac{1}{T} \log p_J(Y | X)$.
3. المقياس الملطف: لمنع عدم التطابق الكارثي للنصوص النادرة (الشائع في LaTeX/TeX) من الهيمنة على الدرجة، استخدم المؤلفون clipLL2. يقوم هذا المقياس بقطع لوغاريتمات الاحتمالية لكل رمز من الأسفل عند $-2$ قبل المتوسط، مما يضمن بقاء التنبؤ مفيداً حتى لو ارتكب بعض الأخطاء المحلية، بشر استعادة المُقيّم للمسار لاحقاً.
4. ضوابط واختبارات الضغط:
   • التحكم في السياق بنفس الميزانية ($C_B$): يستبدل التنبؤ $Z$ بنص المصدر الخام من النص الذي سبق المعادلة مباشرة، باستخدام نفس ميزانية الرموز. هذا يختبر ما إذا كانت الإشارة ناتجة عن التنبؤ أم مجرد توفير المزيد من السياق.
   • التحكم في الضبط الدقيق للسياق فقط (Context-Only SFT Control): يتم ضبط المُقيّم (عبر LoRA) على مسار "السياق فقط" (بدون تنبؤات) ثم يتم تقييمه على أوراق بحثية لم تُستخدم في التدريب. هذا يختبر ما إذا كان المتنبئ يمكنه استغلال أوزان المُقيّم عبر "تجهيز السقالات" (scaffold priming) بدلاً من نقل المعلومات حول $Y$.
   • الحد الأعلى لللاحقة الحقيقية (True-Suffix Upper Bound): سقف نظري حيث تحتوي $Z$ حرفياً على اللاحقة المخفية $Y$.

المساهمات الرئيسية

1. معيار مؤتمت: مجموعة بيانات تتكون من 1,363 قطع لاحقة معادلة من 138 ورقة بحثية حديثة من arXiv (مجالات: quant-ph, hep-th, math-ph)، تم إنشاؤها تلقائياً دون اختيار بشري للمعادلات "المفضلة".
2. التقييم عبر النماذج: يوضح أن المعيار يمكنه التمييز بين عائلات النماذج (GPT-5.5, Opus 4.7, GPT-5.4 nano) وإعدادات جهد الاستدلال (عالي، متوسط، منخفض، لا يوجد) باستخدام مُقيِّمات ثابتة (Qwen3-8B و Kimi K2.6) دون تسميات بشرية.
3. تدقيق ضعف الاختصارات: يوفر إطاراً صارماً لاختبار ما إذا كانت مكافآت الاحتمالية عرضة لاستراتيجيات غير التنبؤ. تظهر الورقة أنه بينما تنجو النماذج القوية (GPT-5.5) من التحكم في السياق فقط، فإن النماذج الأضعف (GPT-5.4 nano) لا تفعل ذلك، مما يشير إلى أن الإشارة حقيقية بالنسبة للأولى ولكنها قد تكون قابلة للاستغلال أو غير موجودة بالنسبة للثانية.
4. تحليل المقياس: يتحقق من استخدام قواعد التسجيل الملطفة (clipLL2) بدلاً من لوغاريتم الاحتمالية الخام، موضحاً أن المقاييس الخام تهيمن عليها أخطاء الرموز الكارثية التي تحجب فائدة الاستدلال الصحيح.

النتائج

• التمييز بين النماذج: في معيار لاحقة المعادلة، تحقق تنبؤات GPT-5.5 (الاستدلال العالي) باستمرار أعلى رفع في الاحتمالية، تليها Opus 4.7، ثم GPT-5.4 nano. هذا الترتيب يظل ثابتاً عبر مُقيِّمي Qwen و Kimi.
• جهد الاستدلال: ضمن عائلات النماذج، تؤدي إعدادات جهد الاستدلال الأعلى (على سبيل المثال، GPT-5.5 عالي > متوسط > منخفض > لا يوجد) عموماً إلى رفع أعلى في الاحتمالية، مما يظهر تدرجاً رتيباً. ومع ذلك، فإن التباينات المتجاورة (مثل عالي مقابل متوسط) تكون أحياناً مشوشة وليست دائماً ذات دلالة إحصائية على مستوى العنصر الواحد، مما يؤكد الحاجة إلى التجميع الإحصائي عبر العديد من الأمثلة.
• أداء التحكم:
  • جميع إعدادات المتنبئ تتفوق على تحكم السياق بنفس الميزانية.
  • تحافظ تنبؤات GPT-5.5 على رفع إيجابي فوق تحكم SFT للسياق فقط (أقوى تحكم ثابت)، مما يشير إلى أنها تنقل معلومات حقيقية عن اللاحقة المخفية.
  • تفشل تنبؤات GPT-5.4 nano في التفوق على تحكم SFT للسياق فقط، مما يشير إلى أن إشارتها قد تكون غير قابلة للتمييز عن اختصارات حشو السياق تحت اختبار الضغط هذا.
• الاستمراريات الأطول: في نظام أصعب يتضمن استمراريات أطول من النثر وTeX المختلط، يظل الرفع إيجابياً ولكنه أكثر ضجيجاً وحساسية لتصميم المُقيّم وطول الهدف. تدرج جهد الاستدلال هنا أقل قوة مما هو عليه في لواحق المعادلات.

الأهمية والادعاءات
تضع هذه الورقة عملها كـ معيار ثابت وأداة تشخيصية، وليس كعرض لتدريب ناجح لـ RL. تكمن أهميتها الأساسية في:

1. جدوى مكافآت الاحتمالية: تدعم فرضية أن رفع الاحتمالية في الاستمراريات التقنية يمكن أن يعمل كإشارة مكافأة كثيفة ومرجعية ترتبط بقدرة النموذج وجهد الاستدلال.
2. السلامة والمتانة: تسلط الضوء على ضرورة تدقيق إشارات المكافأة ضد ضوابط ثابتة قوية (مثل اختصارات السياق القائمة على SFT) قبل نشرها في حلقات RLVR. حقيقة أن GPT-5.5 تنجو من هذه الضوابط بينما لا تفعل GPT-5.4 nano تشير إلى أن ليس كل "رفع احتمالية" متساوٍ؛ فبعضه قد يكون نتاج سمات خاصة بالنموذج أو اختصارات.
3. الوسط المنهجي: تقدم حلاً وسطاً بين قواعد "النموذج كحكم" (LLM-as-a-judge) الهشة (المعرضة لانحياز الأسلوب) وبين تشابه السلاسل البسيط (الجامد جداً بالنسبة للنصوص التقنية)، وذلك عبر الاستفوت من الطبيعة الاحتمالية للنماذج التوليدية التلقائية لتقييم فائدة التنبؤ بدلاً من صحته الحرفية.

يصرح المؤلفون صراحةً بأنهم لا يقومون بعملية تعلم معزز هنا؛ الهدف هو التحقق من خصائص الإشارة وتحديد الثغرات المحتملة (استغلال الاختصارات) التي يجب معالجتها قبل استخدام مثل هذه الإشارة في تحسين ما بعد التدريب.