🤖 AI

Risk-Controlled Lean-as-Judge for Natural-Language Mathematical Reasoning

تقدم هذه الورقة COVCAL، وهو إطار عمل للتحكم في المخاطر يصادق على موثوقية استخدام الصياغة الرسمية بلغة "Lean" كحكم للمسائل الرياضية ذات اللغة الطبيعية من خلال الاختيار الديناميكي للإجابات بناءً على تغطية البرهان وإشارات التشخيص، مما يثبت أنه بينما تنتج أدوات الصياغة الرسمية التلقائية الصغيرة إشارة نادرة للغاية تمنع القبول المتحكم فيه في المخاطر، فإن أدوات الصياغة الرسمية المتخصصة تمكّن من الاختيار عالي الدقة تحت حدود مخاطر صارمة.

المؤلفون الأصليون: Pauline Bourigault, Xiaotong Ji, Matthieu Zimmer, Rasul Tutunov, Haitham Bou Ammar

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pauline Bourigault, Xiaotong Ji, Matthieu Zimmer, Rasul Tutunov, Haitham Bou Ammar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقوم بتصحيح كومة من الواجبات المنزلية في الرياضيات. لديك مساعد آلي ذكي للغاية وصارم للغاية يُدعى Lean. مهمة "لين" هي التحقق مما إذا كانت إجابة الطالب مثالية رياضياً عن طريق محاولة بناء برهان رسمي لها.

عادةً، إذا قال "لين" "نجاح البرهان"، فأنت تعلم أن الإجابة صحيحة. ولكن ماذا لو قال "فشل البرهان"؟ هل يعني ذلك أن الطالب مخطئ؟ أم يعني فقط أن الروبوت ارتبك، أو نفد وقته، أو لم يستطع فهم خط يد الطالب؟

هذه الورقة البحثية، "التحكم في المخاطر عبر استخدام Lean كحَكَم" (Risk-Controlled Lean-as-Judge)، تعالج هذه المشكلة تحديداً. يجادل المؤلفون بأنه لا يمكننا الوثوق بإشارة "لا" من "لين" بشكل أعمى. بدلاً من ذلك، قاموا ببناء نظام جديد يسمى COVCAL (المعاير بالتغطية - Coverage-Calibrated)، والذي يعمل كمرشح ذكي، يقرر متى نثق في "لين" ومتى نقول: "ليس لدي معلومات كافية للحكم".

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: "منحدر التغطية" (The Coverage Cliff)

تخيل أنك تبحث عن نوع معين من الطيور في غابة شاسعة.

الخبر الجيد: إذا وجدت طائراً وكان من النوع الصحيح بوضوح، فأنت متأكد بنسبة 96% أنك على صواب.
الخبر السيئ: إذا لم تجد الطائر، فهذا لا يعني أن الطائر ليس موجوداً. قد يعني ذلك أنك بحثت في 10% فقط من الغابة (تغطية منخفضة)، أو أن منظارك كان ضبابياً (الروبوت لم يستطع ترجمة الرياضيات).

تسمي الورقة هذا الأمر "منحدر التغطية".

التغطية العالية: إذا تمكن الروبوت من فحص معظم الإجابات الممكنة ووجد فائزاً، فإن هذا الفائز صحيح بالتأكيد تقريباً (دقة 96%).
التغطية المنخفضة: إذا فحص الروبوت جزءاً ضئيلاً جداً من الإجابات وفشل، فإن "الفائز" الذي اختاره هو مجرد تخمين (دقة 20% فقط).

الخطر يكمن في معاملة "البحث الفاشل" على أنه "إجابة خاطئة". توضح الورقة أن فشل البرهان غالباً ما يكون مجرد "خريطة مفقودة"، وليس "وجهة خاطئة".

2. الحل: COVCAL (المرشح الذكي)

ابتكر المؤلفون نظام COVCAL، وهو نظام لا يسأل فقط "هل أثبت 'لين' ذلك؟"، بل يطرح ثلاثة أسئلة قبل الوثوق بالنتيجة:

هل بحثنا في مساحة كافية من الغابة؟ (تغطية النوع المكتوب - Typed Coverage: هل فهم الروبوت لغة الرياضيات؟)
هل وجدنا فائزاً بالفعل؟ (تغطية البرهان - Proved Coverage: هل نجح الروبوت في إثبات إجابة ما؟)
هل الفائز أفضل بوضوح من الآخرين؟ (الهامش الرسمي - Formal Margin: هل أثبت الروبوت الإجابة الأفضل، أم أنه أثبت فقط إجابة ضعيفة بينما تجاهل منافساً أقوى غير مثبت؟)

القاعدة: يقبل COVCAL الإجابة فقط إذا كان "البرهان" قوياً و كانت "التغطية" عالية بما يكفي لنكون متأكدين. إذا كانت التغطية منخفضة جداً، يقول COVCAL: "أمتنع عن الإجابة". فهو يرفض التخمين.

3. الملحوظة: يجب أن يكون الروبوت متخصصاً

اختبرت الورقة نوعين من "عقول الروبوتات" (نماذج التحويل التلقائي إلى صيغ رسمية - autoformalizers) للقيام بعملية الترجمة:

العام (نموذج 7B): هذا الروبوت جيد في أشياء كثيرة ولكنه سيء في ترجمة الرياضيات المعقدة. نجح في ترجمة 28% فقط من المسائل. وبسبب فقدانه لهذا القدر الكبير، كان "منحدر التغطية" حاداً جداً. لذا، كان على نظام السلامة (COVCAL) أن يقول "رفض الكل" لأنه لم يتمكن من الحصول على بيانات كافية ليكون آمناً.
المتخصص (نموذج برهان 8B Prover): هذا الروبوت تم تدريبه خصيصاً على البراهن الرياضية. قام بترجمة 79% من المسائل. فجأة، أصبحت البيانات كثيفة بما يكفي! أصبح بإمكان نظام السلامة الآن أن يقول: "حسناً، أرى جزءاً كافياً من الغابة. يمكنني الوثوق بهذا البرهان".

الدرس المستفاد: الأمر لا يتعلق فقط بامتلاك روبوت أكبر؛ بل يتعلق بامتلاك الروبوت المناسب للمهمة. الروبوت المتخصص هو ما يجعل نظام السلامة يعمل؛ أما الروبوت العام فيجعله يتعطل.

4. مفاجأة "الأمانة" (Faithfulness)

أجرى المؤلفون أيضاً تدقيقاً يدوياً (فحص بشري) للبراهن. ووجدوا ميزة غريبة:

أحياناً، يثبت "لين" عبارة هي صحيحة، ولكنها غير ذات صلة بالسؤال الأصلي.
تشبيه: تخيل أن طالباً سُئل: "ما هو 2 + 2؟". كتب الطالب برهاناً يثبت أن "2 + 2 = 4" هي حقيقة، ولكنه أثبت أيضاً أن "القمر مصنوع من الجبن" هي حقيقة. قد يفحص "لين" برهان الجبن ويقول "نجاح!"، رغم أنه لم يجب على السؤال الرياضي.
وجدت الورقة أن حوالي نصف البراهن "الناجحة" كانت مجرد هذه الحقائق غير ذات الصلة. وهذا هو سبب حاجة النظام للحذر: "الضوء الأخضر" من "لين" لا يعني دائماً أن الإجابة صحيحة؛ بل يعني فقط أن العبارة صحيحة.

الملخص

تقترح الورقة طريقة جديدة لاستخدام البراهن الرياضية للذكاء الاصطناعي:

لا تذعر عند الفشل: فشل البرهان لا يعني بالضرورة إجابة خاطئة؛ قد يكون مجرد خطأ في الترجمة.
تحقق من التغطية: ثق في البرهان فقط إذا كان الروبوت قد فحص عدداً كافياً من الإجابات الممكنة لتكون متأكداً.
امتنع عندما لا تكون متأكداً: إذا لم يبحث الروبوت في مساحة كافية من المسألة، يجب على النظام أن يعترف بأنه لا يعرف، بدلاً من التخمين الخاطئ.
التخصص أمر جوهري: أنت بحاجة إلى روبوت متخصص في الرياضيات لجعل نظام السلامة هذا يعمل بفعالية.

باختصار، COVCAL هو حزام أمان يخبرنا بالضبط متى يمكننا الوثوق بروبوت الرياضيات ومتى يجب أن نتراجع ونقول: "أحتاج إلى مزيد من الأدلة".

ملخص تقني: التحكم في المخاطر عبر منهجية "Lean-as-Judge" لعمليات الاستدلال الرياضي باللغة الطبيعية

1. بيان المشكلة

تتناول الورقة البحثية التحدي المتمثل في استخدام مساعدات الإثبات الصورية (وتحديداً Lean) كحكام لعمليات الاستدلال الرياضي باللغة الطبيعية التي تولدها النماذج اللغوية الكبيرة (LLMs). وبينما يوفر نجاح إثبات في Lean دليلاً إيجابياً قوياً على صحة عبارة صورية، فإن غياب الإثبات يعد إشارة غامضة. فقد يشير فشل الإثبات إلى إجابة رياضية غير صحيحة، ولكنه قد يعود أيضاً إلى صياغة صورية سيئة النوع (ill-typed)، أو نقص في حقائق المكتبة، أو انتهاء وقت البحث عن الإثبات.

تعامل النهج الحالية فشل الإثبات كإشارة سلبية للصحة، مما يخاطر بخلط عدم الصحة الرياضية مع نقص التغطية الصورية. حدد المؤلفون ما يسمى بـ "منحدر التغطية" (coverage cliff): حيث تعتمد موثوقية الاختيار الصوري بشكل حاد على نسبة الإجابات المرشحة التي يمكن صياغتها صورياً وإثباتها بنجاح. عندما تكون التغطية عالية، يكون الاختيار الصوري دقيقاً للغاية؛ وعندما تكون التغطية منخفضة، تصبح الإشارة غير موثوقة.

المشكلة الجوهرية هي تحديد متى يجب على نظام لاحق أن يثق في إشارة Lean الصورية ومتى يجب عليه معاملتها كحالة "خارج التغطية" (أي غير محلولة) بدلاً من اعتبارها خاطئة، مع توفير ضمان للمخاطر في العينات المحدودة للإجابات المقبولة.

2. المنهجية: COVCAL

يقترح المؤلفون COVCAL (التحقق من التغطية عبر Lean)، وهو غلاف انتقائي محكوم بالمخاطر يقرر ما إذا كان سيقبل إجابة صورية أم يتجنبها بناءً على تشخيصات التغطية.

2.1 إطار الملاحظة الجزئية

يعامل النظام عملية الصياغة الصورية كآلية ملاحظة جزئية. فهو لا يلاحظ حقيقة كل إجابة مرشحة، بل يلاحظ فقط:

أي فئات الإجابات المعيارية تصل إلى عبارة Lean سليمة النوع (التغطية النوعية - Typed Coverage).
أي من تلك الفئات يتم إثباتها بنجاح (تغطية الإثبات - Proved Coverage).
وزن الفئة المثبتة ذات الوزن الأعلى مقابل فئة المنافس غير المثبتة ذات الوزن الأعلى (الهامش الصوري - Formal Margin).

تُعرف فئة الإجابة بأنها مجموعة من النصوص المرشحة التي تدل على نفس الإجابة النهائية (مثل $1/2$ ، $0.5 $،$ 2/4$). الفئات التي لا يتم صياغتها صورياً أو لا يتم إثباتها تُعتبر غير محلولة، وليست خاطئة تلقائياً.

2.2 تشخيصات التغطية

يحسب COVCAL أربعة مقاييس رئيسية لكل مسألة $x$ :

التغطية النوعية ( $C_{typ}$ ): إجمالي وزن فئات الإجابات التي وصلت إلى عبارة Lean سليمة النوع (الحالة: مثبت own، متحقق من النوع أو انتهاء الوقت).
تغطية الإثبات ( $C_{prf}$ ): إجمالي وزن فئات الإجابات التي تلقت إثباتاً تم التحقق منه بواسطة النواة (kernel).
كتلة المنافس غير المحلول ( $R_{unres}$ ): وزن فئة الإجابة ذات الوزن الأعلى التي لم يتم إثباتها.
الهامش الصوري ( $M$ ): الفرق بين وزن أعلى فئة مثبتة وكتلة المنافس غير المثبت.

2.3 الاختيار والتوثيق

يقبل COVCAL الفئة المثبتة ذات الوزن الأعلى فقط إذا تم استيفاء قاعدة معلنة مسبقاً بناءً على عتبات $(\tau_{typ}, \tau_{prf}, \tau_M)$ . إذا لم يتم استيفاء القاعدة، يتجنب النظام الإجابة (أو يعود إلى طريقة غير صورية مثل الاتساق الذاتي/self-consistency).

لضمان الموثوقية، يستخدم COVCAL توثيق المخاطر الانتقائية للعينات المحدودة. فهو يضمن أنه، باحتمالية $1-\delta$ ، يكون الخطر الانتقائي (معدل الخطأ) للإجابات المقبولة هو $\epsilon$ كحد أقصى. تم اقتراح نظامين للتوثيق:

نظام بونفيروني (Bonferroni Regime): يبحث في شبكة من العتبات على تقسيم المعايرة ويطبق تصحيح الحد العلوي الموحد ( $\delta/|T|$ ) للحساب بالاعتبار على المقارنات المتعددة. هذا النظام متحفظ ويتطلب كثافة إشارة عالية ليكون قابلاً للتطبيق.
نظام التطوير ثم المعايرة (Dev-then-Cal Regime): يختار العتبة على تقسيم تطوير مستقل ثم يوثقها مرة واحدة على تقسيم المعايرة باستخدام حد Clopper-Pearson واحد ( $\delta$ ). هذا النظام أكثر كفاءة في استخدام العينات ولكنه يتطلب فصلاً صارماً بين بيانات التطوير والمعايرة.

2.4 الحدود النظرية

تثبت الورقة أنه بدون تشخيصات التغطية (أي الاعتماد فقط على وجود إثبات)، لا يمكن اشتقاق أي شهادة صحة نقطية غير تافهة إذا وجدت فئة منافس غير متكافئة وغير محلولة. إن فقدان الدليل الصوري ليس دليلاً على الخطأ الرياضي، بل هو دليل على الحالة "غير المحلولة".

3. المساهمات الرئيسية

توصيف منحدر التغطية: في مجموعة بيانات MATH-500، يوضح المؤلفون أن الإجابة "الفائزة بالإثبات" تكون صحيحة بنسبة 96% عند ارتفاع تغطية الإثبات، ولكن بنسبة 20% فقط عند انخفاض التغطية. وهذا يثبت أن إثباتات Lean موثوقة فقط عندما تكون التغطية والهامش مرتفعين.
ندرة الإشارة وموثوقيتها: الإشارة الصورية نادرة وغير كاملة. نموذج صياغة آلية (auto-formalizer) بحجم 7B يثبت فئة لـ 28% فقط من المسائل. علاوة على ذلك، كشف تدقيق يدوي أن 43% فقط من هذه الإثباتات كانت وفية للمسألة الأصلية (والباقي عبارة عن هويات تافهة أو عبارات صحيحة ولكنها غير ذات صلة).
منهجية COVCAL: إطار عمل للتنبؤ الانتقائي يوثق المخاطر تحت الملاحظة الجزئية. إنه يتعامل صراحة مع عدم التماثل في فشل الإثبات ويوفر ضمانات للعينات المحدودة للتنبؤات المقبولة.
قابلية التنفيذ المعتمدة على المكون الصوري: توضح الورقة أن قابلية تنفيذ الشهادة محكومة بتغطية الصياغة الآلية. النموذج (7B) الذي يقوم بالصياغة الآلية ينتج إشارة ضعيفة جداً لدرجة تجعل نظام بونفيروني يرفض جميع تقسيمات bootstrap الـ 20، بينما النموذج المتخصص في الإثبات (Goedel-Prover-V2-8B) الذي يحقق تغطية 79% يجعل المنهج قابلاً للتطبيق في 17/20 من التقسيمات.

4. النتائج التجريبية

أجريت التجارب على مجموعة فرعية منقحة من MATH-500 (378 مثالاً) باستخدام Qwen2.5-Math-7B للتوليد ومختلف النماذج الصورية للصياغة الآلية.

الأداء المرجعي: يحقق الاتساق الذاتي وحده دقة 91% دون التجنب.
أداء COVCAL:
- تحت نظام بونفيروني مع نموذج صياغة 7B، يرفض المنهج جميع المدخلات (0/20 تقسيم) لأن الإشارة نادرة جداً بحيث لا تستطيع استيفاء الحد العلوي الموحد الصارم.
- تحت نظام التطوير ثم المعايرة مع نموذج صياغة 7B، تم توثيق 12/20 من التقسيمات. نسبة المقبول تقريباً 21%، مع دقة مقبولة تبلغ 0.93.
- مع استخدام Goedel-Prover-V2-8B (نموذج صياغة متخصص)، ترتفع تغطية الإثبات إلى 79%. يصبح نظام بونفيروني قابلاً للتطبيق في 17/20 من التقسيمات، حيث يقبل حوالي 48% من المسائل بدقة مقبولة تبلغ 0.98.
تدقيق الوفاء (Faithfulness Audit): أظهر تدقيق يدوي لـ 45 مثالاً طبقياً أن 73.6% من العبارات المثبتة كانت غير تافهة وصحيحة، ولكن 43% فقط كانت وفية لنص المسألة. العديد من العبارات "المثبتة" كانت حقائق جانبية صحيحة أو هويات تافهة لم تستوعب قيود المسألة.

5. الأهمية والادعاءات

تدعي الورقة أن مساهمتها الأساسية هي تقديم توصيف دقيق لمتى ومع أي نموذج صياغة يمكن الوثوق بإشارة صورية جزئية تحت التحكم في المخاطر، بدلاً من مجرد تحسين الدقة الخام.

التحكم في المخاطر بدلاً من الدقة الخام: بما أن الاتساق الذاتي دقيق بنسبة 91% بالفعل، فإن قيمة COVCAL تكمن في قدرته على تقديم شهادة للمجموعة الفرعية من الإجابات التي يقبلها، مفرقاً بين "المتحقق منها" و"غير المحلولة" بدلاً من "الصحيحة" و"الخاطئة".
التعامل مع الملاحظات الجزئية: يعيد العمل صياغة التحقق الصوري كمسألة تنبؤ انتقائي حيث تُعامل الإثباتات المفقودة كمرشحات غير محلولة، مما يمنع التصنيف الخاطئ للاستدلال الصحيح على أنه خاطئ بسبب فشل الصياغة الصورية.
الاعتماد على التخصص: تسلط النتائج الضوء على أن حجم النموذج ليس بديلاً عن التخصص. فالنموذج المتخصص في الإثبات يتفوق بشكل كبير على النماذج العامة الأكبر حجماً من حيث تغطية الإثبات، وهي القيد الأساسي للتحكم في المخاطر القابل للتوثيق.

يخلص المؤلفون إلى أن COCOVAL يعمل كواجهة متحفظة لاستخدام Lean كحكم: فهو قابل للتنفيذ ومعلوم فقط عندما تغطي الصياغة الآلية كتلة كافية من الإجابات لدعم شهادة المخاطر، لكنه لا يضمن التحقق من جميع الإجابات.