MathAdv: What Theorem Provers Know, Reason, Formalize, and Generalize
تقدم الورقة البحثية MathAdv، وهو معيار تشخيصي شامل يمتد عبر 13 مجالاً رياضياً يقيم أثباتات النظريات من خلال مهام مساعدة متعددة للكشف عن الاختناقات الحرجة في الصياغة الرسمية، والتباينات في الأداء الخاصة بكل مجال، وحدود المتانة التي غالباً ما تحجبها مقاييس الدقة التجميعية.
لطالما كانت الرياضيات الاختبار الأسمى للذكاء الاصطنا-عي. فهي تتطلب ما هو أكثر من مجرد حفظ الحقائق أو رصد الأنماط؛ إنها تتطلب عقلاً يستوعب الأفكار المجردة، ويتبع سلسلة من المنطق، ويبني استنتاجاً خطوة بخطوة. لسنوات طويلة، اختبر الباحثون هذه الآلات عبر مطالبتها بحل مسائل مكتوبة بلغة عادية، مكتفين بالتحقق مما إذا كانت الإجابة النهائية صحيحة. لكن الإجابة الصحيحة لا تضمن أن الآلة قد استوعبت الرحلة؛ إذ يمكن للحاسوب أن يخمن الرقم الصحيح دون أن يدرك حقاً المنطق الكامن وراءه. ولحل هذه المعضلة، توجه العلماء إلى إثبات النظريات الصوري. وهذه طريقة يجب على الآلة فيها كتابة برهانها بلغة صارمة قابلة للقراءة حاسوبياً، تعمل بمثابة قواعد عالمية للرياضيات. في هذا النظام، يجب التحقق من كل خطوة بواسطة برنامج، مما يضمن سلامة المنطق وأن الاستنتاج يتبع بالضرورة الافتراضات الأولية. إن هذا يلغي إمكانية التخمين المحظوظ، ويجبر الآلة على إظهار عملها بطريقة يستحيل تزييفها.
تقدم دراسة جديدة اختباراً شاملاً يسمى MathAdv لمعرفة مدى كفاءة أنظمة الذكاء الاصطناعي الحديثة في الأداء الفعلي ضمن هذه البيئة الصارمة. جمع الباحثون 321 مسألة رياضية من الكتب المدرسية والمصادر المتخصصة، تغطي ثلاثة عشر مجالاً مختلفاً يتراوح من الجبر الأساسي والهندسة إلى المواضيع المتقدمة مثل الطوبولوجيا ودراسة الموجات. لم يكتفوا بمطالبة الآلات بإثبات هذه النظريات فحسب؛ بل صمموا امتحاناً متعدد الطبقات لتشخيص مواضع نجاح الآلات ومواضع فشلها بدقة. فإلى جانب المهمة الرئيسية المتمثلة في كتابة برهان صوري، طلب الباحثون من النماذج الإجابة على أسئلة اختيار من متعدد حول المفاهيم الرياضية ذات الصلة، وحل المسائل باستخدام لغة عادية دون أي كود برمجي، والتعامل مع نسخ من نفس المسألة أُعيدت كتابتها لتبدو مختلفة تماماً. سمح هذا النهج للفريق بالفصل بين قدرة النموذج على فهم الرياضيات وقدرته على ترجمة هذا الفهم إلى القواعد الصارمة لبرنامج حاسوبي.
تكشف النتائج عن مشهد لا يزال فيه الذكاء الاصطناعي بعيداً عن المثالية، رغم العناوين الإخبارية الأخيرة حول قدراته المتنامية. إن النتيجة الأكثر أهمية هي أن العقبة الكبرى أمام هذه الآلات ليست نقص المعرفة الرياضية، بل صعوبة ترجمة تلك المعرفة إلى برهان صوري. ففي حالات عديدة، تمكنت النماذج من تحديد الاستراتيجية الصحيحة لحل مسألة ما بشكل صحيح، بل وحتى الإجابة على أسئلة حول المفاهقات الأساسية، ومع ذلك فشلت في كتابة البرهان النهائي بلغة الحاسوب. الأمر يشبه طالباً يمكنه شرح مفهوم فيزيائي ببراعة في مقال، لكنه لا يستطيع كتابة المعادلات لإثباته. وجدت الدراسة أنه بينما تحسنت بعض الأنظمة المتخصصة مع التدريب، إلا أن معدل نجاحها الإجمالي ظل منخفضاً، حيث لم يحل أفضل النماذج أداءً سوى حوالي اثنين وعشرين بالمائة من المسائل. وهذا يشير إلى أن الفجوة بين فهم فكرة رياضية وبناء برهان موثق لا تزال تشكل هوة سحيقة.
اكتشف الباحثون أيضاً أن هذه الآلات هشة بشكل مفاجئ عندما يتغير عرض المسألة. فعندما أعاد الخبراء كتابة التحدي الرياضي نفسه باستخدام كلمات مختلفة أو هيكل مختلف قليلاً، غال حل النماذج في حلها، رغم أنها كانت قد حلت النسخة الأصلية. يشير هذا إلى أن الآلات لا تستنتج المنطق الجوهري للمسألة بمتانة كما كان مأمولاً؛ بل يبدو أنها تعتمد على الأنماط المألوفة والصياغات المحددة. فإذا تغيرت الصياغة، تنهار قدرتها على إيجاد الحل. علاوة على ذلك، أظهرت الدراسة أن الأداء تباين بشكل كبير اعتماداً على الموضوع. كانت النماذج أفضل بكثير في حل المسائل في مجالات مثل نظرية الأعداد والجبر الخطي، ويرجع ذلك على الأرجح إلى رؤيتها لمزيد من الأمثلة على هذه المواضيع أثناء تدريبها، لكنها كان أداؤها سيئاً للغاية في مجالات مثل الطوبولوجيا، حيث يصعب صياغة المفاهيم وتكون أقل شيوعاً في بيانات تدريبها.
ومن المثير للاهتمام أن الطريقة التي يتم بها توجيه الآلات أثرت أيضاً بطرق غير متوقعة. فعندما قدم الباحثون لنماذج الذكاء الاصطناعي العامة تلميحات باللغة الإنجليزية العادية حول كيفية التعامل مع مسألة ما، تحسن أداؤها. ومع ذلك، بالنسبة للنماذج التي تم تدريبها خصيصاً لتكون مثبتات للنظريات، جعلت هذه التلميحات نفسها أداءها أسوأ. يشير هذا إلى أن الأنظمة المتخصصة قد تعلمت الاعتماد على أنماطها الداخلية الخاصة لإيجال البراهن، وأن إضافة تفسيرات بشرية يمكن أن يربك استراتيجياتها المحددة. تخلص الدراسة إلى أنه بينما قطع الذكاء الاصطناعي خطوات واسعة في الاستدلال الرياضي، فإنه لا يزال يعاني في الخطوة النهائية والحاسمة المتمثلة في التحقق الصوري. فالآلات غالباً ما تستطيع رؤية المسار، لكنها تتعثر عندما تُطالب بسلوك هذا المسار في لغة الحاسوب الصارمة وغير المرنة. يوفر هذا المعيار التشخيصي صورة أوضح لهذه القيود، موضحاً أن الاستدلال الرياضي الحقيقي في الآلات يتطلب ما هو أكثر من مجرد الحصول على الإجابة الصحيحة؛ إنه يتطلب فهماً قوياً ومرناً يمكنه الصمود أمام التغييرات في كيفية طرح المسألة وصرامة البرهان الصوري.
ملخص تقني: MathAdv
بيان المشكلة
يوفر إثبات النظريات الرسمي إطارًا صارمًا وقابلًا للتحقق آليًا لتقييم الاستدلال الرياضي، ومع ذلك تعاني المعايير المرجعية الحالية من ثلاث قيود حرجة تحجب الفهم الدقيق لقدرات النماذج:
دقة تشخيصية محدودة: عادة ما تكتفي المعايير المرجعية الحالية بالإبلاغ عن دقة الإثبات الإجمالية فقط. وهذا يفشل في التمييز ما إذا كان الإخفاق ناتجًا عن نقص في الخلفية المعرفية الرياضية، أو خطأ في الاستدلال غير الرسمي، أو عدم القدرة على ترجمة حجة صحيحة إلى إثبات رسمي.
تغطية نطاق ضيقة: تركز مجموعات البيانات الموجودة بشكل كبير على المسائل ذات مستوى المسابقات في الرياضيات المدرسية والجامعية، مع تركيز شديد على الجبر ونظرية الأعداد. وتظل المجالات المتقدمة مثل الطوبولوجيا، وتحليل فوريه، والتحليل الدالي ممثلة تمثيلاً ناقصًا.
الافتقار إلى تقييم المتانة: تعتمد التقييمات عمومًا على صياغة واحدة ثابتة للمسألة. وهذا يتجاهل حساسية النماذج اللغوية للتغييرات الطفيفة في عرض المسألة، مما يجعل من الصعب تحديد ما إذا كان النجاح يعكس استدلالًا متينًا أم اعتمادًا على الأنماط المحفوظة والإشارات السطحية.
المنهجية
قدم المؤلفون MathAdv، وهو معيار مرجعي تشخيصي مصمم لمعالجة هذه القيود من خلال إطار تقييم مكوناتي.
بناء مجموعة البيانات
النطاق: تضم MathAdv 321 مسألة تغطي 13 مجالًا رياضيًا، تتراوح من مستويات البكالوريوس إلى الدراسات العليا (مثل: الجبر المجرد، التفاضل والتكامل، الطوبولوجيا، التحليل الدالي، والمنطق).
الصياغة الرسمية: تمت صياغة 298 مسألة بلغة Lean 4. أما الـ 23 مسألة المتبقية فقد تم الاحتفاظ بها للمهام المساعدة وأُرجئت صياغتها الرسمية بسبب فجوات في مكتبة Mathlib (مثل نقص التعريفات لمفاهيم الهندسة الريمانية مثل متباينة بيشوف-جروموف).
خط إنتاج يشرك العنصر البشري: لضمان الدقة الدلالية والقابلية للتجميع، استخدم المؤلفون خط إنتاج مدعوم بنماذج لغوية كبيرة مع مراجعة من خبراء بشريين. تضمنت هذه العملية:
الصياغة الآلية الأولية: يقوم نموذج لغوي كبير بصياغة مسودة بيان Lean 4.
تصحيح بناء الجملة: يقدم مترجم (compiler) لغة Lean ملاحظات للتصحيح التكراري حتى يتم التحقق من صحة الكود (type-checks).
التحقق الدلالي المزدوج: يقوم نموذج لغوي كبير مستقل وخبير في المجال بالتحقق من أن البيان الرسمي يطابق القصد الرياضي الأصلي.
المراجعة النهائية للخبير: يقوم خبير ثانٍ بإجراء عملية تحقق نهائية.
تصميم المهام التشخيصية
لكل مسألة، تبني MathAdv ما يصل إلى ثلاث مهام مساعدة لعزل قدرات محددة:
الإثبات الرسمي (الأساسي): المهمة القياسية المتمثلة في بناء إثبات لغة Lean 4 قابل للتحقق آليًا.
المعرفة (اختيار من متعدد): أسئلة تطلب من النموذج تحديد النظرية أو المفهوم أو الاستراتيجية ذات الصلة من بين خيارات معقولة. هذا يستقصي الخلفية المعرفية دون اشتراط بناء إثبات.
الاستدلال غير الرسمي (ملء الفراغات): مسائل الإجابة المباشرة التي تتطلب من النموذج حساب كمية أو تعبير مستهدف بلغة طبيعية، مما يعزل الاستدلال الرياضي عن قيود الصياغة الرسمية.
المتانة (متغيرات من صنع الخبراء): يقوم خبراء المجال بإعادة صياغة المسائل يدويًا للحفاظ على الرياضيات الأساسية مع تغيير العرض بشكل جوهري (مثل تغيير الصياغة أو الهيكل). هذا يختبر ما إذا كانت النماذج تعتمد على صياغات محددة أم تمتلك استدلالًا قابلًا للتعميم.
المساهمات الرئيسية
معيار مرجعي واسع ومراجع من قبل الخبراء: تعد MathAdv معيارًا شاملاً يغطي 13 مجالًا رياضيًا متقدمًا مع مزيج من المهام الرسمية والمساعدة، بما في ذلك المجالات غير الممثلة كفاية مثل الطوبولوجيا والتحليل الدالي.
إطار تشخيصي مكوناتي: من خلال فصل بناء الإثبات الرسمي عن استرجاع المعرفة والاستدلال غير الرسمي، يسمح الإطار للباحثين بتحديد أوضاع الإخفاق بدقة (مثل فجوات المعرفة مقابل اختناقات الصياغة الرسمية).
التوصيف المنهجي لمثبتات النظريات: يقدم المؤلفون تقييمًا شاملًا للمثبتات المعاصرة، كاشفين عن التفاوتات في الأداء عبر المجالات وتأثيرات التوجيه باللغة الطبيعية المتغيرة.
النتائج
أسفر تقييم مختلف مثبتات النظريات (بما في ذلك DeepSeek-Prover، وGoedel-Prover، وInternLM، والنماذج العامة مثل GPT-5.4 وDeepSeek-R1) عن أربعة نتائج رئيسية:
الصياغة الرسمية هي اختناق رئيسي: غالبًا ما تحدد النماذج اتجاهات الإثبات الواعدة وتحل الرياضيات الكامنة (دقة عالية في مهام ملء الفراغات والاختيار من متعدد) لكنها تفشل في ترجمة هذه الرؤى إلى إثباتات Lean 4 صالحة. على سبيل المثال، حقق DeepSeek-Prover-V1.5 RL دقة بنسبة 11.25% في الإثباتات الرسمية مقابل 37.0% في مسائل الإجابة المباشرة.
تباين الأداء حسب المجال: يختلف الأداء بشكل كبير عبر المجالات الرياضية. فالنماذج المدربة بكثافة على رياضيات المسابقات (مثل Goedel-Prover-V2) تتفوق في نظرية الأعداد والجبر الخطي ولكنها تحقق دقة 0% في الطوبولوجيا. يشير هذا إلى انحياز بيانات التدريب وصعوبة صياغة المفاهيم المتقدمة رسميًا في المكتبات الحالية.
الفائدة المعتمدة على السياق لتلميحات اللغة الطبيعية: أدى تقديم تلميحات الاستدلال باللغة الطبيعية (المستمدة من إجابات الاختيار من متعدد) إلى تحسين الأداء للنماذج العامة (DeepSeek-V3.2، DeepSeek-R1) ولكنه أدى إلى تراجع الأداء للنماذج المتخصصة في الإثبات (متغيرات Goedel-Prover). يشير هذا إلى أن النماذج المتخصصة قد تعتمد على أنماط رسمية متعلمة يتم تعطيلها بواسطة التوجيه غير الرسمي.
الهشاشة تجاه إعادة الصياغة: تظهر النماذج "فجوة متانة". حلت معظم النماذج المسألة الأصلية بشكل أكثر تواترًا بكثير من المتغيرات المصاغة من قبل الخبراء (على سبيل المثال، حل Goedel-Prover-V2 ست مسائل أصلية مقابل صفر من المسائل المحولة). يشير هذا إلى الاعتماد على الأنماط السطحية وصياغات المسائل المحددة بدلاً من الفهم الرياضي المتين.
الأهمية
تجادل الورقة بأن دقة إثبات النظريات الإجمالية غير كافية لتشخيص قدرات أنظمة الذكاء الاصطناي الحديثة. ومن خلال تقديم MathAdv، يوضح المؤلفون أن التقييم المكوناتي يكشف عن أوضاع إخفاق متميزة:
فجوات المعرفة: قد تفتقر النماذج إلى النظريات المحددة المطلوبة لمجال ما.
أخطاء الاستدلال: قد تفشل النماذج في حل المسألة حتى في اللغة الطبيعية.
صعوبات الصياغة الرسمية: قد تفهم النماذج الرياضيات ولكنها لا تستطيع التعبير عنها بالبناء الصارم لمساعد الإثبات.
الحساسية للعرض: قد تفشل النماذج عند إعادة صياغة المسألة، مما يشير إلى نقص في التعميم الحقيقي.
يخلص المؤلفون إلى أن التقدم المستقبلي في الإثبات الرسمي للنظريات يتطلب ليس فقط استدلالًا رياضيًا أفضل، بل أيضًا تفاعلًا محسّنًا مع مساعدي الإثبات، وتغطية أفضل للمكتبات الرياضية المتقدمة (Mathlib)، واستراتيجيات تدريب تعطي الأولوية للمتانة تجاه إعادة صياغة المسائل على حساب حفظ صياغات محددة. إن مجموعة البيانات وسكريبتات التقييم متاحة للجمهور لتسهيل المزيد من الأبحاث في هذا الاتجاه.