🤖 machine learning

Evaluating the Architectural Reasoning Capabilities of LLM Provers via the Obfuscated Natural Number Game

تقدم هذه الورقة "لعبة الأعداد الطبيعية المموّهة" كمعيار لتقييم "الاستدلال الهيكلي" — وهو القدرة على تركيب البراهوُت باستخدام البديهيات المحلية فقط دون استعانة بقرائن دلالية — وتُبين أنه بينما تعاني النماذج اللغوية الكبيرة العامة من تدهور في الأداء تحت تأثير التمويه، تحافظ نماذج الاستدلال المتخصصة على دقتها، مما يميز الاستدلال المنطقي الحقيقي عن مطابقة الأنماط.

المؤلفون الأصليون: Lixing Li

نُشر 2026-05-04

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Lixing Li

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تُعلّم طالباً كيفية حل لغز رياضي. عادةً ما يأتي اللغز مع تسميات مفيدة مثل "الجمع" أو "الضرب" أو "اللاحق". قد يكون الطالب ذكياً، لكنه في الواقع لا يفهم قواعد اللعبة حقاً؛ بل قد يكون مجرد شخص يتعرف على كلمة "الجمع" ويسترجع حيلة حفظها مسبقاً.

هذه الورقة البحثية تطرح سؤالاً صعباً: هل تقوم هذه النماذج بالذكاء الاصطائي بحل الرياضيات فعلياً، أم أنها بارعة فقط في التعرف على الكلمات؟

لمعرفة ذلك، ابتكر الباحثون نسخة "معصوبة العينين" من لعبة رياضية شهيرة تسمى "لعبة الأعداد الطبيعية" (Natural Number Game). إليكم كيف فعلوا ذلك وما وجدوه، مشروحاً ببساطة:

التجربة: اللعبة "الفضائية"

أخذ الباحثون لعبة رياضية قياسية حيث لكل قاعدة ورقم اسماً واضحاً (مثل add أو zero). ثم قاموا بتشغيل "جهاز تشفير" عليها. استبدلوا كل اسم ذي معنى بسلاسل عشوائية وغير مفهومة مثل x9z و q22 و b7a.

اللعبة الأصلية: ترى كلمة add وتعرف أنها تعني الجمع.
اللعبة المشفرة (Obfuscated NNG): ترى x9z ولا تملك أي فكرة عما تعنيه. لا يمكنك التخمين؛ عليك النظر إلى المنطق الخاص بكيفية تركيب القطع معاً لتفهم ماذا تفعل x9z.

هذا الاختبار يقيس ما يسميه المؤلفون "الاستدلال الهيكلي" (Architectural Reasoning). وهو القدرة على بناء حل باستخدام المخططات الهيكلية (المنطق) فقط، مع تجاهل اللافتات المساعدة الموجودة على الأبواب (الأسماء).

النتائج: "ضريبة التأخير"

اختبر الباحثون عدة نماذج ذكاء اصطناعي رفيعة المستوى على كل من اللعبة الأصلية واللعبة المشفرة. ووجدوا أمرين رئيسيين:

1. "ضريبة التأخير الشاملة" (الجميع يصبح أبطأ)
عندما تم تشفير الأسماء، استغرق كل نموذج من نماذج الذكاء الاصطناعي وقتاً أطول لحل المسائل.

تشبيه: تخيل أنك تقود سيارتك إلى مقهى مألوف. أنت تعرف اللافتات، وأسماء الشوارع، والمعالم. الآن، تخيل أن شخصاً ما قام بطلاء جميع اللافتات وأعاد تسمية الشوارع بأحرف عشوائية. لا تزال تعرف كيف تقود، لكن عليك التوقف، والنظر إلى الخريطة، والتفكير بعمق أكبر عند كل منعطف. ستصل في النهاية، لكن الأمر سيستغرق وقتاً أطول بكثير.
النتيجة: اضطرت نماذج الذكاء الاصطناعي للقيام بعملية "إعادة بناء الخريطة الذهنية" هذه لكل مسألة. لم يكن بإمكانها الاعتماد على الذاكرة فحسب؛ بل كان عليها معالجة المنطق الخام، مما كلفها وقتاً إضافياً.

2. الانقسام بين "الاستدلال" و"التلقين"
بينما أصبح الجميع أبطأ، انقسمت دقة النماذج إلى مجموعتين متميزتين:

النماذج "العامة" (مثل GPT-4o، Claude): هذه النماذج تشبه الطلاب المتفوقين في حفظ البطاقات التعليمية. عندما تم تشفير الأسماء، ارتبكت. انخفض معدل نجاحها بشكل كبير.
- ماذا يعني هذا: كانت تعتمد على "اللافتات" (الأسماء) لحل اللغز. وعندما اختفت اللافتات، لم تعد قادرة على إيجاد طريقها.
نماذج "الاستدلال" (مثل DeepSeek-R1، GPT-5، DeepSeek-Prover-V2): هذه النماذج تشبه الطلاب الذين يفهمون قواعد اللعبة حقاً. حتى عندما تم تشفير الأسماء، ظل معدل نجاحها كما هو تماماً.
- ماذا يعني هذا: لم تكن بحاجة إلى التسميات. لقد نظروا إلى الهيكل المنطقي (الهندسة المعمارية) وفهموا الحل بنفس الكفاءة كما في السابق.

الخلاصة

تخلص الورقة البحثية إلى أن هناك فرقاً حقيقياً بين الذكاء الاصطناعي الذي يطابق الأنماط فحسب (مثل التعرف على كلمة "جمع") وبين الذكاء الاصطناعي الذي يمكنه الاستدلال حقاً عبر الهياكل المنطقية.

النماذج العامة تشبه السياح الذين يحتاجون إلى دليل إرشادي يحتوي على أسماء. إذا أخذت منهم الدليل، فسيضيعون.
نماذج الاستدلال تشبه المهندسين المعماريين الذين يمكنهم قراءة المخططات. حتى لو لم تكن هناك لافتات على المبنى، يمكنهم استنتاج كيفية ترابط الجدران والعوارض معاً.

تثبت هذه الدراسة أنه بينما تصبح جميع نماذج الذكاء الاصطناعي "أبطأ" عندما تُجبر على التفكير بدون تسميات، فإن نماذج "الاستدلال" الحقيقية فقط هي التي تستطيع الحفاظ على دقتها العالية في هذه البيئة "الفضائية". وهذا يشير إلى أنه لكي يتمكن الذكاء الاصطناعي من اكتشاف رياضيات جديدة في المستقبل (حيث لا توجد أسماء أو تسميات بعد)، فإننا بحاجة إلى هذه النماذج التي تركز على الاستدلال، وليس فقط تلك البارعة في مطابقة الأنماط.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تقييم قدرات الاستدلال الهيكلي لنماذج LLM عبر لعبة الأعداد الطبيعية المُعماة (Obfuscated Natural Number Game)."

1. بيان المشكلة

على الرغم من النجاح الذي حققته النماذج اللغوية الكبيرة (LLMs) في اختبارات الرياضيات الرسمية مثل MiniF2F وPutnamBench، إلا أن هناك غموضاً حرجاً لا يزال قائماً: هل تمتلك هذه النماذج قدرات استدلال منطقي حقيقية، أم أنها مجرد عملية مطابقة أنماط دلالية (Semantic Pattern Matching) لبيانات التدريب المسبق الخاصة بها؟

الفجوة: تعتمد الاختبارات الحالية غالباً على استرجاع المكتبات (مثل Mathlib)، حيث يعتمد النجاح على التعرف على التمهيدات (Lemmas) عالية المستوى والمعرفات الدلالية (مثل add أو succ). وهذا يفشل في اختبار قدرة النموذج على تركيب البراهين في مجالات رياضية "فضائية" (Alien Domains) حيث لا توجد مكتبات خارجية أو إشارات دلالية مألوفة.
الحاجة: لتحقيق الاكتشاف الآلي للنظريات، يجب أن تُظهر الذكاء الاصطناعية استدلالاً هيكلياً (Architectural Reasoning): وهو القدرة على تركيب براهين رسمية باستخدام فقط البديهيات المحلية، والتعريفات، والمنطق الهيكلي، بمعزل عن المعنى الدلالي أو المستودعات الخارجية.

2. المنهجية

قدم المؤلفون لعبة الأعداد الطبيعية المُعماة (O-NNG)، وهي اختبار معيارى قائم على "المعرفة الصفرية" (Zero-knowledge) صُمم لعزل الاستدلال الهيكلي عن الاسترجاع اللفظي.

أ. خوارزمية التعمية (Obfuscation Algorithm)

الابتكار الجوهري هو الإزالة المنهجية للإشارات الدلالية من لعبة الأعداد الطبيعية (NNG) في لغة Lean 4:

مستوى الضجيج ( $\lambda$ ): محدد في النطاق $[0, 1]$ $[0, 1]$ .
- $\lambda = 0$ : لعبة NNG الأصلية (المعرفات الدلالية سليمة).
- $\lambda = 1.0$ : عشوائية كاملة للمعرفات.
آلية الاضطراب (Perturbation Mechanism): تحدد العلاقة الأسية $P = \lambda^{2.5}$ $P = λ^{2.5}$ احتمالية حدوث اضطرابات على مستوى الحروف.
- الاستبدال (Substitution): استبدال الحروف بمرشحات Unicode/ASCII صالحة.
- الإدراج (Insertion): حقن حروف جديدة (بنسبة احتمال $0.4P$ ).
- الحذف (Deletion): حذف الحروف (بنسبة احتمال $0.3P$ )، مع ضمان بقاء المعرفات غير فارغة.
الهدف: تعمل هذه العملية على تحويل مجموعة البيانات إلى "بيئة مغلقة" حيث تكون المعرفات (مثل البديهيات، والنظريات، والتكتيكات) عبارة عن سلاسل نصية عشوائية، مما يجبر النموذج على الاعتماد كلياً على البنية المنطقية لبديهيات بيانو (Peano axioms).

ب. الإعداد التجريبي

مجموعة البيانات: 68 مسألة رسمية من NNG، منظمة في 8 وحدات (الجمع، الضرب، إلخ).
النماذج التي تم تقييمها: خمسة نماذج متطورة عبر واجهة برمجة التطبيقات (API):
- نماذج الاستدلال (Reasoning Models): DeepSeek-R1، GPT-5، DeepSeek-Prover-V2.
- النماذج العامة (General Models): GPT-4o، Claude-Sonnet-4.5.
سلسلة العمل (Pipeline):
1. التحليل (Parsing): استخراج NNG مع ترتيب تبعية صارم.
2. التعمية (Obfuscation): تطبيق اضطرابات على مستوى الحروف بناءً على $\lambda$ .
3. توليد الاستعلام (Query Generation): إنشاء مطالبات (Prompts) تحتوي على بديهيات "فضائية"، ونظريات مستهدفة، وتكتيكات متاحة.
4. الاستدلال (Inference): تخرج النماذج ملف JSON يحتوي على خطة باللغة الطبيعية ("Draft") وكود Lean 4 ("Code").
5. التحقق (Verification): التحقق الآلي باستخدام مترجم Lean 4 (الإصدار v4.27.0) للتحقق من الأخطاء النحوية والمنطقية.
المقاييس:
- معدل الصحة (Correct Rate %): نسبة النظريات التي تم إثباتها بنجاح.
- متوسط الوقت (ثانية): زمن استجابة الاستدلال (Latency).

3. المساهمات الرئيسية

تعريف الاستدلال الهيكلي: تم صياغته كقدرة على تركيب البراهين باستخدام التعريفات والبديهيات المحلية حصرياً ضمن نظرية مغلقة، باستثناء المكتبات الخارجية والتكتيكات المؤتمتة عالية المستوى (مثل linarith).
معيار O-NNG: إطار عمل تقييمي جديد بمعرفة صفرية يقيس "فجوة الاستدلال الدلالي" عبر قياس مدى تدهور الأداء عند إزالة المعرفات الدلالية.
تحديد "ضريبة زمن الاستجابة" (Latency Tax): إثبات أن التعامل مع المجالات الفضائية يفرض تكلفة حوسبية عالمية (زيادة في وقت الاستدلال) على جميع النماذج، بغض النظر عن بنيتها.

4. النتائج والتحليل

تكشف الدراسة عن تباين حاد في سلوك النماذج عند إزالة الإشارات الدلالية:

ضريبة زمن الاستجابة العالمية:
- أظهرت جميع النماذج زيادة ذات دلالة إحصائية في وقت الاستد_ كما $\lambda$ زادت.
- الاستنتاج: إزالة المعرفات الدلالية تجبر النماذج على إجراء عمليات بحث داخلية أكثر كثافة أو إعادة بناء منطقية.
التباين في المتانة (الدقة):
- نماذج الاستدلال (DeepSeek-R1, GPT-5, DeepSeek-Prover-V2): حافظت على دقة مستقرة عبر جميع مستويات الضجيج ( $\lambda \in [0, 1]$ $λ \in [0, 1]$ ). لم يكن انخفاض الأداء ذا دلالة إحصائية.
  - الاستنتاج: تعتمد هذه النماذج على المنطق الهيكلي ويمكنها التنقل في بديهيات بيانو دون ركائز دلالية.
- النماذج العامة (GPT-4o, Claude-Sonnet-4.5): عانت من انخفاض ذي دلالة إحصائية في معدلات النجاح مع زيادة $\lambda$ $λ$ .
  - الاستنتاج: يعتمد أداؤها في المهام الرسمية القياسية بشكل كبير على مطابقة الأنماط الدلالية والألفة مع اصطلاحات التسمية بدلاً من التركيب المنطقي الصرف.
الدلالة الإحصائية: أكد اختبار ANOVA أحادي الاتجاه أن انخفاض الأداء للنماذج العامة وزيادة زمن الاستجابة لجميع النماذج كانا ذوي دلالة إحصائية ( $p < 0.05$ ).

5. الأهمية والآثار المترتبة

معايرة الاستدلال الحقيقي: يوفر O-NNG مقياساً صارماً للتمييز بين النماذج التي "تعرف" الرياضيات عبر مطابقة الأنماط وتلك التي يمكنها "الاستدلال" عبر المنطق الهيكلي.
الاتجاه الهيكلي: تشير النتائج إلى أنه بالنسبة لمستقبل الاكتشاف الآلي للنظريات (AI4Math)، فإن البنيات التي تركز على الاستدلال (مثل DeepSeek-R1 و GPT-5) هي الأفضل، لأنها متينة تجاه غياب الأولويات الدلالية.
"الوادي غير الطبيعي للاستدلال" (Reasoning Uncanny Valley): تشير البيانات إلى وجود علاقة غير خطية حيث قد يكون الضجيج الجزئي أكثر ضرراً من التعمية الكاملة، مما يوحي بأن الإشارات الدلالية المتبقية يمكن أن تعمل كعوامل تشتيت (Heuristics).
وكلاء الذكاء الاصطناعي المستقبليون: تدعو النتائج إلى تطوير "وكلاء معرفيين دلاليين" قادرين على العمل في مجالات ذات أنطولوجيات ناقصة أو غامضة، وهو شرط مسبق لاكتشاف نظريات رياضية جديدة.

باخت up، تثبت الورقة أنه بينما يمكن لنماذج LLM الحالية حل المسائل المعروفة عبر مطابقة الأنماط، فإن نماذج "الاستدلال" المحددة فقط هي التي تمتلك الاستدلال الهيكلي اللازم لحل المسائل في البيئات المنطقية الغامضة والجديدة تماماً.