💬 NLP

Less Is More: Cognitive Load and the Single-Prompt Ceiling in LLM Mathematical Reasoning

تقدم هذه الورقة دراسة منهجية لهندسة الأوامر البرمجية (prompt engineering) للاستدلال الرياضي الصوري في مسابقة SAIR Equational Theories، كاشفةً عن "سقف الأمر الواحد" حيث تستقر الدقة عند حوالي 60-79% بسبب عدم قابلية التقرير الرياضي والقيود الخاصة بالنماذج، رغم تحقيق تحسن قدره 19.5 نقطة مئوية عن الخط المرجعي باستخدام أمر محسن بحجم 2,252 بايت.

المؤلفون الأصليون: Manuel Israel Cazares

نُشر 2026-04-22

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Manuel Israel Cazares

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جدًا، ولكنه مرتبك قليلاً، كيفية حل نوع معين من الألغاز المنطقية. اللغز هو: "هل تؤدي القاعدة (أ) دائمًا إلى القاعدة (ب)؟"

على الروبوت أن يجيب بـ "نعم" (صحيح) أو "لا" (خطأ).

إذا كانت الإجابة "لا"، فعلى الروبوت فقط إيجاد مثال واحد صغير تعمل فيه القاعدة (أ) ولكن تفشل فيه القاعدة (ب). هذا يشبه العثور على صدع واحد في سد.
إذا كانت الإجابة "نعم"، فعليه إثبات أنه لا يوجد عالم ممكن تعمل فيه القاعدة (أ) وتفشل فيه القاعدة (ب). هذا يشبه إثبات عدم وجود أي صدع في السد في أي مكان في الكون، حتى في الأماكن التي لا يمكنك رؤيتها.

هذه الورقة هي تقرير درجات حول كيفية محاولة المؤلفين "هندسة الأوامر" (إعطاء التعليمات) لثلاثة نماذج مختلفة من الذكاء الاصطناعي لحل هذا اللغز. لقد أمضوا خمسة أسابيع في اختبار أكثر من 40 دليل تعليمات مختلف، تتراوح من جملة واحدة إلى وثيقة من 5 صفحات.

إليك قصة ما وجدوه، مشروحة ببساء.

1. فخ "المعلومات الزائدة"

بدأ المؤلفون باعتقاد شائع: "مزيد من التعليمات = نتائج أفضل." ظنوا أنهم إذا أعطوا الذكاء الاصطناعي "ورقة غش" ضخمة مليئة بالأمثلة والقواعد والمنطق المعقد، فسيصبح الذكاء الاصطناعي أكثر ذكاءً.

لقد كانوا مخطئين.

اكتشفوا ما يسمى بـ "سقف الأمر الواحد" (Single-Prompt Ceiling). تخيل عقل الذكاء الاصطناعي كحقيبة ظهر.

إذا وضعت خريطة صغيرة وواضحة في حقيبة الظهر، يمكن للذكاء الاصطناعي قراءتها وإيجاد الإجابة.
أما إذا حشوت حقيبة الظهر بـ 50 خريطة مختلفة، وقاموس، وموسوعة، فسيصاب الذكاء الاصطناعي بالارتباك. سيبدأ بتجاهل الأجزاء المهمة، ويصاب بالتشوش، ويؤدي أداءً أسوأ.

كان الأمر الأكثر تعقيدًا الذي جربوه (والذي يبلغ طوله قرابة 5,000 حرف) هو الأسوأ أداءً. جاءت أفضل النتائج من الأوامر التي كانت قصيرة ومركزة بشكل مفاجئ.

2. مفاجأة "ترتيب العمليات"

لم يكن الاختراق الأكبر يتعلق بـ ماذا أخبرنا به الذكاء الاصطناعي، بل بـ متى أخبرناه به.

فكر في عملية التفكير لدى الذكاء الاصطناعي مثل حارس أمن يتحقق من قائمة مشتبه بهم.

الطريقة القديمة (AN38): تحقق الحارس من قائمة طويلة من "الأشرار" (الأمثلة المضادة) أولاً. إذا بدا المشتبه به كأنه شرير، يقول الحارس "لا". وإذا لم يكن كذلك، ينتقل الحارس للمرحلة التالية. نجحت هذه الطريقة بشكل جيد، لكن الحارس كان سريعًا جدًا في قول "لا" وفاتته بعض حالات الـ "نعم".
الطريقة الجديدة (AN45c): أخبر المؤلفون الحارس: "أولاً، تحقق مما إذا كان هذا الشخص طفلًا. إذا كان طفلًا، فلا يمكن أن يكون شريرًا. قل 'نعم' فورًا." بعد التحقق من ذلك فقط، بدأ الحارس في فحص قائمة الأشرار.

من خلال وضع "فحص الطفل" (خدعة رياضية بسيطة تسمى "فحص الماجما البديهي" أو trivial magma check) في أعلى التعليمات، توقف الذكاء الاصطناعي عن ارتكاب الأخطاء في حالات الـ "نعم". كان الأمر يشبه إخبار الطاهي: "تحقق مما إذا كان الفرن مطفأً" قبل أن تقول له "ابدأ الخبز". لقد غير الترتيب كل شيء، حيث ارتفعت الدقة من 71% إلى 79%.

3. مشكلة "المقاس الواحد لا يناسب الجميع"

هنا يكمن الجزء الصعب. وجد المؤلفون أن الأمر الذي يعمل بشكل مثالي على مجموعة معينة من الألغاز انهار أمام مجموعة أخرى مختلفة قليلاً.

فخ "Hard1": قاموا ببناء أمر متخصص للغاية كان مذهلاً في إيجاد إجابات "لا" (خطأ) لأن الأسئلة الاختبارية كانت تتكون في الغالب من إجابات "لا". وقد حقق دقة بنسبة 78%.
الانهيار: عندما أخذوا نفس هذا الأمر واختبروه على مزيج متوازن من أسئلة "نعم" و"لا"، فشل فشلاً ذريعًا. بدأ يقول "لا" لكل شيء، حتى لأسئلة الـ "نعم".

هذا يشبه تدريب كلب على الجلوس فقط عندما تمسك له قطعة حلوى. إذا أخذت منه قطعة الحلوى، سينسى الكلب كيف يجلس. لقد تعلم الذكاء الاصطناعي الاعتماد على "نكهة" الأسئلة بدلاً من الرياضيات الفعلية.

4. واقع "السقف"

يسمي المؤلفون هذا "منطقة التشبع التجريبي" (Empirical Saturation Region).

تخيل أنك تحاول ملء دلو بالماء باستخدام خرطوم.

في البداى، يؤدي إضافة المزيد من الماء (المزيد من التعليمات) إلى ملء الدلو بسرعة.
ولكن في النهاية، يمتلئ الدلو. إذا استمررت في رش الماء، فسوف يتطاير من الجوانب فقط.
للذكاء الاصطناعي حد في مقدار "التفكير" الذي يمكنه القيام به باستخدام نص برمجي فقط. ومهما كانت التعليمات ذكية، فإن الذكاء الاصطناعي يصطدم بحائط عند دقة 79%.

للتجاوز فوق نسبة 79%، لا يمكنك مجرد كتابة أمر أفضل. ستحتاج إلى:

ضبط دقيق للدماغ (Fine-tuning): تدريب الذكاء الاصطناعي من الصفر على ملايين من هذه المسائل الرياضية.
استخدام فريق: جعل ذكاء اصطناعي واحد يتحقق من الـ "نعم" وآخر يتحقق من الـ "لا"، ثم جعل إنسان (أو برنامج كمبيوتر) يقرر أي إجابة يثق بها.

5. الدرس الكبير: القليل يعني الكثير

الدرس الأهم هو عكس المتوقع.

في عالم الذكاء الاصطناعي، نعتقد غالبًا أننا بحاجة لإعطاء النموذج المزيد من البيانات، والمزيد من القواعد، والمزيد من السياق لجعله أكثر ذكاءً. تثبت هذه الورقة أنه بالنسبة للرياضيات المعقدة، البساطة هي التي تفوز.

الأوامر المعقدة تربك الذكاء الاصطناعي، مما يجعله يهلوس أو يتجاهل القواعد.
الأوامر البسيطة ومنظمة الترتيب توجه الذكاء الاصطناعي لاستخدام الرياضيات التي يعرفها بالفعل، ولكن بالترتيب الصحيح.

التشبيه:
فكر في الذكاء الاصطناعي كطالب عبقري ولكنه مشتت الانتباه بسهولة.

إذا أعطيته كتابًا من 50 صفحة ليقرأه قبل الاختبار، فسيضيع في التفاصيل ويفشل.
إذا أعطيته ورقة ملاحظات صغيرة لا تتعدى السطر الواحد تقول له: "أولاً تحقق مما إذا كان X صحيحًا. إذا كان كذلك، توقف وقل نعم. وإلا، ابحث عن مثال مضاد"، فسوف يتفوق في الاختبار.

المؤلفون لم يعلموا الذكاء الاصطناعي رياضيات جديدة؛ لقد توقفوا فقط عن جعله يتشتت بأفكاره الخاصة. في النهاية، التعليمات الأقل، المقدمة بالترتيب الصحيح، هزمت التعليمات الأكثر في كل مرة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الأقل هو الأكثر: الحمل المعرفي وسقف المطالبة الواحدة في الاستدلال الرياضي للنماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

تتقصى الورقة حدود هندسة المطالبات (Prompt Engineering) للاستدلال الرياضي الصوري في سياق مسابقة المرحلة الأولى من نظرية المعادلات SAIR.

المهمة: تحديد ما إذا كان القانون الجبري $E_1$ يستلزم قانوناً آخر $E_2$ عبر جميع الماجمات (magmas) (مجموعات ذات عملية ثنائية واحدة، بدون بديهيات مثل التجميع أو الإبدال).
عدم التماثل الحسابي:
- الحالات الخاطئة (False Instances): يمكن تحديدها عبر البحث المحدود. أي مثال مضاد واحد محدود (ماجما صغيرة حيث يتحقق $E_1$ ولكن يفشل $E_2$ ) يثبت أن الاستلزام خاطئ.
- الحالات الصحيحة (True Instances): غير قابلة للتقرير بشكل عام. إثبات أن $E_1 \implies E_2$ يتطلب إثبات عدم وجود أي مثال مضاد عبر جميع الماجمات (بما في ذلك الماجمات اللانهائية).
التحدي: يجب على النماذج اللغوية الكبيرة (LLMs) التنقل عبر هذا التباين دون أدوات رمزية خارجية. تدرس الدراسة ما إذا كانت "أوراق الغش" المعقدة (المطالبات التي تحتوي على قواعد، أمثلة مضادة، واستدلالات) يمكنها التغلب على عجز النماذج المتأصل في التكميم الشامل أو البحث الصارم عن البراهين.

2. المنهجية

أجرى المؤلفون دراسة تجريبية منهجية على مدار خمسة أسابيع، حيث تم اختبار أكثر من 45 نوعاً من المطالبات عبر ثلاثة نماذج وأربعة تقسيمات للبيانات.

النماذج التي تم تقييمها:
- gpt-oss-120b: النموذج الأساسي (OpenAI's 117B MoE)، والذي تم الوصول إليه عبر DeepInfra.
- Llama 3.3 70B: مضبوط تعليمياً، وتم الوصول إليه عبر Together AI.
- Gemma 4 31B: تم الوصول إليه عبر Together AI (مع تفعيل الاستدلال) وعبر OpenRouter (حيث تم تعطيل الاستدلال).
مجموعات البيانات:
- hard1: كثيفة في الحالات الخاطئة (35% صحيحة).
- hard2: متوازنة (50% صحيحة)، ومعقدة بنيوياً.
- hard3: شبه متوازنة (49% صحيحة)، وهي تقسيم التقييم الرئيسي ( $n=400$ ).
- normal: مسائل قياسية للتحقق من عدم حدوث تراجع في الأداء.
أبعاد تصميم المطالبة:
- المحتوى: جداول الأمثلة المضادة (CE) (ماجمات بحجم 2 و3)، قواعد فرض العناصر المفردة (استدلالات للحالات الصحيحة)، وقواعد الكتل (مصنفات بنيوية للحالات الخاطئة).
- الترتيب: تسلسل التعليمات (مثل التحقق من الماجمات التافهة قبل مقابل بعد البحث عن الأمثلة المضادة).
- الطول: يتراوح من 0 بايت (الأساس) إلى 4,878 بايت.
مقاييس التقييم: الدقة (Accuracy)، استدعاء الحالات الصحيحة (True Recall)، استدعاء الحالات الخاطئة (False Recall)، ومتوسط النماذج الثلاثة.

3. المساهمات الرئيسية

سقف المطالبة الواحدة (منطقة التشبع التجريبي): يحدد المؤلفون هضبة أداء حيث تؤدي إضافة المزيد من التعقيد إلى المطالبة إلى مكاسب غير مستقرة وغير قابلة للتعميم. بالنسبة لـ gpt-oss-120b، يقع هذا السقف بين 71-79% دقة في التقسيمات الصعبة المتوازنة.
فشل عدم تطابق التوزيع: أظهرت الدراسة أن المطالبات المحسنة لتوزيع معين (مثل الحالات الخاطئة الكثيفة في hard1) يمكن أن تفشل كارثياً في التوزيعات المتوازنة. القاعدة التي حسنت اكتشاف الحالات الخاطئة في hard1 تسببت في معدل خطأ بنسبة 51% في الحالات الصحيحة في hard2.
محدودية "الدمج": دمج مطالبتين متكاملتين (واحدة جيدة للحالات الصحيحة، والأخرى جيدة للحالات الخاطئة) لا ينتج عنه الحد الأقصى لكليهما؛ بل يقوم النموذج بدمج الاستراتيجيات، مما يؤدي إلى أداء يقترب من المتوسط الحسابي للوالدين.
تأثيرات الترتيب: يؤثر تسلسل التعليمات بشكل كبير على الأداء بسبب آليات الانتباه. وضع "التحقق من الماجما التافهة" (اختصار للحالات الصحيحة) قبل البحث عن المثال المضاد تفوق على الترتيب العكسي بنحو 7.5 نقطة مئوية.
أنماط الفشل الخاصة بالنماذج:
- Llama 3.3 70B: يعاني من "انهيار الحمل المعرفي" مع المطالبات التي تتجاوز 2 كيلوبايت، حيث ينخفض استدعاء الحالات الصحيحة إلى 0%.
- Gemma 4 31B: يعاني من استنفاد ميزانية الرموز (tokens)؛ إذا تجاوز مسار الاستدلال الحد المسموح به، فإنه يلجأ افتراضياً إلى حكم "صحيح" (True).

4. النتائج الرئيسية

الأداء على gpt-oss-120b (hard3, $n=400$ )

الأساس (بدون ورقة غش): 59.75% دقة (82.6% استدعاء الحالات الصحيحة، 38.0% استدعاء الحالات الخاطئة). النموذج منحاز بشدة نحو "الصحيح".
أفضل نتيجة محلية (AN45c): 79.25% دقة (95.9% استدعاء الحالات الصحيحة، 63.4% استدعاء الحالات الخاطئة).
- الابتكار الرئيسي: إعادة ترتيب التعليمات للتحقق من الماجمات التافهة أولاً، لتجاوز البحث عن الأمثلة المضادة لأنماط بنيوية محددة.
- ملاحظة: تم تحقيق هذه النتيجة بمطالبة حجمها 2,252 بايت.
أفضل نتيجة قوية (AN38): 71.8% دقة. هي أبسط من AN45c ولكنها أكثر قوة تجاه تغيرات التوزيع.

التعميم عبر النماذج

التعقيد مقابل القابلية للنقل: المطالبات المعقدة (مثل AN3c، 4,306 بايت) التي رفعت أداء gpt-oss-120b تسببت في انهيار Llama 3.3 70B إلى 0% استدعاء للحالات الصحيحة.
المطالبة الفعالة الدنيا (AN19c): مطالبة بحجم 289 بايت تحتوي فقط على تلميحات باللغة الطبيعية حققت 62% على gpt-oss-120b و 60% على Llama 3.3 70B. كانت هي المتغير الوحيد الذي حافظ على استدعاء معنوي للحالات الصحيحة عبر جميع النماذج.

التحقق من المعيار الرسمي (بعد التقديم)

فجوة التوزيع: بينما حققت AN45c نسبة 79.25% محلياً على hard3، إلا أنها سجلت 55.5% على معيار SAIR الرسمي (DeepInfra)، وهو ما يقل بـ 4.3 نقطة مئوية عن الأساس.
تفوق AN38: حققت المطالبة الأبسط AN38 نسبة 65.3% على المعيار الرسمي، بزيادة قدرها +5.6 نقطة مئوية عن الأساس.
مقايضة التوزيعات: أظهر تحليل 52 مشاركة من المجتمع وجود "سطح مقايضة". المطالبات المحسنة لتوزيع واحد (مثل 99% على hard2) غالباً ما تنهار على التوزيع الآخر (مثل 56% على hard3). مشاركة واحدة فقط حققت أكثر من 65% في كليهما في آن واحد.

5. الأهمية والآثار المترتبة

إعادة التفكير في هندسة المطالبات: تجادل الورقة بأنه بالنسبة للاستدلال الصوري، فإن "الأقل هو الأكثر". المطالبات المستفيضة لا تعلم النماذج رياضيات جديدة؛ بل توجه فقط تطبيق المعرفة الموجودة. بعد حد معين من التعقيد، يتسبب الحمل المعرفي في جعل النموذج يلجأ إلى الاستدلالات السطحية أو دمج الاستراتيجيات المتضاربة.
فرضية الموجه (The Router Hypothesis): يقترح المؤلفون أن النماذج اللغوية الكبيرة في هذا المجال تعمل كـ مصنفات استدلالية (heuristic classifiers) بدلاً من كونها براهين رمزية. فهي توجه المسائل إلى أنماط بنيوية مخزنة (مثلاً: "المتغير يظهر مرة واحدة" $\leftarrow$ صحيح) بدلاً من اشتقاق الإجابات تركيبياً.
محدودية المطالبات الثابتة: لا يمكن للمطالبات النصية الثابتة تنفيذ التوجيه الشرطي (مثلاً: "إذا كانت البنية X، استخدم الاستراتيجية A؛ وإلا، استخدم الاستراتيجية B") لأن النماذج اللغوية الكبيرة تقوم باستكمال التعليمات احتماليًا بدلاً من تنفيذها شرطياً.
الاتجاهات المستقبلية: لكسر سقف التشبع، يقترح المؤلفون:
1. المجموعات (Ensembles) مع التوجيه الخارجي: استخدام مصنف منفصل لتوجيه المسائل إلى مطالبات متخصصة.
2. الضبط الدقيق (Fine-tuning): التدريب على رسم بياني لمشروع النظريات الجبرية (22 مليون زوج).
3. البنى الهجينة: الجمع بين النماذج اللغوية الكبيرة والمحققات الرمزية (مثل Mace4) للتحقق من الأمثلة المضادة.

الخلاصة: تثبت هذه الدراسة أن "سقف المطالبة الواحدة" هو قيد هيكلي في النموذج المعروض، وليس مجرد قصور في النموذج نفسه. كانت الاستراتيجية الأكثر فعالية لم تكن إضافة المزيد من القواعد، بل إعادة ترتيب المنطق الحالي ليتماشى مع آليات الانتباه في النموذج، مما يثبت أنه في الاستدلال الصوري، التعليمات البسيطة جيدة الهيكلية تتفوق على التعليمات المعقدة وكثيفة المعلومات.