💬 NLP

The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning

تحدد هذه الورقة وتضع معايير قياسية لثغرة استدلال منهجي في النماذج اللغوية الكبيرة حيث تتجاوز الاستدلالات السطحية البارزة قيود الجدوى الضمنية، مما يثبت أن هذا الفشل ينبع من معالجة الكلمات المفتاحية الترابطية بدلاً من نقص المعرفة، ويمكن التخفيف من حدته جزئياً من خلال استراتيجيات صياغة الأوامر المستهدفة.

المؤلفون الأصليون: Yubo Li, Lu Zhang, Tianchong Jiang, Ramayya Krishnan, Rema Padman

نُشر 2026-04-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yubo Li, Lu Zhang, Tianchong Jiang, Ramayya Krishnan, Rema Padman

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسأل أمين مكتبة ذكي جداً ومطلعاً للحصول على نصيحة. تقول له: "أريد غسل سيارتي. مغسلة السيارات تبعد 50 متراً فقط. هل أمشي إلى هناك أم أقود السيارة؟"

الإنسان سيقول فوراً: "قُد السيارة." لماذا؟ لأنك لا تستطيع غسل سيارة لم تصل بعد إلى المغسلة. يجب أن تقود السيارة إلى المغسلة.

لكن إذا سألت العديد من نماذج الذكاء الاصطناي الأكثر تقدماً اليوم، فستخبرك بثقة: "امشِ."

إنهم يتجاهلون حقيقة أن السيارة موجودة حالياً في منزلك ويركزون تماماً على حقيقة أن الوجهة "قريبة". إنهم يقعون في فخ اختصار ذهني: المسافة القريبة = المشي.

هذه الورقة البحثية، "النموذج يقول امشِ"، تبحث في سبب حدوث ذلك، ومدى انتشاره، وكيفية إصلاحه. إليك القصة بكلمات بسيطة.

1. المشكلة: عادة "الاختصار"

فكر في الذكاء الاصطناعي كطالب حفظ آلاف البطاقات التعليمية لكنه لا يفهم المنطق الكامن وراءها حقاً.

الاختصار: يرى الذكاء الاصطناعي كلمة "50 متراً" ويقفز فوراً إلى الإجابة "امشِ" لأن هذا هو ما يحدث عادة في الحياة الواقعية.
القاعدة الخفية: ينسى الذكاء الاصطناعي القاعدة غير المعلنة: يجب أن تكون السيارة عند المغسلة لتُغسل.

يسمي الباحثون هذا "تجاوز الاستدلال" (Heuristic Override). إن "الاختصار السطحي" للذكاء الاصطناعي (المسافة) صاخب وقوي لدرجة أنه يغطي على "المنطق الهادئ" (الإمكانية).

2. التحقيق: تشخيص الخلل

لم يكتفِ الباحثون بالقول: "الذكاء الاصطناعي مخطئ". بل تصرفوا كالمحققين لمعرفة لماذا.

اختبار "مغسلة السيارات": اختبروا هذا السيناريو المحدد على ستة نماذج مختلفة من الذكاء الاصطناعي. فشلت جميعها.
اختبار "الغمامة": حاولوا إخفاء أجزاء من السؤال.
- عندما أخفوا كلمة "50 متراً"، أدرك الذكاء الاصطناعي فجأة الإجابة الصحيحة (أدرك أنه يجب أن يقود).
- عندما أخفوا الهدف ("غسل السيارة")، ظل الذكاء الاصطناعي يريد المشي.
- الحكم: الذكاء الاصطناعي مهووس بالمسافة. إنه يتأثر بالمسافة بمعدل 8 إلى 38 ضعفاً أكثر من تأثره بالهدف الفعلي. الأمر يشبه كلباً لا يرى سوى المكافأة في يدك ويتجاهل أمر "اجلس".

3. الاختبار الكبير: "معيار تجاوز الاستدلال" (HOB)

أدرك الباحثون أن الأمر لا يتعلق فقط بمغاسل السيارات. فقاموا ببناء بنك اختبار ضخم يسمى HOB يحتوي على 500 سيناريو مختلف لمعرفة ما إذا كان هذا يحدث في كل مكان.

لقد أنشأوا 20 نوعاً من الفخاخ:

فخاخ المسافة: "المتجر يبعد 10 دقائق." (هل أمشي أم أقود؟)
فخاخ السرعة: "هذه الطريقة أسرع." (هل أفعل ذلك بنفسي أم أستعين بمحترف؟)
فخاخ التكلفة: "هذا الخيار مجاني." (هل أشتري أم أستأجر؟)

كانت النتائج صادمة:

حتى أذكى نماذج الذكاء الاصطناعي (مثل تلك التابعة لجوجل، OpenAI، وAnthropic) فشلت أكثر من 25% من المرات.
لم يحصل أي نموذج على 100% صح. في الواقع، لم يصل أي منها حتى إلى 75% في الاختبارات الأكثر صعوبة.
فخ "الوجود" كان الأسوأ: السيناريوهات التي يحتاج فيها جسم ما إلى التواجد في مكان محدد (مثل وجود السيارة عند المغسلة) كانت الأصعب على الذكاء الاصطناعي حلها.

4. المفاجأة: "التحيز المحافظ"

الجزء الأكثر غرابة هو ما وجده الباحثون. فعندما قاموا بإزالة القيد المربك (على سبيل المثال، بدلاً من السؤال "كيف أحصل على بطاقة هدايا؟" بدلاً من "كيف أغسل سيارتي؟")، أصبح الذكاء الاصطناعي في الواقع أسوأ.

الأمر كما لو أن الذكاء الاصطناعي يفكر: "أوه، هل هناك قاعدة خفية قد أفوتها؟ من الأفضل أن ألعب بأمان وأختار الخيار المعقد (القيادة) للاحتياط فقط."
عندما يزول القيد، يرتبك الذكاء الاصطناعي ويبدأ في التخمين بشكل خاطئ. وهذا يظهر أن الذكاء الاصطناعي لا "يفكر" بعمق؛ بل هو فقط يتفاعل بتوتر مع وجود القيد.

5. العلاج: خدعة "قائمة التحقق"

وجد الباحثون طريقة بسيطة للإصلاح. لم يحتاجوا إلى إعادة تدريب الذكاء الاصطناعي أو إعطائه المزيد من البيانات. لقد قاموا فقط بتغيير طريقة صياغة السؤال (البرومبت).

بدلاً من سؤال "هل أمشي أم أقود؟"، سألوا:

"أولاً، اذكر الشروط المطلوبة لغسل السيارة. ثم، أجب عن السؤال."

النتيجة:

ارتفعت دقة الذكاء الاصطناعي بنسبة 6% إلى 9%.
من خلال إجبار الذكاء الاصطناعي على كتابة "الشروط المسبقة" (قائمة التحقق) أولاً، فقد أيقظ الجزء من دماغه الذي يعرف أن السيارة يجب أن تكون عند المغسلة. لقد أجبر ذلك الذكاء الاصطناعي على التمهل والتفكير قبل القفز إلى اختصار "المشي".

الصورة الكبيرة

تخبرنا هذه الورقة البحثية أن الذكاء الاصطناعي أصبح جيداً جداً في الظهور بمظهر الذكي، لكنه لا يزال سيئاً جداً في الاستدلال بالمنطق السليم عندما يكون هناك "اختصار" في الطريق.

التشبيه: تخيل جهاز GPS يعرف كل الطرق في العالم، لكنه يستمر في إخبارك بأن تقود داخل بحيرة لأن البحيرة هي "أقصر مسار" على الخريطة، متجاهلاً حقيقة أن السيارات لا تستطيع السباحة.
الخطر: إذا استخدمنا هذه الأنظمة للذكاء الاصطناعي لتقديم نصائح طبية ("الأعراض طفيفة، انتظر") أو نصائح قانونية ("هذا البند قياسي، وقع")، فقد تقدم نصائح خطيرة بثقة لأنها تتبع اختصاراً بدلاً من التحقق من القواعد الخفية.

الخلاصة: الذكاء الاصطناعي لا "يهلوس" (يخترع أشياء من العدم)؛ بل هو يفرط في التفكير في البديهيات ويتجاهل القواعد غير المرئية. ولإصلاح ذلك، نحتاج إلى تعليمهم التوقف، والتحقق من قائمة التحقق الخاصة بهم، وعدم الاكتفاء باتباع أول شيء يبدو سهلاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "النموذج يقول: اذهب مشياً: كيف تتجاوز الاستدلالات السطحية القيود الضمنية في استنتاج النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) فشلاً نظامياً في الاستنتاج حيث تتفوق الإشارات السطحية البارزة (الاستدلالات) على القيود غير المعلنة للجدوى. وخلافاً للهلوسة الواقعية (حيث يفتقر النموذج إلى المعرفة)، يحدث هذا الفشل عندما يمتلك النموذج المعرفة اللازمة بالعالم ولكنه يفشل في تطبيقها بسبب نمط سطحي مهيمن إحصائياً (على سبيل المثال: "مسافة قصيرة $\leftarrow$ مشياً") مما يقمع الاستنتاج المنطقي لشرط مسبق (على سبيل المثال: "يجب أن تكون السيارة عند مغسلة السيارات لتُغسل").

حدد المؤلفون هذا كحالة محددة من تعلم الاختصارات (Shortcut Learning) على مستوى الاستنتاج، وهي تختلف عن عملية تصفية المشتتات القياسية. وتتميز المشكلة بـ:

بنية الصراع: يتنافس استدلال سطحي مع قيد ضمني.
عدم الوضوح: تُنتج النماذج إجابات فصيحة وواثقة، لكنها خاطئة، مما يجعل اكتشافها صعباً عبر مقاييس الدقة القياسية.
ظاهرة "مغسلة السيارات": حالة اختبار واسعة الانتشار حيث توصي النماذج بالمشي إلى مغسلة سيارات تبعد 50 متراً، متجاهلة الاستحالة الفيزيائية لغسل سيارة ليست موجودة هناك.

2. المنهجية

يستخدم المؤلفون إطار عمل: التشخيص – القياس – الجسر – العلاج:

أ. التشخيص: التحليل السببي السلوكي (الدراسة 1)

المهمة: تحليل مشكلة "مغسلة السيارات" عبر 6 نماذج (سلسلة Qwen3، GPT-OSS).
المقياس: تم تعريف درجة قرار قياسية $s(x) = \log P(\text{WALK}) - \log P(\text{DRIVE})$ .
الحجب السببي (Causal Occlusion): تم تعديل نطاقات المدخلات (الهدف، الإشارة الاستدلالية، الخيارات) باستخدام عوامل القناع (mask)، والمحايد (neutral)، والمتناقض (contradict) لقياس $\Delta s$ .
الإسناد (Attribution): تم تحليل مساهمات الرموز (tokens) لتحديد ما إذا كان الاستنتاج تركيبياً أم قائماً على الكلمات المفتاحية.
منحنيات الرتابة (Monotonicity Curves): تم مسح متغيرات المسافة (من 10 أمتار إلى 100 كم) لملاحظة ما إذا كانت النماذج تتبع منحنى سيجمويدي (المسافة $\rightarrow$ القرار) بغض النظر عن سياق الهدف.

ب. القياس: معيار تجاوز الاستدلال (HOB) (الدراسة 2)

مجموعة البيانات: 500 حالة موزعة على 4 عائلات استدلالية (القرب، الكفاءة، التكلفة، الدلالة) و 5 عائلات قيود (الوجود، القدرة، الصلاحية، النطاق، الإجرائية).
التصميم:
- الأزواج الدنيا (Minimal Pairs): حالات يتم فيها إزالة القيد لعزل استنتاج القيد عن الفهم السطحي.
- تدرجات الوضوح: تنوع من القيود الضمنية إلى الملمح إليها إلى القيود الصريحة.
- التقييم: تم تقييم 14 نموذجاً (عبر واجهة برمجة التطبيقات ونماذج محلية) مع $N=10$ تجارب لكل حالة. تتطلب الدقة الصارمة 10/10 تجارب صحيحة.

ج. الجسر: المسبار البارامتري

تم توسيع مسح الرتابة ليشمل مجموعات أخرى من (H $\times$ C) (التكلفة، الكفاءة، الدلالة) لاختبار ما إذا كان نمط الاستدلال السيجمويدي يتعمم وراء مسألة القرب.

د. العلاج: تجارب التخفيف

تم اختبار تفكيك الهدف (Goal-Decomposition Prompting) ("أدرج الشروط الضرورية قبل الإجابة") لفرض تعداد الشروط المسبقة.

3. النتائج الرئيسية

أ. نسبة هيمنة الاستدلال (HDR)

تحيز طاغٍ: تمارس إشارة المسافة تأثيراً أكبر بمقدار 8.7 إلى 38 ضعفاً على القرار مقارنة بقيد الهدف.
أدلة على مستوى الرمز (Token-Level): يُظهر تحليل الإسناد أن النموذج يعتمد على الارتباطات بالكلمات المفتاحية (مثل ارتباط "سيارة" + "مشي") بدلاً من الاستنتاج التركيبي. رموز فعل "الغسل" تدعم القيادة بشكل ضعيف، بينما رموز "السيارة" تدعم المشي بقوة، مما يلغي الاستنتاج المنطقي.
الاستدلالات السيجمويدية: تنتج النماذج منحنيات سيجمويدية مستقلة عن السياق. حتى عندما يتغير الهدف (مثلاً: مقهى مقابل مغسلة سيارات)، يتبع القرار منحنى المسافة، مما يشير إلى أن الاستدلال هو خريطة ثابتة لا يمكن للهدف التحكم بها.

ب. أداء المعيار (HOB)

دقة صارمة منخفضة: لم يتجاوز أي نموذج 75% من الدقة الصارمة (10/10 صحيحة). أفضل نموذج (Gemini 3.1 Pro) سجل 74.6%؛ والمتوسط هو 62.6%.
تسلسل صعوبة القيود:
- الأصعب: قيود الوجود (C-pres، مثل وجوب وجود الشيء في مكان ما) بدقة تقارب 44%. وهذا يؤكد نمط مغسلة السيارات على نطاق واسع.
- الأسهل: قيود القدرة (C-cap، مثل حدود الوزن الفيزيائي) بدقة تقارب 71.6%.
تدرج الوضوح: ترتفع الدقة بمقدار +15.3 نقطة مئوية عند إضافة تلميح طفيف (مثل التأكيد على الشيء)، مما يشير إلى أن النماذج تملك المعرفة ولكنها تفشل في تفعيل مسار الاستنتاج تلقائياً.
التحيز المحافظ: أدت 12 من أصل 14 نموذجاً إلى أداء أسوأ عند إزالة القيد (الزوج الأدنى). هذا يشير إلى أن النماذج تعود إلى الخيار "الأصعب" (المدفوع بالاستدلال) بدلاً من الاستنتاج، مما يحجب قدراتها الحقيقية على الاستنتاج.

ج. التعميم والتخفيف

التعميم: يتعمم نمط فشل السيجمويد على استدلالات الكفاءة (الوقت الموفر) و الدلالة (تشابه الفئات)، رغم أن استدلالات التكلفة أسهل في التجاوز.
التخفيف: استعاد تفكيك الهدف (فرض تعداد الشروط المسبقة) ما بين +6 إلى +9 نقاط مئوية للنماذج الأضعف، مما يؤكد أن الفشل هو عنق زجاجة في ترتيب الاستنتاج (الاستدلال يعمل قبل النظر في القيد).

4. المساهمات الرئيسية

تشخيص فشل استنتاجي محدد: يتجاوز مفهوم "تعلم الاختصارات" في التصنيف لتحديد تجاوز الاستدلال في اتخاذ القرارات مفتوحة النهايات، حيث يتم قمع القيود الضمنية بواسطة الإشارات السطحية.
معيار HOB: معيار شامل مكون من 500 حالة مع أزواج دنيا وتدرجات محكومة لقياس الاستنتاج الحساس للقيود، مما يكشف أن النماذج الحالية المتطورة (SOTA) غير موثوقة في هذا المجال.
رؤية ميكانيكية: يثبت عبر الحجب السببي ومنحنيات الرتابة أن النماذج تطبق استدلالات سيجمويدية مستقلة عن السياق تهيمن على قيود الهدف، بدلاً من الفشل بسبب نقص المعرفة.
اكتشاف التحيز المحافظ: يكشف أن الدقة العالية في المهام التي تحتوي على قيود قد تكون وهماً؛ فالنماذج غالباً ما تفشل لأنها تعود إلى الاستدلال حتى عند غياب القيد (عدم تماثل الزوج الأدنى).

5. الأهمية

الآثار الأمنية: هذا النمط من الفشل خطير في المجالات عالية المخاطر (الفرز الطبي، الاستشارات القانونية، التخطيط المالي) حيث تتنافس القيود غير المعلنة (مثل "المريض يعاني من حساسية"، "القانون يتطلب رخصة") مع الميزات السطية البارزة. التقييمات القياسية تغفل هذه الأخطاء لأن المخرجات تكون فصيحة ومنطقية ظاهرياً.
تحول في نموذج التقييم: تسلط الورقة الضوء على عدم كفاية الدقة الإجمالية. وتدعو الورقة إلى استخدام الأزواج الدنيا و تدرجات الوضوح للتمييز بين الاستنتاج الحقيقي والاعتماد على الاستدلال.
الاتجاهات المستقبلية: تشير إلى أن تحسين الاستنتاج يتطلب تغييرات في البنية أو في طريقة التلقين (Prompting) تفرض تعداد الشروط المسبقة قبل تفعيل الاستدلال، بدلاً من مجرد زيادة حجم النموذج. توفر الورقة مجموعة بيانات HOB وأدوات تشخيصية لتتبع التقدم في حل هذه الثغرة.