💬 NLP

From 0-Order Selection to 2-Order Judgment: Combinatorial Hardening Exposes Compositional Failures in Frontier LLMs

تقدم هذه الورقة LogiHard، وهو إطار عمل رسمي يحول مهام الاختيار البسيطة إلى أحكام منطقية معقدة عبر التصلب التوافقي والاختبار التكيفي، كاشفاً أن النماذج اللغوية الكبيرة الرائدة تعاني من تدهور كبير في الدقة بسبب فجوة استدلال توافقي ناتجة عن التدريب وليس بسبب نقص في المعرفة.

المؤلفون الأصليون: Hanmeng Liu, Shichao Weng, Xiulai Liu, Zhicai Zhang, Anli Yan, Xiaozhang Liu

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hanmeng Liu, Shichao Weng, Xiulai Liu, Zhicai Zhang, Anli Yan, Xiaozhang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تختبر مدى ذكاء مجموعة من الطلاب عبر إعطائهم اختباراً من نوع الاختيار من متعدد. لفترة طويلة، كان من السهل "التحايل" على هذه الاختبارات. فقد قام الطلاب (في هذه الحالة، نماذج الذكاء الاصطناي) بحفظ الإجابات أو تعلم رصد الحيل الصغيرة، مثل "الإجابة هي عادةً الجملة الأطول" أو "الخيار الثالث نادراً ما يكون صحيحاً". يحصلون على درجات 90%+، ولكن هل هم في الواقع يفكرون، أم مجرد مطابقة للأنماط؟

تقدم هذه الورقة البحثية طريقة جديدة لاختبارهم تسمى LogiHard. فكر في الأمر كترقية للاختبار من مجرد لعبة "اختر الصورة الصحيحة" إلى تحدي "حل لغز" يجبر العقل على القيام بعمليات حسابية حقيقية.

إليك تفصيل لما فعلوه وما وجدوه، باستخدام تشبيهات بسيطة:

1. المشكلة: اختبار "الخدعة أم المكافأة" (Trick-or-Treat)

اختبارات الذكاء الاصطناعي الحالية تشبه لعبة "سيمون يقول" (Simon Says) حيث القواعد واضحة للغاية.

الطريقة القديمة: حاول الباحثون جعل الاختبارات أصعب عن طريق تغيير الكلمات (المترادفات) أو تغيير ترتيب الإجابات.
العيب: هذا يشبه وضع طبقة طلاء جديدة على سيارة معطلة. فالذكاء الاصطناعي يتجاهل الطلاء ويختار الإجابة بناءً على النمط القديم المحفوظ. لا يزال هذا مهمة من "المستوى 1": انظر إلى الخيارات، واختر ما يبدو صحيحاً.

2. الحل: LogiHard (صالة ألعاب المنطق الرياضي)

بنى المؤلفون إطار عمل جديداً يسمى LogiHard. وبدلاً من مجرد تغيير الطلاء، قاموا بتغيير "محرك" الاختبار.

التشبيه: تخيل أن اختباراً قياسياً يسأل: "هل الضوء يعمل؟ أ) نعم، ب) لا".
- LogiHard يأخذ نفس السؤال ويحوله إلى: "إذا كان الضوء يعمل، وَالمفتاح مكسور، أَوْ المصباح محترق، فأي من هذه العبارات صحيحة؟ اختر كل ما ينطبق."
التحول: لقد نقلوا الاختبار من الاختيار من الدرجة صفر (مجرد اختيار إجابة واحدة) إلى الحكم من الدرجة الثانية (تقييم شبكة معقدة من قواعد "إذا/فإن/و/أو").
ضمان "الصلاحية": لم يقوموا فقط بابتكار أسئلة صعبة عشوائية. بل استخدموا وصفة رياضية صارمة (مثل طاهٍ يتبع معادلة مثالية) لضمان أن كل سؤال جديد سليم منطقياً. إذا أخطأ الذكاء الاصطناعي، فذلك لأنه فشل في المنطق، وليس لأن السؤال كان معيباً.

3. "المدرب الذكي" (الاختبار التكيفي)

عادةً، تعطي الاختبارات الجميع نفس الـ 50 سؤالاً. إذا كان الذكاء الاصطناعي عبقرياً، فسيشعر بالملل من الأسئلة السهلة. وإذا كان يعاني، فسيشعر بالإحباط من الأسئلة الصعبة.

مدرب LogiHard: استخدموا نظاماً يسمى IRT-CAT (فكر فيه كمدرب شخصي).
- إذا أجاب الذكاء الاصطناعي على سؤال بشكل صحيح، يختار المدرب فوراً سؤالاً أصعب.
- إذا أخطأ، يختار المدرب سؤالاً أسهل لتحديد الحد الأقصى لقدراته بدقة.
- النتيجة: يمكنهم قياس الذكاء الحقيقي للذكاء الاصطناعي باستخدام 15-20 سؤالاً فقط بدلاً من 50، مما يوفر الوقت والطاقة.

4. المفاجأة الكبرى: "الانهيار التوافقي" (Combinatorial Collapse)

اختبر الباحثون 12 من أذكى نماذج الذكاء الاصطناعي في العالم (بما في ذلك نماذج من OpenAI وGoogle وغيرهما) على هذا الاختبار الجديد.

النتيجة: انهارت نماذج الذكاء الاصطناعي.
- في الاختبارات العادية، كانت تسجل حوالي 80-90%.
- في اختبارات LogiHard، انخفضت درجاتها بنسبة 31% إلى 56%.
- بعض النماذج التي كانت "ذكية جداً" في الاختبارات العادية انخفضت دقتها إلى ما يقرب من الصفر في الألغاز المنطقية الأكثر صعوبة.

لماذا فشلوا؟
وجدت الورقة البحثية سببين رئيسيين، باستخدام تشبيه "المرحلتين":

المرحلة الأولى (الدماغ): استطاع الذكاء الاصطناعي فهم الحقائق الفردية بشكل مثالي. (مثلاً: "الضوء يعمل").
المرحلة الثانية (التجميع): فشل الذكاء الاصطناعي في تجميع تلك الحقائق معاً في قائمة كاملة من جميع الإجابات الصحيحة.
- ثغرة "الخروج المبكر": يتم تدريب نماذج الذكاء الاصطناعي على إيجاد إجابة واحدة جيدة ثم التوقف. إنهم يشبهون طالباً يرى خياراً واحداً صحيحاً في اختبار "اختر كل ما ينطبق"، فيضع دائرة حوله ويمضي، رغم أنه كان يعلم أن هناك خيارين آخرين صحيحين أيضاً. إنهم يفتقرون إلى "المحفز الميتا-معرفي" للتساؤل: "مهلاً، هل فاتني شيء ما؟"

5. المقارنة مع البشر

طلب الباحثون من 30 متطوعاً بشرياً إجراء الاختبار.

البشر: سجلوا حوالي 79.5%. لقد تعاملوا مع المنطق المعقد بشكل جيد.
الذكاء الاصطناعي: سجلت حتى أفضل نماذج الذكاء الاصطناعي درجات أقل بكثير من البشر في هذه الألغاز المنطقية المحددة.
الخلاصة: الذكاء الاصطناعي ليس "غبياً"؛ بل لديه فجوة محددة. هو بارع في حفظ الأنماط وإيجاد الإجابات الفردية، لكنه يعاني عندما يُطلب منه التعامل مع قواعد منطقية متعددة في وقت واحد وسرد كل النت possible الممكنة.

الملخص

تجادل الورقة البحثية بأنه لا يمكننا الوثوق بمعايير الذكاء الاصطناعي القياسية لأن النماذج قد "غشت" عبر حفظ الأنماط. LogiHard هو طريقة جديدة وصارمة رياضياً لإجبار الذكاء الاصطناعي على القيام بمنطق حقيقي متعدد الخطوات. وتظهر النتائج أن حتى أكثر نماذج الذكاء الاصطناعي تقدماً اليوم لديها فجوة جوهرية: يمكنها فهم المنطق، لكنها لا تستطيع تركيب المنطق المعقد بشكل موثوق لإيجاد جميع الإجابات الممكنة. إنها "فجوة استدلال توافقية" لم تعالجها طرق التدريب الحالية بعد.

ملخص تقني: من الاختيار من الدرجة صفر إلى الحكم من الدرجة الثانية

بيان المشكلة

تواجه معايير الاختبار للأسئلة متعددة الخيارات (MCQ) المستخدمة لتقييم النماذج اللغوية الكبيرة (LLMs) تحديين حرجين: التشبع السريع نتيجة تقدم قدرات النماذج، وتلوث البيانات الذي يقوض التقييمات الثابتة. وبينما حققت نماذج الاستدلال الكبيرة (LRMs) دقة فائقة على البشر في معايير الاستدلال المنطقي القياسية (مثل LogiQA وMMLU)، فإن هذا الأداء غالبًا ما ينبع من حفظ مجموعة التدريب واستغلال الأنماط السطحية (مثل انحياز الموضع، والتداخل المعجمي) بدلاً من الاستلزام المنطقي الحقيقي.

تحاول طرق "التقسية" (hardening) الحالية، مثل إعادة الصياغة، أو الاضطرابات العدائية، أو المشتتات من نوع "لا شيء مما سبق" (NOTA)، زيادة الصعوبة ولكنها تفشل في معالجة القضية الجوهرية. تظل هذه النهج مهام اختيار من الدرجة صفر حيث يحدد النموذج خياراً صحيحاً واحداً من بين المرشحين. وهي لا ترفع الرتبة المنطقية للاستدلال، مما يسمح للنماذج المتقدمة بتجاوز القيود المنطقية العميقة عبر عمليات التحقق الطويلة لسلسلة الأفك "سلسلة التفكير" (CoT) أو مطابقة الأنماط. وبناءً على ذلك، تفشل المعايير الحالية في تحدي نماذج الاستدلال الحديثة أو كشف الفجوات الأساسية في المنطق التركيبي.

المنهجية: إطار عمل LogiHard

يقترح المؤلفون LogiHard، وهو إطار عمل رسمي يحول مهام الأسئلة متعددة الخيارات من الدرجة صفر بشكل حتمي إلى مهام حكم منطقي من الدرجة الثانية. يعمل هذا التحول على زيادة الجهد الذهني وخطوات الاستدلال مع ضمان الصلاحية عن طريق البناء. يتكون إطار العمل من ثلاثة مكونات متآزرة:

1. بروتوكول التوليف الحتمي

بدلاً من الاضطراب العشوائي، يقوم LogiHard برسم خرائط للخيارات الذرية إلى متغيرات قضائية وتوليف صيغ مركبة باستخدام الروابط المنطقية ( $\land, \lor, \neg$ ).

التحويل: يتم تحويل السؤال الذري $Q = (C, O, a)$ إلى سؤال توليفي $Q' = (C', \Phi, A)$ . تتضمن السياق $C'$ عبارات باللغة الطبيعية تقابل الخيارات الذرية. تحتوي مجموعة الصيغ $\Phi$ على قضايا مركبة (مثل الدقة، أو الانفصال، أو النفي، أو النفي المركب) التي يجب على النموذج تقييمها تحت التعيين الصحيح المستمد من الإجابة الأصلية.
الصلاحية عن طريق البناء: مجموعة الإجابة الصحيحة $A$ متسقة منطقياً مع الحقيقة الذرية. لا يظهر الخيار الذري مباشرة في المخرجات؛ بل يظهر فقط نظيره القضائي ضمن الصيغ المركبة. وهذا يجعل حفظ الأنماط السطحية غير فعال.
مستويات الصعوبة: يتم معايرة التعقيد عبر هرمية العمليات:
- سهل: الدقة فقط ( $\land$ ).
- متوسط: إضافة الانفصال ( $\lor$ ).
- صعب: إضافة النفي ( $\neg$ ).
- خبير: إضافة النفي المركب.

2. تسجيل الصعوبة المعرفية

لض้อม أن الأسئلة المصدرية صعبة جوهرياً قبل عملية التحويل، يستخدم إطار العمل وحدة تسجيل معرفي.

المقاييس: تستخرج الوحدة تسعة أبعاد من مسارات تفكير النموذج (مثل نقاط التذبذب، كثافة المنطق، عمق الاستنباط، وطول سلسلة الاستدلال).
الدرجة الذهبية: يتم تجميع هذه المقاييس في "درجة ذهبية" موزونة لتصنيف الأسئلة إلى مستويات (سهل، متوسط، صعب، خبير). تخضع فقط مستويات "صعب" و"خبير" للتحويل التوليفي لمنع تأثيرات الحد الأدنى.

3. التقييم الديناميكي عبر IRT-CAT

يدمج LogiHard بين نظرية الاستجابة للمفردة (IRT) والاختبار التكيفي المحوسب (CAT) لمعالجة عدم كفاءة المعايير الثابتة.

الاختيار التكيفي: يختار النظام ديناميكياً العناصر الأكثر إفادة بناءً على تقدير القدرة الحالي للنموذটি ( $\hat{\theta}$ )، مما يعظم معلومات فيشر.
تقدير المجموعات المزدوجة: يقوم بتقدير القدرة بشكل منفصل على الاستدلال الذري (الدرجة صفر) والاستدلال التوليفي (الدرجة الثانية)، مما يسمح بقياس دقيق لـ "الفجوة التوليفية" ( $\Delta\theta$ ).
الكفاءة: يحقق هذا النهج دقة قياس تعادل الاختبارات الثابتة المكونة من 60 فقرة باستخدام 15-25 سؤالاً مختاراً تكيفياً فقط.

المساهمات الرئيسية

توليف الصعوبة المضمونة الصلاحية: بروتوكول حتمي يرفع الاستدلال من اختيار الدرجة صفر إلى حكم الدرجة الثانية. إنه يقاوم الحفظ من خلال ضمان أن الإجابة الصحيحة هي التي تحدد التعيين الحقيقي دون ظهور الخيار الذري في المخرجات، مما يلغي الانزياح الدلالي الموجود في الأساليب العدائية.
التحكم الديناميكي في الصعوبة: نظام موحد يجمع بين تكوينات العمليات المتدرجة للمعايرة وقت التوليد، وبين IRT-CAT القائم على نظرية الاستجابة للمفردة للهدف الدقيق للقدرة.
تحديد فشل الاستدلال: كشف تطبيق LogiHard-2k، وهو مجموعة بيانات تضم 2000 سؤال من الاختبارات عالية المخاطر، عن فشل في الاختيار المتعدد وفجوة في الاستدلال التوليفي في النماذج الرائدة.

النتائج التجريبية

تم تقييم إطار العمل عبر اثني عشر نموذجاً من أحدث النماذج (بما في ذلك GPT-5.4، o3، Claude-Opus-4.6، DeepSeek-R1، و Qwen3.6-plus) ومقارنتها بالمقيمين البشريين.

تدهور الدقة: أظهرت النماذج انخفاضاً حاداً في الأداء على الأسئلة المقساة توليفياً، حيث تراوح تدهور الدقة بين 31% و56%. على سبيل المثال، انخفض أداء Qwen3.6-plus من 51.67% (H-Base) إلى 5.00% (H-Comb).
مستويات المرونة: تم تصنيف النماذج إلى ثلاث فئات بناءً على انخفاض القدرة الكامن ( $\Delta\theta$ ). أظهرت النماذج الأكثر مرونة (مثل GLM-5، GPT-5.4) انخفاضاً قدره $\approx 1.05–1.11$ ، بينما عانت نماذج أخرى (مثل GLM-4.7) من انهيار قدره $\Delta\theta = 3.14$ .
عدم التماثل بين البشر والآلات: حقق المقيمون البشريون دقة بنسبة 79.5% في الأسئلة الصعبة-التوليفية ( $\Delta\theta \approx 0.28$ )، متفوقين بشكل كبير حتى على أكثر النماذج مرونة.
عنق زجاجة الاختيار المتعدد: كشف تحليل التفاصيل عن نمط فشل محدد: انخفضت الدقة من 31.2% للأسئلة ذات الخيار الصحيح الواحد إلى 12.4% للأسئلة متعددة الاختيارات ( $n_{correct} \ge 2$ ).
النقل من الصفر (Zero-Shot Transfer): عند تطبيقه على MMLU دون تكييف النطاق، أظهر إطار العمل تدهوراً في الدقة بنسبة 47% (89.84% $\to$ 42.86%)، مما يؤكد أن الفجوة مستقلة عن النطاق وتنبع من بنية الاستدلال وليس من نقص المعرفة.

التحليل الآلي والأهمية

حدد البحث السبب الجذري للفشل بأنه فجوة في التعيين التوليفي وليس نقصاً في المعرفة المنطقية.

الفشل ذو المرحلتين: تنجح النماذج في تنفيذ المرحلة الأولى (تقييم التعيينات الحقيقية الذرية) لكنها تفشل في المرحلة الثانية (ترجمة هذه الحقائق إلى مجموعات خيارات كاملة متعددة الاختيار).
الانحياز الناجم عن التدريب: يُعزى الفشل إلى انحياز الخروج المبكر في مسارات التدريب. النماذج مُحسّنة لاختيار إجابة واحدة ("أول إجابة صحيحة تفوز") وتفتقر إلى المحفزات وراء المعرفية للتحقق من اكتمال القيمة المجموعية. يؤدي هذا إلى نقص في الاختيار، حيث تحدد النماذج الخيارات الصالحة لكنها تفشل في تعداد المجموعة الكاملة.
الأهمية: يثبت LogiHard أن النماذج الرائدة الحالية تفتقر إلى استيفاء القيود القضائية القوي. يوفر إطار العمل بروتوكول تقييم مستقلاً عن النطاق ومقاوماً للتلوث، يعزل قدرة الاستدماء عن المعرفة بالمجال. ويشير إلى أن أنظمة التدريب المستقبلية يجب أن تتضمن رفعاً توليفياً حتمياً لغرس استيفاء القيود المجموعية، متجاوزة الاعتماد الحالي على تشبع المعايير السطحية.

يخلص المؤلفون إلى أن التمييز بين "معرفة المنطق" و"تركيب المنطق" يظل سقفاً مستمراً للاستدلال الآلي، وأن المعايير الثابتة تقترب من مرحلة التقادم لتقييم قدرات الاستدلال الحقيقية.