Positional Failures in Long-Context LLMs: A Blind Spot in Reasoning Benchmarks
تكشف هذه الورقة عن فجوة حرجة في معايير تقييم الاستدلال في السياقات الطويلة من خلال إثبات أن التقييمات السائدة تفشل في ضبط موضع المهمة، مما يؤدي إلى انخفاض كبير في الأداء عندما توضع المهام في منتصف السياقات الطويلة بسبب تداخل الحشو، وتقترح إطار عمل تقييم تعفن السياق (CRE) لمعالجة هذه النقطة العمياء الهيكلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.
الفكرة الكبرى: مشكلة "المقعد الأوسط"
تخيل أنك تطلب من طالب ذكي جداً حل مسألة رياضية. أعطيته كتاباً ضخماً (الذي يمثل "السياق") يتكون من 64,000 صفحة.
- الطريقة القديمة: إذا وضعت المسألة الرياضية في الصفحة الأخيرة من الكتاب، فسيحلها الطالب بشكل صحيح في كل مرة تقريباً.
- الاكتشاف الجديد: وجدت هذه الورقة أنه إذا نقلت نفس المسألة الرياضية إلى منتصف الكتاب، فإن الطالب ينسى فجأة كيفية حلها. يمكن لأدائه أن ينهار من دقة 96% إلى مجرد 8% فقط.
يطلق المؤلفون على هذا اسم "الفشل الموضعي" (Positional Failure). ويجادلون بأنه بينما نمتلك اختبارات رائعة للتحقق مما إذا كان بإمكان الطالب العثور على حقيقة معينة في كتاب (مثل "إبرة في كومة قش")، إلا أننا لم نكن نختبر ما إذا كان بإمكانه التفكير المنطقي عبر مسألة ما عندما تكون مدفونة في منتصف نص طويل.
التحقيق: تدقيق الاختبارات
عمل الباحثون كالمحققين ونظروا في 11 اختباراً شهيراً لـ "السياق الطويل" تُستخدم لتقييم نماذج الذكاء الاصطنا العالمي.
- النتيجة: لا يوجد أي من هذه الاختبارات يتحكم في مكان وضع السؤال. فهي تستخدم فقط وثائق طبيعية حيث يحدث أن يكون السؤال في البداية، أو المنتصف، أو النهاية عن طريق الصدفة.
- فحص الشركات المصنعة: نظروا أيضاً في "شهادات التقدير" الرسمية (بطاقات النماذج) لأربع شركات كبرى في مجال الذكاء الاصطناعي (DeepSeek، MiMo، Kimi، GLM).
- النتيجة: تعرض هذه الشركات بكل فخر درجاتها في مهام البرمجة والوكلاء (مثل "هل يمكنك كتابة برنامج؟") في جداول كبيرة وواضحة.
- النقطة العمياء: إنهم نادراً ما يظهرون درجاتهم في "الاستدلال المتحكم في الموضع" (position-controlled reasoning). إنهم يخفون حقيقة أن نماذجهم قد تفشل فشلاً ذريعاً عندما يكون السؤال في منتصف مستند طويل.
التجربة: اختبار "تعفن السياق" (Context Rot)
لإثبات أن هذا لم يكن مجرد صدفة، بنى المؤلفون اختباراً جديداً يسمى CRE (تقييم تعفن السياوق). فكر في هذا كاختبار جهد لمدى قدرة الذكاء الاصطناعي على التركيز.
لقد أخذوا نوعين من الأسئلة:
- مسائل رياضية (GSM8K)
- أسئلة علوم متعددة الخيارات (ARC-Challenge)
ثم أنشأوا ثلاثة سيناريوهات مختلفة لـ "الضجيج الخلفي" (المحتوى الحشوي) لمعرفة ما الذي سيشتت انتباه الذكاء الاصطناعي:
- "مساعد الواجب المنزلي" (مع الحلول - with_solutions): احتوى النص الخلفي على مسائل رياضية أخرى مع حلولها مكتوبة.
- "الأسئلة غير المجابة" (الأسئلة فقط - questions_only_v2): احتوى النص الخلفي على مسائل رياضية أخرى بدون إجابات.
- "الضجيج العشوائي" (النص المحايد - neutral_text): كان النص الخلفي مجرد مقالات ويكيبيديا عشوائية عن القطط والتاريخ.
اختبروا 9 نماذج مختلفة من الذكاء الاصطناعي عند ثلاثة "أطوال كتب" مختلفة: 8K، و32K، و64K توكن (token).
النتائج الصادمة
أظهرت النتائج أن بعض النماذج هشة للغاية، بينما البعض الآخر صلب.
1. انهيار "المقعد الأوسط"
بالنسبة لبعض النماذج (مثل MiMo-v2-Flash)، أدى نقل السؤال من نهاية الكتاب إلى منتصفه إلى انخفاض هائل في الأداء.
- عند طول 64K مع ضجيج "مساعد الواجب المنزلي"، انخفض أداء النموذج بمقدار 88 نقطة مئوية. لقد تحول من كونه عبقرياً (دقة 96%) إلى بالكاد يجتاز الاختبار (دقة 8%) لمجرد أن السؤال انتقل إلى المنتصف.
- لماذا؟ وجدت الورقة أنه عندما يفشل النموذج في المنتصف، فإنه غالباً ما ينسخ الإجابة الخاطئة من الضجيج الخلفي. كان الأمر كما لو أن الطالب ارتبك بسبب مسائل الواجب المنزلي الأخرى الموجودة بجانب سؤاله الأساسي.
2. النماذج "المحصنة"
لم تفشل جميع النماذج. كان نموذج DeepSeek-V3.2 محصناً تقريباً ضد هذه المشكلة عندما كان الضجيج عبارة عن "مساعد الواجب المنزلي". فقد أجاب على السؤال بشكل صحيح سواء كان في النهاية أو في المنتصف. ومع ذلك، عندما كان الضجيج عبارة عن "أسئلة غير مجابة"، بدأ حتى هذا النموذج القوي في المعاناة.
3. النماذج "الأحدث"
اختبر المؤلفون أربعة نماذج جديدة ومطورة من نفس الشركات.
- أخبار جيدة: أصبحت هذه النماذج أفضل قليلاً في التعامل مع ضجيج "مساعد الواجب المنزلي" في المنتصف.
- أخبار سيئة: لا تزال تعاني بشدة مع "الأسئلة غير المجابة" في المنتصف. المشكلة لم تُحل، بل تغير شكلها فقط.
التشخيص بـ "الخدعة السحرية"
لإثبات أن هذا يتعلق حقاً بـ الموضع وليس مجرد كون النموذج "غبياً"، قام الباحثون بخدعة.
- وضعوا المسألة الرياضية في المنتصف (حيث يفشل النموذج عادةً).
- ثم، قاموا بـ نسخ ولصق نفس المسألة تماماً في نهاية الكتاب.
- النتيجة: فجأة، حصل النموذج على الإجابة الصحيحة مرة أخرى!
هذا يثبت أن النموذج يعرف كيفية حل المسألة. إنه فقط لا يستطيع العثور عليها أو التركيز عليها عندما تكون مدفونة في المنتصف. الأمر يشبه شخصاً يمكنه حل لغز إذا كان على مكتبه، ولكن إذا أخفيته تحت كومة من الأوراق، فإنه ينسى وجوده.
الخلاصة
تخلص الورقة إلى أن الطريقة الحالية لاختبار الذكاء الاصطناعي معطلة.
- الفجوة: نحن نختبر الذكاء الاصطناعي فقط على "حواف" المستندات الطويلة (حيث يؤدون بشكل جيد). نحن نتجاهل "المنتصف"، حيث يفشلون غالباً.
- الخطر: إذا قالت شركة ما: "ذكاؤنا الاصطناعي بدقة 95% في المستندات الطويلة"، لكنهم اختبروا الأسئلة في النهاية فقط، فإن هذا الرقم مضلل. قد يكون الذكاء الاصطناعي غير مفيد للمهام الواقعية حيث تكون المعلومات المهمة مدفونة في المنتصف.
باختصار: مجرد قدرة الذكاء الاصطناعي على قراءة كتاب طويل لا يعني بالضرورة أنه يستطيع إيجاد الإجابة في منتصفه. نحن بحاجة للبدء في اختبار "المنتصف" للحصول على صورة حقيقية لمدى ذكاء هذه النماذج حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.