Frontier Lag: A Bibliometric Audit of Capability Misrepresentation in Academic AI Evaluation

إليك شرح لورقة بحثية بعنوان "تأخر الحدود" (Frontier Lag) بلغة بسيطة ومع استخدام تشبيهات من الحياة اليومية.

الفكرة الكبرى: مشكلة "القائمة القديمة"

تخيل أنك دخلت مطعماً فاخراً في عام 2026. سألت النادل: "ماذا يمكن لهذا المطبخ أن يقدم؟". سلمك النادل قائمة طعام، لكنها قائمة من عام 2023. القائمة تسرد أطباقاً تم إعدادها بمكونات لم تعد موجودة، وبتقنيات طهي استُبدلت بطرق أسرع وأذكى.

إذا قرأت هذه القائمة، قد تستنتج: "هذا المطعم لا يستطيع إعداد طعام جيد". لكن هذا ليس صحيحاً. المطعم يمكنه إعداد طعام جيد؛ هم ببساطة لم يقوموا بتحديث القائمة التي تقرأها الآن.

تجادل هذه الورقة البحثية بأن الأبحاث العلمية حول الذكاء الاصطناعي تفعل ذلك بالضبط.

يقوم الباحثون باختبار نماذج ذكاء اصطناعي "قديمة" بالفعل (من عام أو عامين مضت) ويختبرونها بطريقة "بسيطة" (دون استخدام أحدث ميزاتها الأكثر ذكاءً). ثم يكتبون أوراقاً بحثية تنص على: "الذكاء الاصطناعي لا يستطيع القيام بـ (س)". ولكن لأنهم لم يختبروا الذكاء الاصطناعي الحالي أو يستخدموا إعداداته الحالية، فإن الاستنتاج يكون مضللاً. الأمر يشبه الحكم على سيارة "فيراري 2026" عن طريق قيادة سيارة "فورد بينتو 2023".

الطرق الثلاث التي تجعل "القائمة" قديمة

وجد المؤلفون أن الفجوة بين ما يمكن للذكاء الاصطناعي فعله حقاً الآن وبين ما تدعيه الأوراق البحثية هي فجوة هائلة. وقد قسموا هذه الفجوة إلى ثلاثة أجزاء:

1. تأخر الزمن (مشكلة "أخبار الأمس")

• التشبيه: تخيل مراجعاً تقنياً يختبر هاتفاً ذكياً جديداً. بدلاً من اختبار النموذج الذي صدر اليوم، يقوم باختبار نموذج صدر قبل 18 شهراً.
• النتيجة: اختبرت الأوراق البحثية المتوسطة في هذه الدراسة نموذج ذكاء اصطناعي يتأخر بنحو جيل رئيسي واحد عن أفضل ذكاء اصطناعي متاح وقت إجراء الدراسة. إذا كان أفضل ذكاء اصطناعي هو "عقل خارق"، فإن الأوراق البحثية اختبرت في الغالب "هاتفاً ذكياً" من العام السابق.

2. تأخر التوزيع (مشكلة "نسخة الميزانية المحدودة")

• التشبية: تخيل أن شركة سيارات أصدرت سيارتين: طراز "برو" (Pro) بمحرك توربو، وطراز "ميني" (Mini) بمحرك قياسي. يقوم المراجع بشراء طراز "الميني" لأنه أرخص، ويقود بضع لفات حول الحي، ثم يكتب تقريراً ينص على: "هذه العلامة التجارية للسيارات بطيئة". هو لم يقد طراز "البرو" أبداً.
• النتيجة: حتى عندما استخدم الباحثون عائلة الذكاء الاصطناعي "الصحيحة" (مثل GPT أو Claude)، فقد اختبروا غالباً النسخة الأرخص والأضعف (مثل "Mini" أو "Flash")، بينما كانت نسخة "Pro" أو "Opus" الأقوى متاحة بالفعل.

3. تأخر الإعدادات (مشكلة "المصباح المطفأ")

• التشبيه: تخيل أنك تختبر روبوتاً عالي التقنية يمكنه التفكير، واستخدام الأدوات، وحل الألغاز. لكنك تختبره مع إيقاف مفتاح "التفكير"، وإغلاق حقيبة الأدوات، وتطرح عليه سؤالاً بسيطاً فقط دون إعطائه أي تلميحات. ثم تستنتج: "هذا الروبوت عديم الفائدة".
• النتيجة: هذا هو المفاجأة الأكبر. يمتلك الذكاء الاصطناعي الحديث "وضع تفكير" (مثل عملية تفكير عميقة) ويمكنه استخدام الأدوات (مثل البحث في الويب أو محررات الأكواد).
  • 3.2% فقط من الأوراق التي اختبرت نماذج "التفكير" هذه ذكرت ما إذا كانت قد فعلت "وضع التفكير" أم لا.
  • معظم الأوراق اختبرت الذكاء الاصطناعي في وضع "المرة الواحدة" (Zero-Shot) (أي مجرد سؤال واحد فقط)، بدلاً من إعطائه وقتاً للتفكير أو أدوات للمساعدة.
  • النتيجة: إنهم يختبرون الذكاء الاصطناعي ويداه مقيدتان، ثم يدعون أنه لا يستطيع إكمال المهمة.

فخ "التعميم"

وجدت الورقة أن 52.5% من الملخصات (الملخصات القصيرة في بداية الأوراق البحثية) ارتكبت خطأً خطيراً.

• ما فعلوه: اختبروا ذكاءً اصطناعياً محدداً، قديماً، وأضعف.
• ما كتبوه: استنتجوا أن "الذكاء الاصطناعي" (كفئة كاملة) لا يمكنه التعامل مع المهمة.
• التشبيه: الأمر يشبه اختبار دراجة هوائية محددة ومعيبة، ثم كتابة عنوان: "الدراجات الهوائية خطيرة". العنوان يتجاهل حقيقة أنهم اختبروا دراجة واحدة معيبة فقط، وليس كل الدراجات.

ولأن هذه العناوين يتم الاستشهاد بها من قبل الأطباء والمحامين وصناع السياسات، يبدأ العالم في الاعتقاد بأن الذكاء الاصطناعي أسوأ مما هو عليه في الواقع.

لماذا يحدث هذا؟ (ليس بسبب سوء النية)

يؤكد المؤلفون بحذر: الباحثون لا يكذبون. هم يبذلون قصارى جهدهم بالأدوات المتاحة لديهم.

• المال: تشغيل أحدث وأذكى نماذج الذكاء الاصطناعي مكلف للغاية. غالباً لا يستطيع الباحثون الأكاديميون تحمل تكاليف نسخ "البرو"، لذا يستخدمون النسخ المجانية أو الأرخص.
• الوقت: يستغرق نشر ورقة بحثية سنوات. وبحلول الوقت الذي تُطبع فيه الورقة، يكون عالم الذكاء الاصطناعي قد تطور أكثر.
• العادة: القواعد التي كُتبت لكتابة هذه الأوراق كانت موجودة قبل أن يمتلك الذكاء الاصطناعي "أوضاع تفكير" أو "مجموعات أدوات". يتبع الباحثون قواعد قديمة لا تتناسب مع التكنولوجيا الجديدة.

الحل: نظام "ملصق" جديد

تقترح الورقة تصحيحاً بسيطاً يسمى versio-ai. إنه يشبه ملصق الحقائق الغذائية الجديد لأوراق الذكاء الاصطناعي. قبل نشر الورقة، يجب على المؤلفين توضيح ما يلي بدقة:

1. أي نموذج بالضبط استخدموا (على سبيل المثال: "GPT-5.5 Pro"، وليس مجرد "GPT").
2. متى قاموا بالاختبار.
3. كيف اختبروه (هل قاموا بتفعيل "وضع التفكير"؟ هل أعطوه أدوات؟).

إذا كانت هذه النقاط الثلاث مفقودة، فيجب رفض الورقة. هذا لا يجعل الذكاء الاصطناعي أذكى، ولكنه يمنعنا من قراءة "القائمة القديمة" والاعتقاد بأن المطعم قد توقف عن الطبخ.

الملخص

تظهر لنا الأدبيات العلمية حالياً فقط ظلاً لما يمكن للذكاء الاصطناعي فعله، وليس الواقع. هو ظل تلقيه نماذج أقدم وأضعف تم اختبارها بطرق بسيطة. الفجوة بين هذا الظل والذكاء الاصطناعي الحقيقي تتسع كل عام. تجادل الورقة بأن العالم سيستمر في التقليل من قدرات الذكاء الاصطناعي ما لم يصبح الباحثون أكثر تحديداً بشأن ما اختبروه بالضبط.