WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

تخيل أنك محقق يحاول حل لغز، لكن الجريمة لم تقع بعد. في عالم الذكاء الاصطناعي، غالبًا ما نختبر البرامج الحاسوبية "الذكية" عبر سؤالها عن أشياء حدثت بالفعل، مثل "من فاز بكأس العالم 2022؟". المشكلة هي أن هذه البرامج قد تكون مجرد حفظت الإجابة من الإنترنت، بدلاً من استنتاجها فعلياً. لاختبار ذكاء عقل ما حقاً، عليك أن تطلب منه التنبؤ بالمستقبل—وهو شيء لم يوجد بعد ولا يمكن البحث عنه في "جوجل". هذا هو أفق "التنبؤ"، حيث نرى ما إذا كان بإمكان الآلة استخدام المنطق للوصول إلى إجابة لا يعرفها أحد بعد.

هذه الورقة البحثية، التي تحمل عنوان WORLDCUP ARENA، تأخذ هذه الفكرة وتطبقها في تجربة ضخمة وآنية. فبدلاً من سؤال حاسوب عن فائز بمباراة انتهت منذ سنوات، وضع الباحثون بطولة حية: كأس العالم لكرة القدم 2026. لقد دعوا ستة من أكثر نماذج الذكاء الاصطناعي تطوراً في العالم للعمل كمحللين رياضيين. وفي كل يوم، وقبل انطلاق مباراة واحدة، كان على هذه النماذج النظر في الفرق، والطقس، والحكام، وآخر الأخبار، ثم تقديم سبعة تنبؤات مختلفة للمباراة (مثل من سيفوز، وعدد الأهداف المسجلة، والنتيجة الدقيقة). العائق كان؟ المباريات لم تكن قد حدثت بعد. الإجابات لم تكن موجودة في أي مكان على الإنترنت. وهذا يعني أن نماذج الذكاء الاصطناعي لم يكن بإمكانها الوصول إلى النتيجة؛ بل كان عليها أن تفكر حقاً.

أراد الباحثون معرفة ما إذا كانت هذه الحواسيب فائقة الذكاء ستتمكن من التغلب على الاحتمالات، أم أنها ستكتفي فقط باتباع الحشد. وجدوا أنه بينما كانت نماذج الذكاء الاصطناعي مثيرة للإعجاب، إلا أنها لم تكن سحرية. ففي المتوسط، أصابت في حوالي 63.9% من نتائج المباريات. يبدو هذا جيداً، لكنه يكاد يتطابق تماماً مع المراهنة بشكل أعمى على الفريق الذي يعتقد مراهنو الكتب (bookmakers) أنه سيفوز. في الواقع، كانت نماذج الذكاء الاصطناعي حذرة للغاية لدرجة أنها نادراً ما توقعت التعادل، رغم أن التعادلات تحدث كثيراً، وظلت تخمن نفس النتيجة المملة (2-1) مراراً وتكراراً.

إليك الجزء الأكثر إثارة للدهشة: كانت نماذجم ستة المختلفة متشابهة تقريباً في تفكيرها. لقد اتفقت مع بعضها البعض بنسبة 76% من الوقت. وإذا طلبت منها التصويت على الفائز، فإن "تصويت الأغلبية" لم يكن أفضل من أفضل نموذج ذكاء اصطناعي منفرد. يتضح أن أكثر نماذج "التفكير" تطوراً في عام 2026 تتبع جميعها نفس النهج: فهي جيدة جداً في النظر إلى الصورة الكبيرة (مثل التنبؤ بالدولة التي ستفوز بالبطولة بأكملها) ولكنها تعاني في التعامل مع التفاصيل الصغيرة والفوضوية لمباراة واحدة وثيقة. تخلص الورقة إلى أنه في الوقت الحالي، ليست أنظمة الذكاء الاصطناعي هذه مختلفة بشكل حاد عن بعضها البعض؛ فهي جميعاً بارعة جداً في محاكاة أنماط المراهنة البشرية، لكنها لم تكتشف بعد كيفية "رؤية" المستقبل بشكل أفضل من خبير بشري يستخدم آلة حاسبة.

التجربة: بطولة حية للعقول

قام الباحثون بإعداد ساحة "خالية من التسريب". في الاختبارات العادية، يضطر العلماء للقلق من احتمال أن يكون الذكاء الاصطناعي قد "سرب" الإجابة من بيانات التدريب الخاصة به. ولكن هنا، ولأن المباريات كانت تحدث في الوقت الفعلي في عام 2026، فإن الإجابات لم تكن موجودة حرفياً عندما طُرحت الأسئلة. كان الإعداد صارماً:

• اللاعبون: ستة من نماذج الذكاء الاصطناعي الرائدة (Claude، GPT، Gemini، Kimi، GLM، وSeed).
• القواعد: كان على كل نموذج استخدام وضع "التفكير الممتد" (أعمق مستوى من الاستنتاج المتاح) وأداة البحث الخاصة به عبر الويب لقراءة آخر الأخبار، وتقارير الإصابات، والاحتمالات.
• المهمة: لكل مباراة من مباريات البطولة الـ 104، كان على الذكاء الاصطناعي ملء "بطاقة تنبؤ" بسبعة أسواق: من يفوز، النتيجة الدقيقة، إجمالي الأهداف، والمزيد.
• البيانات: تم تزويد نماذج الذكاء الاصطناعي بـ "ملف معلومات" (dossier) لكل فريق يتم تحديثه يومياً، حيث بدأ بملخص صغير وتطور إلى ملف ضخم يتجاوز مليون حرف بحلول نهاية البطولة.

ما وجدوه: عقلية "القطيع"

رسمت النتائج صورة واضحة، ومضحكة نوعاً ما، لكيفية تفكير هذه النماذج.

1. يتبعون الحشد، لا البلورة السحرية
لم يتفوق الذكاء الاصطناعي على مراهني الكتب. لقد انحازوا ببساطة إلى الفريق المفضل لدى مراهني الكتب بنسبة تتراوح بين 85.6% إلى 90.4%. كانت دقة متوسطهم البالغة 63.9% مطابقة إحصائياً للمراهنة الميكانيكية على الفريق المفضل (والتي تحقق 64.4%). لم يكونوا يكتشفون رؤى جديدة؛ بل كانوا يرددون صدى السوق.

2. "العمى عن التعادل"
كانت نماذج الذكاء الاصطناعي سيئة جداً في التنبؤ بالتعادلات. في البطولة، انتهت 27 مباراة بالتعادل. لكن النماذج لم تتوقع سوى 8 إلى 14 تعادلاً. لقد كانوا خائفين من التعادل لدرجة أنهم لم يضعوه في الاعتبار تقرياً، رغم أنه يحدث بشكل متكرر في كرة القدم.

3. الهوس بـ "2-1"
عند تخمين النتيجة الدقيقة، وقعت النماذج في فخ التكرار. فقد وضعت 28.0% من جميع توقعات النتيجة على نتيجة واحدة وهي: 2-1. لقد تجاهلوا التنوع الواسع للنتوات الممكنة وحشدوا توقعاتهم حول نتيجة "نموذجية" واحدة.

4. الصورة الكبيرة مقابل التفاصيل الصغيرة
كانت النماذج "قوية في الكليات وضعيفة في الجزئيات".

• على المستوى الكلي (Macro): برعوا في التنبؤ بفائز البطولة وترتيب المجموعات.
• على المستوى الجزئي (Micro): انهاروا في المباريات المتقاربة. في دور الـ 32 (حيث كانت الفرق متكافئة)، كانت دقة توقعاتهم 86.5%. ولكن في نصف النهائي، حيث كانت ملفات المعلومات غنية جداً والفرق متكافئة في المستوى، انهارت دقة توقعاتهم لتصل إلى 8.3%. كلما عرفوا المزيد عن الفرق، زاد سوء أدائهم في اختيار الفائز في مباراة حاسمة.

5. تأثير "القطيع"
اتفقت النماذج الستة مع بعضها البعض بنسبة 76.0%. ولأنها جميعاً كانت تفكر بشكل متشابه، فإن طلب التصويت منها لم يضف أي فائدة. "تصويت الأغلبية" للنماذج الستة لم يضف شيئاً للقدرة على التنبؤ. لقد كانوا جميعاً عالقين في الحلقة ذاتها.

لوحة الصدارة: سباق ضيق

كانت الدرجات النهائية متقاربة للغاية، مما يظهر أن الجيل الحالي من الذكاء الاصطناعي ليس متميزاً بشكل حاد.

• حصل Claude على المركز الأول بـ 897 نقطة.
• جاء GLM في المركز الأخير بـ 813 نقطة.
• الفجوة بين الأول والأخير كانت 84 نقطة فقط (حوالي 10.3%).

وعندما أجرى الباحثون اختبارات إحصائية (تسمى "فترات بوتستراب") لمعرفة ما إذا كان الفائز أفضل حقاً، كانت النتائج مهتزة. فاز Claude في 53.6% من عمليات المحاكاة المتكررة، لكن الفرق بين النماذج العليا كان غالباً ضمن هامش الخطأ. على سبيل المثال، الفرق بين المركز الأول والثاني كان صغيراً جداً لدرجة أنه إذا أُعيدت البطولة مرة أخرى، فقد ينعكس الترتيب.

الخلاصة

تشير هذه الدراسة إلى أنه على الرغم من أن نماذج الذكاء الاصطناعي الأكثر تقدماً اليوم هي أدوات قوية لجمع المعلومات والاستنتاج، إلا أنها لم تتعلم بعد كيفية التحرر من أنماط الماضي للتنبؤ بالمستقبل حقاً. إنها ممتازة في تلخيص ما نعرفه، ولكن عندما تواجه حدثاً غير مؤكد حقاً حيث لا توجد إجابة بعد، فإنها تميل إلى اللعب بأمان، واتباع الحشد، وتخمين النتيجة الأكثر "متوسطاً".

تخلص الورقة إلى أن الجيل الحالي من الأنظمة الرائدة ليس مختلفاً بشكل حاد عن بعضه البعض. فهي تشترك جميعاً في نفس نقاط القوة (التفكير في الصورة الكبيرة) ونفس نقاط الضعف (الخوف من التعادل، والهوس بالنتائج المتوسطة). يبدو أن "سحر" التنبؤ بالذكاء الاصطناعي لا يزال مجرد نسخة متطورة جداً من اتباع احتمالات المراهنة.