WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन अपराध अभी हुआ ही नहीं है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, हम अक्सर "स्मार्ट" कंप्यूटर प्रोग्रामों का परीक्षण उन चीजों के बारे में सवाल पूछकर करते हैं जो पहले ही हो चुकी हैं, जैसे कि "2022 का विश्व कप किसने जीता?" समस्या यह है कि इन प्रोग्रामों ने शायद इंटरनेट से उत्तर बस याद कर लिया होगा, बजाय इसके कि वे वास्तव में उसे समझ सकें। यदि आप किसी मस्तिष्क को वास्तव में स्मार्ट होने के लिए परखना चाहते हैं, तो आपको उसे भविष्य की भविष्यवाणी करने के लिए कहना होगा—जिसका अस्तित्व अभी तक नहीं है और जिसे गूगल नहीं किया जा सकता। यह "पूर्वानुमान" (forecasting) की सीमा है, जहाँ हम देखते हैं कि क्या कोई मशीन तर्क लगाकर उस उत्तर तक पहुँच सकती है जिसे कोई नहीं जानता।

यह शोध पत्र, जिसका शीर्षक WORLDCUP ARENA है, उसी विचार को एक विशाल, वास्तविक समय के प्रयोग में बदल देता है। वर्षों पहले समाप्त हुए खेल के विजेता का अनुमान लगाने के बजाय, शोधकर्ताओं ने एक लाइव टूर्नामेंट आयोजित किया: 2026 फीफा विश्व कप। उन्होंने दुनिया के छह सबसे उन्नत AI मॉडलों को खेल विश्लेषक के रूप में आमंत्रित किया। हर दिन, एक भी मैच शुरू होने से पहले, इन एआई (AI) को टीमों, मौसम, रेफरी और नवीनतम समाचारों को देखना था, और फिर उस खेल के लिए सात अलग-अलग भविष्यवाणियाँ करनी थीं (जैसे कि कौन जीतेगा, कितने गोल होंगे और सटीक स्कोर क्या होगा)। पेच यह था कि खेल अभी हुए ही नहीं थे। उत्तर इंटरनेट पर कहीं मौजूद नहीं थे। इसका मतलब था कि एआई (AI) स्कोर तक पहुँच नहीं सकते थे; उन्हें वास्तव में सोचना था।

शोधकर्ता यह देखना चाहते थे कि क्या ये सुपर-स्मार्ट कंप्यूटर संभावनाओं को मात दे सकते हैं, या वे केवल भीड़ का अनुसरण करेंगे। उन्होंने पाया कि हालांकि एआई (AI) प्रभावशाली थे, लेकिन वे जादुई नहीं थे। औसतन, वे मैचों के परिणामों का लगभग 63.9% सही बताते थे। यह सुनने में अच्छा लगता है, लेकिन यह लगभग वैसा ही है जैसा कि केवल उस टीम पर दांव लगाना जिसे बुकमेकर्स (bookmakers) जीतता हुआ देखते हैं। वास्तव में, एआई (AI) इतने सतर्क थे कि उन्होंने शायद ही कभी ड्रॉ (tie) की भविष्यवाणी की, भले ही ड्रॉ अक्सर होते थे, और वे बार-बार एक ही उबाऊ स्कोर (2-1) का अनुमान लगाते रहे।

सबसे आश्चर्यजनक बात यह है कि छह अलग-अलग एआई (AI) मॉडल उनकी सोच में लगभग एक जैसे थे। वे 76% समय एक-दूसरे से सहमत थे। यदि आप उनसे विजेता चुनने के लिए कहते, तो "बहुमत का निर्णय" (majority vote) किसी भी एकल एआई (AI) से बेहतर नहीं होता। यह स्पष्ट है कि 2026 के सबसे उन्नत "सोचने वाले" मॉडल भी एक ही प्लेबुक का पालन कर रहे हैं: वे बड़े चित्र (big picture) को देखने में बहुत अच्छे हैं (जैसे कि पूरे टूर्नामेंट को कौन जीतेगा इसकी भविष्यवाणी करना) लेकिन वे एक एकल, करीबी खेल के सूक्ष्म, जटिल विवरणों में संघर्ष करते हैं। यह शोध पत्र निष्कर्ष निकालता है कि वर्तमान में, ये एआई (AI) सिस्टम एक-दूसरे से बहुत अलग नहीं हैं; वे सभी केवल मानव सट्टेबाजी के पैटर्न की नकल करने में बहुत अच्छे हैं, लेकिन उन्होंने अभी तक भविष्य को किसी मानव विशेषज्ञ की तुलना में बेहतर तरीके से "देखना" नहीं सीखा है।

प्रयोग: दिमागों का एक लाइव टूर्नामेंट

शोधकर्ताओं ने एक "लीकेज-मुक्त" (leakage-free) एरिना तैयार किया। सामान्य परीक्षणों में, वैज्ञानिकों को इस बात की चिंता करनी पड़ती है कि कहीं एआई (AI) ने अपने प्रशिक्षण डेटा से उत्तर "लीक" तो नहीं कर लिया। लेकिन यहाँ, क्योंकि मैच 2026 में वास्तविक समय में हो रहे थे, इसलिए जब प्रश्न पूछे गए तब उत्तर वास्तव में अस्तित्व में ही नहीं थे। सेटअप बहुत कड़ा था:

• खिलाड़ी: छह फ्रंटियर एआई (AI) मॉडल (Claude, GPT, Gemini, Kimi, GLM, और Seed)।
• नियम: प्रत्येक मॉडल को अपने "विस्तारित सोच" (extended thinking) मोड (उपलब्ध सबसे गहरे तर्क स्तर) और अपने अंतर्निहित वेब सर्च टूल का उपयोग करके नवीनतम समाचार, चोट की रिपोर्ट और ऑड्स (odds) को पढ़ना था।
• कार्य: टूर्नामेंट के प्रत्येक 104 मैचों के लिए, एआई (AI) को सात बाजारों के साथ एक "प्रेडिक्शन कार्ड" भरना था: कौन जीतेगा, सटीक स्कोर, कुल गोल, और बहुत कुछ।
• डेटा: एआई (AI) को प्रत्येक टीम के लिए एक "डोजियर" (dossier) दिया गया था जो दैनिक आधार पर अपडेट होता था, जो एक छोटे सारांश से बढ़कर टूर्नामेंट के अंत तक 1 मिलियन से अधिक वर्णों की एक विशाल फाइल बन गया।

उन्होंने क्या पाया: "झुंड" वाली मानसिकता

परिणामों ने एक स्पष्ट, थोड़ा मजाकिया चित्र खींचा कि ये एआई (AI) कैसे सोचते हैं।

1. वे क्रिस्टल बॉल का नहीं, बल्कि भीड़ का अनुसरण करते हैं
एआई (AI) ने बुकमेकर्स को मात नहीं दी। उन्होंने केवल बुकमेकर की पसंदीदा टीम का पक्ष 85.6% से 90.4% बार लिया। उनकी औसत सटीकता 63.9% थी, जो सांख्यिकीय रूप से उसी के समान है जो यांत्रिक रूप से पसंदीदा टीम का समर्थन करने पर मिलती है (जो 64.4% होती है)। वे नए विचार नहीं खोज रहे थे; वे बाजार की गूँज थे।

2. "ड्रॉ अंधापन" (Draw Blindness)
एआई (AI) ड्रॉ की भविष्यवाणी करने में बहुत खराब थे। टूर्नामेंट में, 27 मैच ड्रॉ में समाप्त हुए। मॉडलों ने केवल 8 से 14 ड्रॉ की भविष्यवाणी की। वे ड्रॉ के डर से इतने घबराए हुए थे कि उन्होंने इसे शायद ही कभी माना, भले ही फुटबॉल में यह अक्सर होता है।

3. "2–1" का जुनून
सटीक स्कोर का अनुमान लगाते समय, मॉडल एक ही ढर्रे में फंस गए। उन्होंने अपने सभी स्कोर अनुमानों में से 28.0% एक ही परिणाम पर लगाए: 2–1। उन्होंने संभावित स्कोरों की विशाल विविधता को नजरअंदाज कर दिया और अपने अनुमानों को एक "प्रोटोटाइप" परिणाम पर केंद्रित कर दिया।

4. बड़ा चित्र बनाम सूक्ष्म विवरण
मॉडल "मैक्रो-मजबूत लेकिन माइक्रो-कमजोर" थे।

• मैक्रो (Macro): उन्होंने टूर्नामेंट विजेता और ग्रुप स्टैंडिंग की भविष्यवाणी करने में शानदार प्रदर्शन किया।
• माइक्रो (Micro): वे करीबी खेलों में बिखर गए। राउंड ऑफ 32 (जहाँ टीमें समान रूप से मजबूत थीं) में, उनकी सटीकता 86.5% थी। लेकिन सेमीफाइनल में, जहाँ डोजियर सूचनाओं से समृद्ध थे और टीमें बराबरी की टक्कर की थीं, उनकी सटीकता गिरकर 8.3% रह गई। टीमों के बारे में वे जितना अधिक जानते थे, एक करीबी खेल का विजेता चुनने में वे उतने ही खराब होते गए।

5. "झुंड" का प्रभाव
छह मॉडल एक-दूसरे के साथ 76.0% समय सहमत थे। क्योंकि वे सभी एक ही तरह से सोच रहे थे, इसलिए उनमें से वोट मांगना मददगार नहीं था। छह मॉडलों का "बहुमत का निर्णय" (majority vote) सटीकता में कुछ भी नहीं जोड़ सका। वे सभी एक ही लूप में फंसे हुए थे।

लीडरबोर्ड: एक कड़ी टक्कर

अंतिम स्कोर अविश्वसनीय रूप से करीब थे, जो दिखाते हैं कि वर्तमान पीढ़ी के एआई (AI) एक दूसरे से स्पष्ट रूप से भिन्न नहीं हैं।

• Claude ने 897 अंकों के साथ प्रथम स्थान प्राप्त किया।
• GLM 813 अंकों के साथ अंतिम स्थान पर रहा।
• पहले और अंतिम के बीच का अंतर केवल 84 अंक (लगभग 10.3%) था।

जब शोधकर्ताओं ने यह देखने के लिए सांख्यिकीय परीक्षण (जिन्हें "बूटस्ट्रैप इंटरवल्स" कहा जाता है) चलाए कि क्या विजेता वास्तव में बेहतर था, तो परिणाम अस्थिर थे। क्लॉड (Claude) सिम्युलेटेड री-रन्स में से 53.6% में विजेता था, लेकिन शीर्ष मॉडलों के बीच का अंतर अक्सर त्रुटि की सीमा (margin of error) के भीतर था। उदाहरण के लिए, पहले और दूसरे स्थान के बीच का अंतर इतना कम था कि यदि आप टूर्नामेंट को फिर से चलाते, तो क्रम बदल सकता था।

मुख्य निष्कर्ष

यह अध्ययन बताता है कि हालांकि आज के सबसे उन्नत एआई (AI) मॉडल जानकारी एकत्र करने और तर्क करने के लिए शक्तिशाली उपकरण हैं, लेकिन उन्होंने अभी तक भविष्य की भविष्यवाणी करने के लिए अतीत के पैटर्न से मुक्त होना नहीं सीखा है। वे जो हम जानते हैं उसका सारांश देने में उत्कृष्ट हैं, लेकिन जब वे एक वास्तव में अनिश्चित घटना का सामना करते जहाँ उत्तर का अस्तित्व ही नहीं है, तो वे सुरक्षित खेलना, भीड़ का अनुसरण करना और सबसे "औसत" परिणाम का अनुमान लगाना पसंद करते हैं।

शोध पत्र निष्कर्ष निकालता है कि फ्रंटियर सिस्टम की वर्तमान पीढ़ी एक दूसरे से स्पष्ट रूप से भिन्न नहीं है। वे सभी एक ही ताकत (बड़े चित्र की सोच) और एक ही कमजोरी (ड्रॉ का डर, औसत स्कोर का जुनून) साझा करते हैं। एआई (AI) पूर्वानुमान का "जादू", प्रतीत होता है कि अभी भी सट्टेबाजी के ऑड्स का पालन करने का एक बहुत ही परिष्कृत संस्करण मात्र है।