WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de misdaad heeft nog niet plaatsgevonden. In de wereld van kunstmatige intelligentie testen we "slimme" computerprogramma's vaak door ze vragen te stellen over dingen die al hebben plaatsgevonden, zoals: "Wie won de Wereldbeker van 2022?" Het probleem is dat deze programma's het antwoord misschien gewoon van het internet hebben onthouden, in plaats van het daadwerkelijk te hebben uitgedacht. Om echt te testen of een brein slim is, moet je het vragen de toekomst te voorspellen — iets dat nog niet bestaat en niet via Google te vinden is. Dit is de grens van "voorspellen" (forecasting), waar we zien of een machine de weg naar een antwoord kan vinden door te redeneren, terwijl niemand het antwoord nog weet.

Dit artikel, getiteld WORLDCUP ARENA, neemt dat idee en voert een grootschalig, real-time experiment uit. In plaats van een computer te laten raden wie de winnaar was van een wedstrijd die jaren geleden is afgelopen, zetten de onderzoekers een live toernooi op: de FIFA Wereldbeker van 2026. Ze nodigden zes van de meest geavanceerde AI-modellen ter wereld uit om als sportanalisten op te treden. Elke dag, voordat er ook maar één wedstrijd begon, moesten deze AI's kijken naar de teams, het weer, de scheidsrechters en het laatste nieuws, en vervolgens zeven verschillende voorspellingen doen voor de wedstrijd (zoals wie er wint, hoeveel doelpunten er worden gescoord en de exacte uitslag). De crux? De wedstrijden hadden nog niet plaatsgevonden. De antwoorden bestonden nog niet op het internet. Dit betekende dat de AI's niet de score konden opzoeken; ze moesten echt nadenken.

De onderzoekers wilden zien of deze superintelligente computers de kansen konden verslaan, of dat ze simpelweg de massa zouden volgen. Ze ontdekten dat hoewel de AI's indrukwekkend waren, ze niet magisch waren. Gemiddeld hadden ze ongeveer 63,9% van de wedstrijduitslagen goed geraden. Dat klinkt goed, maar het is bijna exact hetzelfde als blind wedden op het team dat de bookmakers als favoriet zagen. Sterker nog, de AI's waren zo voorzichtig dat ze zelden een gelijkspel voorspelden, ook al kwamen gelijke spelen vaak voor, en ze bleven steeds weer dezelfde saaie score (2–1) voorspellen.

Hier is het meest verrassende deel: de zes verschillende AI-modellen waren bijna identiek in hun denkwijze. Ze waren het in 76% van de gevallen met elkaar eens. Als je hen zou laten stemmen over de winnaar, leverde de "meerderheidsstem" niet meer op dan de beste individuele AI. Het blijkt dat zelfs de meest geavanceerde "denkende" modellen van 2026 allemaal hetzelfde speelboek volgen: ze zijn erg goed in het bekijken van het grote plaatje (zoals het voorspellen welk land de hele competitie wint), maar ze worstelen met de kleine, rommelige details van een enkele, spannende wedstrijd. Het paper concludeert dat deze AI-systemen op dit moment niet scherp van elkaar verschillen; ze zijn allemaal erg goed in het nabootsen van menselijke wedpatronen, maar ze hebben nog niet geleerd hoe ze de toekomst echt beter kunnen "zien" dan een menselijke expert met een rekenmachine.

Het Experiment: Een Live Toernooi van Geesten

De onderzoekers richtten een "lekvrije" arena in. Bij normale tests moeten wetenschappers zich zorgen maken dat de AI het antwoord uit de trainingsdata heeft "gelekt". Maar hier, omdat de wedstrijden in real-time plaatsvonden in 2026, bestonden de antwoorden letterlijk nog niet op het moment dat de vragen werden gesteld. De opzet was rigoureus:

• De Spelers: Zes frontier AI-modellen (Claude, GPT, Gemini, Kimi, GLM en Seed).
• De Regels: Elk model moest zijn "extended thinking" modus gebruiken (het diepste niveau van redenering dat beschikbaar is) en zijn eigen ingebouwde webzoektool om het laatste nieuws, blessureverslagen en odds te lezen.
• De Taak: Voor elke van de 104 wedstrijden in het toernooi moest de AI een "voorspellingskaart" invullen met zeven markten: wie wint, de exacte score, totaal aantal doelpunten, en meer.
• De Data: De AI's kregen voor elk team een "dossier" dat dagelijks werd bijgewerkt, variërend van een korte samenvatting tot een massief bestand van meer dan 1 miljoen tekens aan het einde van het toernooi.

Wat Ze Vonden: De "Kuddegeest"

De resultaten schetsen een duidelijk, licht komisch beeld van hoe deze AI's denken.

1. Ze volgen de massa, niet de kristallen bol
De AI's waren niet slimmer dan de bookmakers. Ze kozen simpelweg in 85,6% tot 90,4% van de gevallen de kant van de favoriet van de bookmakers. Hun gemiddelde nauwkeurigheid van 63,9% was statistisch gezien hetzelfde als mechanisch de favoriet steunen (wat 64,4% oplevert). Ze ontdekten geen nieuwe inzichten; ze echoden de markt.

2. "Gelijkspel-blindheid"
De AI's waren slecht in het voorspellen van gelijkspelen. In het toernooi eindden 27 wedstrijden in een gelijkspel. De modellen voorspelden slechts 8 tot 14 gelijke spelen. Ze waren zo bang voor het gelijkspel dat ze het nauwelijks overwogen, ook al komt het in het voetbal regelmatig voor.

3. De "2–1" obsessie
Bij het raden van de exacte score zaten de modellen in een sleur. Ze plaatsten 28,0% van alle scorevoorspellingen op één enkel resultaat: 2–1. Ze negeerden de enorme variëteit aan mogelijke scores en concentreerden hun voorspellingen op één "prototype" resultaat.

4. Groot Plaatje versus Kleine Details
De modellen waren "macro-sterk maar micro-zwak".

• Macro: Ze waren erg goed in het voorspellen van de winnaar van het toernooi en de groepsstand.
• Micro: Ze stortten in bij de spannendste wedstrijden. In de Achtundertigste fase (waar de teams goed met elkaar gewaagd waren) hadden ze een nauwkeurigheid van 86,5%. Maar in de halve finales, waar de dossiers het rijkst waren aan informatie en de teams even sterk waren, stortte hun nauwkeurigheid in tot 8,3%. Hoe meer ze wisten over de teams, hoe slechter ze werden in het kiezen van de winnaar van een spannende wedstrijd.

5. Het "Kudde-effect"
De zes modellen waren het in 76,0% van de gevallen met elkaar eens. Omdat ze allemaal zo vergelijkbaar dachten, voegde het laten stemmen niet veel toe. Een "meerderheidsstem" van de zes modellen voegde niets toe aan de nauwkeurigheid. Ze zaten allemaal in dezelfde loop.

Het Klassement: Een Hevige Race

De eindscores waren ongelooflijk dicht bij elkaar, wat aantoont dat de huidige generatie AI niet scherp gedifferentieerd is.

• Claude nam de eerste plaats met 897 punten.
• GLM kwam op de laatste plaats met 813 punten.
• Het verschil tussen eerste en laatste was slechts 84 punten (ongeveer 10,3%).

Wanneer de onderzoekers statistische tests uitvoerden (de zogenaamde "bootstrap intervals") om te zien of de winnaar echt beter was, waren de resultaten wankel. Claude was de winnaar in 53,6% van de gesimuleerde herloop-runs, maar het verschil tussen de topmodellen lag vaak binnen de foutmarge. Zo was het verschil tussen de eerste en de tweede plaats zo klein dat de volgorde bij een volgend toernooi zou kunnen omdraaien.

De Conclusie

Dit onderzoek suggereert dat hoewel de huidige meest geavanceerde AI-modellen krachtige hulpmiddelen zijn voor het verzamelen van informatie en redeneren, ze nog niet hebben geleerd om los te breken van de patronen uit het verleden om echt de toekomst te voorspellen. Ze zijn uitstekend in het samenvatten van wat we weten, maar wanneer ze geconfronteerd worden met een werkelijk onzekere gebeurtenis waarbij het antwoord nog niet bestaat, neigen ze ernaar om veilig te spelen, de massa te volgen en de meest "gemiddelde" uitkomst te raden.

Het paper concludeert dat de huidige generatie frontier-systemen niet scherp van elkaar verschilt. Ze delen allemaal dezelfde sterktes (denken op groot niveau) en dezelfde zwaktes (angst voor gelijkspel, obsessie met gemiddelde scores). De "magie" van AI-voorspelling is, zo blijkt, nog steeds een zeer geavanceerde versie van het volgen van de wedodds.