WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber das Verbrechen ist noch nicht geschehen. In der Welt der künstlichen Intelligenz testen wir „schlaue“ Computerprogramme oft, indem wir ihnen Fragen zu Dingen stellen, die bereits stattgefunden haben, wie zum Beispiel: „Wer hat die Weltmeisterschaft 2022 gewonnen?“ Das Problem dabei ist, dass diese Programme die Antwort vielleicht einfach aus dem Internet auswendig gelernt haben, anstatt sie tatsächlich zu durchdenken. Um wirklich zu testen, ob ein Gehirn intelligent ist, muss man es bitten, die Zukunft vorherzusagen – etwas, das noch nicht existiert und nicht bei Google gefunden werden kann. Dies ist die Grenze der „Prognose“ (Forecasting), wo wir sehen, ob eine Maschine ihren Weg zu einer Antwort findet, die noch niemand kennt.

Dieses Paper mit dem Titel WORLDCUP ARENA nimmt diese Idee und führt ein massives, Echtzeit-Experiment durch. Anstatt einen Computer fragen zu lassen, wer den Gewinner eines Spiels errät, das vor Jahren beendet wurde, setzt die Forschung ein Live-Turnier auf: die FIFA Fußballweltmeisterschaft 2026. Sie luden sechs der fortschrittlichsten KI-Modelle der Welt ein, um als Sportanalysten zu fungieren. Jeden Tag, bevor ein einziges Spiel angepfiffen wurde, mussten diese KIs die Teams, das Wetter, die Schiedsrichter und die neuesten Nachrichten analysieren und dann sieben verschiedene Vorhersagen für das Spiel treffen (wie zum Beispiel den Sieger, die Anzahl der Tore und den exakten Spielstand). Der Haken? Die Spiele hatten noch nicht stattgefunden. Die Antworten existierten nicht irgendwo im Internet. Das bedeutete, dass die KIs nicht auf das Ergebnis zugreifen konnten; sie mussten tatsächlich denken.

Die Forscher wollten sehen, ob diese superschlauen Computer die Chancen überlisten könnten oder ob sie einfach der Masse folgen würden. Sie fanden heraus, dass die KIs zwar beeindruckend waren, aber keine Magie besaßen. Im Durchschnitt lagen sie bei etwa 63,9 % der Spielergebnisse richtig. Das klingt gut, ist aber fast genau dasselbe, wie man einfach blind auf das Team wetten würde, von dem die Buchmacher glaubten, dass es gewinnen würde. Tatsächlich waren die KIs so vorsichtig, dass sie selten ein Unentschieden vorhersagten, obwohl Unentschieden oft vorkamen, und sie gaben immer wieder densem langweiligen Ergebnis (2–1) den Vorzug.

Der überraschendste Teil ist: Die sechs verschiedenen KI-Modelle dachten fast identisch. Sie stimmten zu 76 % der Zeit überein. Wenn man sie nach einer Abstimmung über den Sieger fragte, war die „Mehrheitsentscheidung“ nicht besser als die des besten einzelnen KI-Modells. Es stellt sich heraus, dass selbst die fortschrittlichsten „denkenden“ Modelle des Jahres 2026 alle demselben Lehrbuch folgen: Sie sind sehr gut darin, das große Ganze zu betrachten (wie die Vorhersage, welches Land das ganze Turnier gewinnt), aber sie haben Schwierigkeiten mit den winzigen, chaotischen Details eines einzelnen, engen Spiels. Das Paper kommt zu dem Schluss, dass diese KI-Systeme derzeit nicht scharf voneinander abgegrenzt sind; sie sind alle nur sehr gut darin, menschliche Wettmuster zu imitieren, aber sie haben noch nicht gelernt, die Zukunft wirklich besser zu „sehen“ als ein menschlicher Experte mit einem Taschenrechner.

Das Experiment: Ein Live-Turnier der Köpfe

Die Forscher richteten eine „leckagefreie“ Arena ein. In normalen Tests müssen Wissenschaftler sicherstellen, dass die KI die Antwort nicht aus ihren Trainingsdaten „durchsickern“ lässt (Leakage). Aber hier, da die Spiele in Echtzeit im Jahr 2026 stattfanden, existierten die Antworten buchstäblich nicht, als die Fragen gestellt wurden. Der Aufbau war streng:

• Die Akteure: Sechs Frontier-KI-Modelle (Claude, GPT, Gemini, Kimi, GLM und Seed).
• Die Regeln: Jedes Modell musste seinen „Extended Thinking“-Modus (die tiefste verfügbare Ebene des logischen Denkens) und sein eigenes integriertes Web-Suchwerkzeug nutzen, um die neuesten Nachrichten, Verletzungsberichte und Quoten zu lesen.
• Die Aufgabe: Für jedes der 104 Spiele musste die KI eine „Vorhersagekarte“ mit sieben Märkten ausfüllen: wer gewinnt, der exakte Spielstand, die Gesamtzahl der Tore und mehr.
• Die Daten: Den KIs wurde für jedes Team ein „Dossier“ zur Verfügung gestellt, das täglich aktualisiert wurde und von einer kleinen Zusammenfassung zu einer massiven Datei von über 1 Million Zeichen bis zum Ende des Turniers anwuchs.

Was sie fanden: Die „Herdenmentalität“

Die Ergebnisse zeichneten ein klares, leicht amüsantes Bild davon, wie diese KIs denken.

1. Sie folgen der Menge, nicht dem Kristallball
Die KIs waren nicht klüger als die Buchmacher. Sie entschieden sich in 85,6 % bis 90,4 % der Fälle einfach für das Favoritenteam der Buchmacher. Ihre durchschnittliche Genauigkeit von 63,9 % war statistisch gesehen dasselbe, wie mechanisch auf den Favoriten zu setzen (was 64,4 % ergibt). Sie entdeckten keine neuen Erkenntnisse; sie spiegelten lediglich den Markt wider.

2. Die „Unentschieden-Blindheit“
Die KIs waren schlecht darin, Unentschieden vorherzusagen. Im Turnier endeten 27 Spiele unentschieden. Die Modelle sagten jedoch nur 8 bis 14 Unentschieden voraus. Sie waren so sehr vor dem Unentschieden zurückgeschreckt, dass sie es kaum in Erwägung zogen, obwohl es im Fußball häufig vorkommt.

3. Die „2–1“-Obsession
Bei der Schätzung des exakten Spielstands verfielen die Modelle in ein festgefahrenes Muster. Sie legten 28,0 % aller Spielstandsprognosen auf ein einziges Ergebnis: 2–1. Sie ignorierten die enorme Vielfalt möglicher Ergebnisse und drängten ihre Vorhersagen auf ein einziges „prototypisches“ Ergebnis.

4. Große Perspektive vs. kleine Details
Die Modelle waren „makro-stark, aber mikro-schwach“.

• Makro: Sie waren sehr gut darin, den Turniersieger und den Tabellenstand der Gruppen zu vorhersagen.
• Mikro: Bei den engsten Spielen versagten sie. In der Runde der 32 letzten Achtelfinals (wo die Teams ebenbürtig waren), lagen sie bei 86,5 % richtig. Aber in den Halbfinals, wo die Dossiers am reichsten an Informationen waren und die Teams gleich stark waren, brach ihre Genauigkeit auf 8,3 % zusammen. Je mehr sie über die Teams wussten, desto schlechter wurden sie darin, den Sieger eines knappen Spiels zu wählen.

5. Der „Herden-Effekt“
Die sechs Modelle stimmten zu 76,0 % der Zeit überein. Da sie alle sehr ähnlich dachten, brachte es nichts, sie abstimmen zu lassen. Eine „Mehrheitsentscheidung“ der sechs Modelle verbesserte die Genauigkeit nicht. Sie steckten alle in derselben Schleife fest.

Das Leaderboard: Ein enges Rennen

Die Endergebnisse waren unglaublich nah beieinander, was zeigt, dass die aktuelle Generation der KI nicht scharf voneinander differenziert ist.

• Claude belegte mit 897 Punkten den ersten Platz.
• GLM kam mit 813 Punkten auf den letzten Platz.
• Der Abstand zwischen dem Ersten und dem Letzten betrug nur 84 Punkte (etwa 10,3 %).

Als die Forscher statistische Tests (genannt „Bootstrap-Intervalle“) durchführten, um zu prüfen, ob der Gewinner wirklich besser war, waren die Ergebnisse wackelig. Claude war in 53,6 % der simulierten Durchläufe der Gewinner, aber der Unterschied zwischen den Top-Modellen lag oft innerhalb der Fehlermarge. Beispielsweise war der Unterschied zwischen dem ersten und dem zweiten Platz so gering, dass sich die Reihenfolge bei einem erneuten Durchlauf des Turniers ändern könnte.

Das Fazate

Diese Studie legt nahe, dass die heutigen fortschrittlichsten KI-Modelle zwar mächtige Werkzeuge zur Informationsbeschaffung und zum logischen Schlussfolgern sind, sie aber noch nicht gelernt haben, aus den Mustern der Vergangenheit auszubrechen, um die Zukunft wirklich vorherzusagen. Sie sind exzellent darin, das zusammenzufassen, was wir wissen, aber wenn sie mit einem wirklich ungewissen Ereignis konfrontiert werden, bei dem die Antwort noch nicht existiert, neigen sie dazu, auf Nummer sicher zu gehen, der Menge zu folgen und das „durchschnittlichste“ Ergebnis zu raten.

Das Paper kommt zu dem Schluss, dass die aktuelle Generation der Frontier-Systeme nicht scharf voneinander verschieden ist. Sie teilen dieselben Stärken (Großansicht-Denken) und dieselben Schwächen (Angst vor Unentschieden, Besessenheit von Durchschnittsergebnissen). Die „Magie“ der KI-Prognose ist, wie es scheint, nur eine sehr ausgeklügelte Version des bloßen Folgens von Wettquoten.