💬 NLP

WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

Cet article présente une évaluation sans fuite de données de six modèles de langage de pointe lors de la Coupe du Monde FIFA 2026, révélant que si les modèles atteignent une précision de niveau bookmaker sur les résultats des matchs, ils présentent des limites communes telles qu'une dépendance excessive aux favoris, une faible différenciation entre eux, et une tendance à sous-prédire les matchs nuls et certains scores précis.

Auteurs originaux : Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

Publié 2026-08-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais que le crime n'a pas encore eu lieu. Dans le monde de l'intelligence artificielle, nous testons souvent des programmes informatiques « intelligents » en leur posant des questions sur des événements déjà passés, comme « Qui a remporté la Coupe du monde 2022 ? ». Le problème est que ces programmes pourraient simplement avoir mémorisé la réponse sur Internet, plutôt que de réellement l'avoir déduite. Pour tester véritablement si un cerveau est intelligent, il faut lui demander de prédire l'avenir — quelque chose qui n'existe pas encore et qui ne peut pas être trouvé sur Google. C'est la frontière de la « prévision », où nous voyons si une machine peut raisonner pour parvenir à une réponse que personne ne connaît encore.

Ce document, intitulé WORLDCUP ARENA, prend cette idée et en fait une expérience massive et en temps réel. Au lieu de demander à un ordinateur de deviner le vainqueur d'un match terminé il y a des années, les chercheurs ont mis en place un tournoi en direct : la Coupe du monde de la FIFA 2026. Ils ont invité six des modèles d'IA les plus avancés au monde à agir comme analystes sportifs. Chaque jour, avant qu'un seul match ne commence, ces IA devaient examiner les équipes, la météo, les arbitres et les dernières actualités, puis faire sept prédictions différentes pour le match (comme le vainqueur, le nombre de buts marqués et le score exact). Le piège ? Les matchs n'avaient pas encore eu lieu. Les réponses n'existaient nulle part sur Internet. Cela signifiait que les IA ne pouvaient pas accéder au score ; elles devaient réellement réfléchir.

Les chercheurs voulaient voir si ces ordinateurs super-intelligents pouvaient battre les probabilités, ou s'ils se contenteraient de suivre la foule. Ils ont découvert que, bien que les IA soient impressionnantes, elles ne sont pas magiques. En moyenne, elles ont trouvé environ 63,9 % des résultats des matchs. Cela semble bien, mais c'est presque exactement la même chose que de parier aveuglément sur l'équipe que les bookmakers pensaient voir gagner. En fait, les IA étaient si prudentes qu'elles prédisaient rarement un match nul, même si les matchs nuls arrivent souvent, et elles continuaient à deviner le même score ennuyeux (2–1) de manière répétée.

Voici la partie la plus surprenante : les six modèles d'IA différents avaient une pensée presque identique. Ils étaient d'accord entre eux 76 % du temps. Si vous leur demandiez de voter pour le vainqueur, le « vote à la majorité » ne faisait pas mieux que la meilleure IA individuelle. Il s'avère que même les modèles de réflexion les plus avancés de 2026 suivent tous le même mode d'emploi : ils sont très bons pour regarder la vue d'ensemble (comme prédire quel pays remportera l'ensemble du tournoi) mais peinent avec les détails minuscules et complexes d'un match serré. Le document conclut qu'actuellement, ces systèmes d'IA ne sont pas très différents les uns des autres ; ils sont tous très doués pour imiter les comportements de pari humains, mais ils n'ont pas encore compris comment « voir » l'avenir mieux qu'un expert humain avec une calculatrice.

L'Expérience : Un Tournoi de l'Esprit en Direct

Les chercheurs ont mis en place une arène « sans fuite ». Dans les tests normaux, les scientifiques doivent craindre que l'IA n'ait « extrait » la réponse de ses données d'entraînement. Mais ici, parce que les matchs se déroulaient en temps réel en 2026, les réponses n'existaient littéralement pas lorsque les questions étaient posées. La configuration était rigoureuse :

Les Joueurs : Six modèles d'IA de pointe (Claude, GPT, Gemini, Kimi, GLM et Seed).
Les Règles : Chaque modèle devait utiliser son mode de « réflexion étendue » (le niveau de raisonnement le plus profond disponible) et son propre outil de recherche Web pour lire les dernières nouvelles, les rapports de blessures et les cotes.
La Tâche : Pour chacun des 104 matchs du tournoi, l'IA devait remplir une « fiche de prédiction » comprenant sept marchés : le vainqueur, le score exact, le nombre total de buts, et plus encore.
Les Données : Les IA recevaient un « dossier » pour chaque équipe qui se mettait à jour quotidiennement, passant d'un court résumé à un fichier massif de plus d'un million de caractères à la fin du tournoi.

Ce Qu'Ils Ont Trouvé : La Mentalité de « Troupeau »

Les résultats dressent un portrait clair et légèrement amusant de la façon dont ces IA réfléchissent.

1. Elles suivent la foule, pas la boule de cristal
Les IA n'ont pas surpassé les bookmakers. Elles ont simplement pris le parti de l'équipe favorite des bookmakers 85,6 % à 90,4 % du temps. Leur précision moyenne de 63,9 % est statistiquement la même que de soutenir mécaniquement le favori (qui obtient 64,4 %). Elles ne découvraient pas de nouvelles perspectives ; elles faisaient écho au marché.

2. La « Cécité face au Match Nul »
Les IA étaient terribles pour prédire les matchs nuls. Dans le tournoi, 27 matchs se sont terminés par un nul. Les modèles n'ont prédit que 8 à 14 matchs nuls. Elles étaient tellement effrayées par le nul qu'elles le considéraient à peine, même si cela arrive fréquemment dans le football.

3. L'Obsession du « 2–1 »
Lorsqu'elles devinaient le score exact, les modèles s'enfermaient dans une routine. Elles ont placé 28,0 % de toutes leurs prédictions de score sur un seul résultat : 2–1. Elles ont ignoré la vaste variété de scores possibles et ont concentré leurs pronostics sur un résultat « prototypique ».

4. Vue d'Ensemble vs Détails Minuscules
Les modèles étaient « forts sur le macro, faibles sur le micro ».

Macro : Ils étaient excellents pour prédire le vainqueur du tournoi et le classement des groupes.
Micro : Ils s'effondraient dans les matchs les plus serrés. Lors du seizièmes de finale (où les équipes étaient bien équilibrées), ils avaient raison dans 86,5 % des cas. Mais lors des demi-finales, là où les dossiers étaient les plus riches en informations et les équipes les plus équilibrées, leur précision s'est effondrée à 8,3 %. Plus ils en savaient sur les équipes, moins ils réussissaient à choisir le vainqueur d'un match serré.

5. L'Effet de « Troupeau »
Les six modèles étaient d'accord entre eux 76,0 % du temps. Comme ils pensaient tous de manière similaire, leur demander de voter n'aidait pas. Un « vote à la majorité » des six modèles n'ajoutait rien à la précision. Ils étaient tous coincés dans la même boucle.

Le Classement : Une Course Serrée

Les scores finaux étaient incroyablement proches, montrant que la génération actuelle d'IA n'est pas nettement différenciée.

Claude a pris la première place avec 897 points.
GLM est arrivé dernier avec 813 points.
L'écart entre le premier et le dernier n'était que de 84 points (environ 10,3 %).

Lorsque les chercheurs ont effectué des tests statistiques (appelés « intervalles bootstrap ») pour voir si le vainqueur était réellement meilleur, les résultats étaient incertains. Claude était le vainqueur dans 53,6 % des simulations de nouveaux tirages, mais la différence entre les meilleurs modèles était souvent dans la marge d'erreur. Par exemple, la différence entre la première et la deuxième place était si petite que si l'on relançait le tournoi, l'ordre pourrait s'inverser.

La Conclusion

Cette étude suggère que, bien que les modèles d'IA les plus avancés d'aujourd'hui soient des outils puissants pour rassembler des informations et raisonner, ils n'ont pas encore appris à se libérer des schémas du passé pour véritablement prédire l'avenir. Ils sont excellents pour résumer ce que nous savons, mais face à un événement réellement incertain dont la réponse n'existe pas encore, ils ont tendance à jouer la sécurité, à suivre la foule et à deviner le résultat le plus « moyen ».

Le document conclut que la génération actuelle de systèmes de pointe n'est pas radicalement différente des autres. Ils partagent tous les mêmes forces (pensée globale) et les mêmes faiblesses (peur des matchs nuls, obsession pour les scores moyens). La « magie » de la prévision par l'IA, semble-t-il, n'est qu'une version très sophistiquée de l'observation des cotes de paris.

Résumé Technique : WORLDCUP ARENA

Énoncé du Problème
Les benchmarks actuels pour évaluer les capacités de prévision des modèles de langage de grande taille (LLM) sont principalement rétrospectifs. Dans ces configurations, l'événement a déjà eu lieu et la réponse figure dans les données d'entraînement du modèle ou sur le web public. Par conséquent, les évaluations doivent s'appuyer sur un filtrage ou une anonymisation complexes pour prévenir la fuite de données (mémorisation), ce qui introduit une incertitude quant à savoir si un modèle raisonne réellement ou s'il se contente de se souvenir. Il existe un manque de protocoles d'évaluation où la réponse n'existe véritablement pas au moment de la requête, faisant de la « contamination » une erreur de catégorie plutôt qu'une menace atténuable.

Méthodologie
Les auteurs présentent WORLDCUP ARENA, une évaluation prospective et exempte de fuites, menée sur les 39 jours de la Coupe du Monde de la FIFA 2026 (10 juin – 19 juillet 2026). L'étude a impliqué six LLM de pointe (Claude, GPT, Gemini, Kimi, GLM et Seed), tous configurés avec leurs paramètres de « réflexion » (« thinking ») les plus élevés disponibles et leurs capacités natives de recherche web côté serveur.

Conception de la tâche : Avant chaque coup d'envoi, les modèles ont été chargés de remplir une fiche de prédiction de sept marchés pour le match à venir. Les marchés comprenaient : Résultat du match (1X2), Handicap, Mi-temps/Fin de match, Plus/Moins de 2,5 buts, Les deux équipes marquent, Score exact, et Total de buts Pair/Impair. De plus, les modèles ont prédit 12 vainqueurs de groupe ainsi qu'un pool de pré-tournoi pour le titre (champion, finalistes, etc.).
Données d'entrée : Les modèles ont reçu un « dossier roulant » pour chaque équipe, mis à jour quotidiennement via 46 instantanés horodatés. Ces dossiers comprenaient les classements FIFA, les données sur l'effectif, les résultats récents et l'actualité. Crucialement, l'entrée pour le match $t+1$ incluait les résultats du match $t$ , mais rien au-delà.
Contrôles de fuite : L'évaluation est « exempte de fuite par construction » via trois verrous procéduraux :
1. Verrou de l'instantané (Snapshot Lock) : Les modèles n'ont reçu que les données à jour au moment de la requête.
2. Verrou du coup d'envoi (Kickoff Lock) : Les prédictions étaient strictement limitées à un temps antérieur au début du match, empêissant la récupération des scores en direct.
3. Verrou du modèle (Template Lock) : Les prompts, les définitions de marchés et les poids de notation ont été fixés et archivés textuellement avant l'invocation du modèle.
Notation : Un script déterministe a scoré 4 494 prédictions basées sur les résultats officiels de 90 minutes. Les points ont été pondérés selon les marchés (par exemple, le Handicap valant 4 points, le Résultat du match 2 points).

Principales Contributions

Protocole d'Évaluation Prospective : Un cadre de prévision entièrement prospectif et sans fuite de données, exécuté de bout en bout sur un tournoi complet avec une vérité terrain objective, éliminant le besoin d'anonymisation par procuration.
Benchmark Public : La publication d'un ensemble de données figé comprenant 48 dossiers d'équipes sur 46 instantanés, la liste complète des 104 matchs avec métadonnées, les résultats officiels et le code de notation.
Analyse Sensible à l'Incertitude : L'application d'intervalles de bootstrap et de cinq conceptions de notation alternatives pour évaluer la robustesse des classements des modèles.

Résultats

Classement : Les six modèles couvrent une plage étroite de 897 à 813 points. Claude arrive en tête (897), suivi de Seed (853), GPT (845), Kimi (839), Gemini (827) et GLM (813). Cependant, le rééchantillonnage par bootstrap (10 000 itérations) révèle que l'ordre n'est pas statistiquement net ; le modèle de tête (Claude) n'a que 53,6 % de probabilité d'être premier dans un tournoi rééchantillonné, et le milieu du classement se réorganise fréquemment.
Performance vs Baselines :
- Suivi de Marché : Les modèles affichent une précision moyenne de 63,9 % sur les résultats de match, ce qui est statistiquement indiscernable du fait de miser mécaniquement sur le favori des bookmakers (64,4 %). Ils suivent généralement le marché des paris plutôt que de le battre.
- Conservatisme : Les modèles présentent des biais comportementaux spécifiques : ils se sont moins engagés sur les matchs nuls (prédisant 8–14 alors que 27 ont eu lieu) et sur les buts, et ont montré un « effondrement de mode » en concentrant fortement les prédictions de score exact sur un résultat prototypique unique (le 2–1 représentait 28 % des choix).
- Effet de Troupeau (Herding) : Les modèles sont d'accord entre eux sur 76,0 % des résultats de match. Par conséquent, un vote majoritaire n'offre aucune amélioration par rapport aux modèles individuels.
- Corrélation de Difficulté : La précision est inversement corrélée à la richesse de l'information. Les modèles performent le mieux en huitièmes de finale (86,5 % de précision) où les rencontres sont déséquilibrées, mais leur performance s'effondre en demi-finale (8,3 % de précision) où les dossiers sont les plus riches et les matchs les plus serrés.
- Macro vs Micro : Les systèmes performent de manière nettement plus efficace sur les questions de niveau tournoi (macro) que sur les prédictions de matchs individuels (micro).

Signification et Revendications
L'article affirme que la génération actuelle de LLM de pointe ne présente pas de différenciation marquée sur cette tâche spécifique de prévision. L'étude établit que ces systèmes partagent un ensemble de comportements : ils agissent comme des proxys conservateurs du marché des paris, échouent à exploiter l'information profonde dans les matchs serrés, et présentent un haut degré d'accord inter-modèles qui ne se traduit pas par une meilleure précision.

Les auteurs positionnent WORLDCUP ARENA comme la « condition de contrôle » de leur travail compagnon, SOCIETYBENCH. Alors que SOCIETYBENCH utilise des données rétrospectives anonymisées pour tester l'étendue sur 25 événements, WORLDCUP ARENA sacrifie l'étendue au profit de la profondeur et de la pureté, prouvant que lorsque l'« hypothèse de mémoire » est totalement supprimée, les capacités des modèles semblent plus uniformes et leurs limites plus prononcées. Le papier conclut que la prévision de matchs non joués se situe en dehors des objectifs d'entraînement de ces modèles, et que leur performance est largement un sous-produit de capacités générales de raisonnement et de récupération qui convergent à travers différentes architectures.

L'Expérience : Un Tournoi de l'Esprit en Direct

Ce Qu'Ils Ont Trouvé : La Mentalité de « Troupeau »

Le Classement : Une Course Serrée

La Conclusion

Articles similaires