💬 NLP

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

Cet article introduit « Hindcast », un cadre d'évaluation rigoureux qui empêche la fuite de données dans les prévisions par LLM en rejouant des marchés de prédiction contre un instantané figé, avec une coupure temporelle, de l'information publique afin de garantir que les modèles soient évalués sur une véritable clairvoyance plutôt que sur un rappel post-événement.

Auteurs originaux : Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de tester l'efficacité d'un détective pour résoudre un mystère. Vous lui donnez un dossier d'affaire et lui demandez : « Qui a volé le biscuit ? » Si le détective se contente d'ouvrir le dossier et de lire la réponse écrite tout en bas, il ne démontre pas ses compétences de détective ; il démontre simplement sa capacité de lecture. C'est le problème complexe auquel les scientifiques sont confrontés lorsqu'ils testent les modèles d'intelligence artificielle (IA) pour prédire l'avenir.

Pour voir si une IA est vraiment intelligente, les chercheurs lui demandent généralement de prédire des choses qui se sont déjà produites, comme « Qui a remporté la Coupe du monde 2022 ? » Le problème est que les modèles d'IA actuels ont été entraînés sur l'intégralité d'Internet, y compris les articles écrits après la fin du match. Ainsi, quand l'IA dit « L'Argentine a gagné », ce n'est peut-être pas parce qu'elle a déduit les indices au préalable ; c'est peut-être simplement parce qu'elle se souvient du score final présent dans ses données d'entraînement. C'est comme un élève passant un examen d'histoire qui aurait secrètement mémorisé le corrigé. Pour corriger cela, les scientifiques ont besoin d'un moyen de tester la « prescience » de l'IA (deviner ce qui va arriver) sans la laisser tricher en regardant la « clé de correction » (ce qui s'est réellement passé).

C'est ici qu'intervient une nouvelle étude appelée HINDCAST. Les chercheurs voulaient voir si une IA pouvait réellement prédire l'avenir si nous la forçions à se tenir dans le passé, sans connaissance de ce qui allait se passer ensuite. Ils ont mis en place une simulation de voyage dans le temps utilisant des marchés de prédiction (des endroits où l'on parie sur des résultats) et une archive figée d'Internet. Ils ont découvert que lorsque vous empêchez l'IA de tricher, elle peut toujours s'améliorer pour deviner, mais seulement si ces informations contiennent des faits utiles. Si les anciennes nouvelles n'étaient que des suppositions et des opinions criées, les lire rendait en réalité l'IA moins performante pour prédire la vérité.

Le Test du Voyage dans le Temps

Les chercheurs ont construit un système qu'ils appellent HINDCAST (un jeu de mots sur « forecast » [prévision], mais regardant vers l'arrière). Imaginez une machine à voyager dans le temps qui fige un moment précis de l'histoire, par exemple, un mois avant le début d'un grand tournoi sportif. À ce moment figé, l'IA est autorisée à consulter une bibliothèque d'articles de presse et de messages de forums, mais uniquement ceux écrits avant cette date. Elle ne peut rien voir de ce qui a été écrit après ce moment, même si cela se trouve dans la bibliothèque aujourd'hui.

Pour tester l'IA, les chercheurs ont utilisé de vrais marchés de paris appelés Polymarket. Ce sont des sortes de casinos numériques où les gens parient sur la réalisation d'un événement (comme « L'équipe X va-t-elle gagner ? »). Comme ces marchés sont déjà terminés, les chercheurs connaissent la véritable réponse. Ils connaissent également le « prix du marché » à ce moment précis dans le passé, ce qui représente ce que la foule humaine pensait être les probabilités à ce moment-là.

La configuration fonctionne ainsi :

Figer le temps : Choisir une date passée ( $t_0$ ) avant la résolution d'un marché.
Verrouiller la bibliothèque : L'IA peut uniquement rechercher un instantané figé de Reddit (un forum Internet populaire) datant d'avant cette date.
La prédiction : L'IA lit les messages disponibles et devine l'issue.
Le score : L'IA est évaluée sur deux points : à quel point elle était proche du résultat final réel, et à quel point elle était proche de ce que les parieurs humains pensaient à ce moment précis.

La Grande Découverte : Faits vs Hype

L'équipe a testé neuf modèles d'IA différents pour voir si le fait de leur donner accès à cette « bibliothèque figée » les aidait à mieux prédire que de simplement deviner à partir de leur propre mémoire.

La Bonne Nouvelle : Pour la plupart des modèles d'IA, la lecture des anciens messages a aidé. En fait, pour huit des neuf modèles, l'IA a commis moins d'erreurs lorsqu'elle pouvait lire l'archive. L'amélioration la plus importante a été observée sur un modèle appelé Qwen3-32B, qui a réduit son taux d'erreur de 23 %. Cela suggère que lorsqu'il existe des faits réels dans le passé, l'IA peut les utiliser pour faire des prédictions plus intelligentes.

La Mauvaise Nouvelle (et le Piège) : L'aide n'était pas universelle. Cela dépendait entièrement de ce que l'IA lisait.

Là où cela fonctionnait : Dans des sujets comme le Sport, les Récompenses et le Trading, les publications sur Internet avant l'événement étaient remplies de faits concrets (ex: « Le joueur vedette de l'équipe est blessé » ou « Le prix de l'or augmente »). Dans ces cas, l'IA lisait les faits et devenait meilleure pour prédire le vainqueur.
Là où cela échouait : Dans des sujets comme le Divertissement (comme deviner quelle chanson sera numéro 1) ou la Politique, Internet était rempli d'opinions bruyantes, de hype des fans et de spéculations. Lorsque l'IA lisait ces publications, elle se perdait. Elle commençait à croire que la « hype » était un fait. Par exemple, si les fans criaient qu'une nouvelle chanson serait numéro 1, l'IA pariait dessus, même si la plupart des chansons ne parviennent jamais au sommet. Dans ces cas, lire l'archive rendait l'IA moins bonne que si elle avait simplement ignoré Internet pour s'en tenir à sa propre logique.

Le Problème de la « Sur-Lecture »

L'étude a révélé un schéma amusant : plus un marché restait ouvert longtemps, plus l'IA était susceptible d'être confuse par le bruit. Si un marché de paris restait ouvert pendant une longue période, Internet se remplissait de discussions incessantes et d'opinions contradictoires. L'IA, voulant être utile, lisait tout cela et commençait à trop réfléchir, finissant par faire de mauvais choix basés sur des opinions bruyantes plutôt que sur des faits solides.

Un modèle spécifique, R1-Distill-Qwen-7B, a même globalement régressé lorsqu'on l'autorisait à lire. Les chercheurs pensent que cela est dû au fait que le modèle s'est tellement enlisé dans la lecture de longues chaînes de raisonnement confuses qu'il en a oublié les preuves réelles. C'est comme un élève qui lit tellement d'opinions différentes sur un sujet qu'il finit par oublier les faits simples et finit par deviner de travers.

Ce que cela signifie pour l'avenir

La principale conclusion de HINDCAST est que la capacité d'une IA à prédire l'avenir n'est aussi bonne que la qualité des informations qu'elle peut trouver avant l'événement. Si Internet est rempli de faits, l'IA peut être un excellent pronostiqueur. Si Internet est rempli de bruit et de hype, l'IA pourrait simplement devenir un imbécile confiant, croyant à la voix la plus forte plutôt qu'à la vérité.

Les chercheurs ont également montré que cette méthode de test par « voyage dans le temps » est un outil puissant. Parce que la bibliothèque est figée, vous pouvez tester de nouveaux modèles d'IA contre les mêmes vieilles questions sans qu'ils puissent tricher. Cela signifie que nous pouvons continuer à améliorer nos tests à mesure que l'IA devient plus intelligente, en garantissant que nous mesurons réellement leur capacité de réflexion, et non seulement leur capacité de mémorisation.

En bref, HINDCAST prouve que si donner une bibliothèque de faits à une IA l'aide à voir l'avenir, lui donner une bibliothèque de rumeurs pourrait bien l'en aveugler.

Résumé technique : HINDCAST – Rejouer les marchés de prédiction pour évaluer les pronostiqueurs LLM

1. Énoncé du problème

Les méthodes d'évaluation actuelles des pronostiqueurs basés sur les modèles de langage (LLM) reposent sur le backtesting de questions résolues, où les modèles sont notés sur la probabilité qu'ils attribuent à des résultats connus. Les auteurs identifient deux « fuites » critiques dans ce paradigme qui permettent aux modèles de tricher en accédant à des informations qui n'auraient pas été disponibles au moment du pronostic :

Fuite de récupération (Retrieval Leakage) : Les modèles équipés de systèmes de récupération peuvent faire remonter des rapports, des articles ou des discussions rédigés après la survenue de l'événement, transformant ainsi la prévision en une tâche de recherche d'information.
Fuite de données d'entraînement (Training Data Leakage) : À mesure que les modèles sont réentraînés sur des données plus proches du présent, les questions qui étaient dans le futur pour les versions précédentes des modèles deviennent une partie des données d'entraînement pour les versions plus récentes.

Par conséquent, les évaluations standards mesurent souvent la mémoire (recall) du résultat plutôt que la prévoyance (foresight) (la probabilité contrefactuelle qu'il aurait attribuée à un instant $t_0$ passé). Bien que les benchmarks en direct évitent cela en posant des questions ouvertes, ils manquent de la vérité de terrain immédiate et de la référence humaine (le prix du marché) fournies par les questions résolues.

2. Méthodologie : HINDCAST

Les auteurs introduisent HINDCAST, un protocole d'évaluation conçu pour fermer ces fuites en simulant un pronostic effectué à une date passée spécifique $t_0$ , avant que le résultat ne soit connu et avant que toute information post-événement n'existe dans le corpus de récupération.

Composants fondamentaux

Environnement d'information gelé : Le système utilise une archive de Reddit publique figée temporellement (dérivée de clichés mensuels Pushshift). Cette archive est immuable ; une fois qu'un cliché est capturé, il ne change jamais. Cela garantit que la récupération à n'importe quel temps simulé $t_0$ ne renvoie que du contenu créé strictement avant $t_0$ .
Vérité de terrain des marchés de prédiction : L'évaluation utilise des marchés binaires Polymarket résolus. Pour chaque marché, le système enregistre :
- Le résultat résolu ( $y$ ).
- La probabilité impliquée par le marché au temps $t_0$ ( $q_{t_0}$ ), qui sert de référence de pronostic humain dérivée de la même information pré- $t_0$ .
Application du cutoff : Pour éviter les erreurs de routage, le backend de récupération impose un prédicat strict created_at < t_0 au niveau SQL pour toutes les opérations de recherche et de consultation.

Pipelines d'évaluation

L'étude compare deux familles de prédicteurs face à la même interface :

Baseline Zero-shot : Le LLM effectue le pronostic en utilisant uniquement sa mémoire paramétrique, avec l'instruction de se fier uniquement aux connaissances disponibles à $t_0$ .
Agent de récupération (Retrieval Agent) : Le LLM opère dans une boucle de recherche bornée, interrogeant l'archive gelée à $t_0$ , lisant les preuves et affinant son pronostic.

Métriques

Les pronostics sont évalués par rapport à deux cibles :

Récupération du résultat (Outcome Recovery) : Précision et score de Brier par rapport au résultat binaire résolu ( $y$ ).
Amélioration du marché (Market Improvement) : La différence absolue entre le pronostic du modèle et le prix du marché à $t_0$ ( $|\hat{p}_{t_0} - q_{t_0}|$ ).

3. Contributions clés

Protocole HINDCAST : Un cadre d'évaluation qui mesure le pronostic d'un modèle à un passé $t_0$ sur des questions résolues tout en maintenant l'information récupérable fixe, permettant au test d'être réexécuté sur de nouveaux marchés à mesure que les modèles s'améliorent sans devenir obsolètes.
Archive immuable : Un backend de récupération sans fuite construit à partir de 25 mois de clichés Reddit publics (janvier 2024 – janvier 2026), indexé pour la recherche sémantique dense et la recherche par ID, avec un filtrage temporel strict.
Double prédicteur de référence : Une interface unifiée supportant une baseline zero-shot et un agent fondé sur la récupération, isolant la contribution de la récupération de preuves.
Analyse empirique : Une étude identifiant les domaines spécifiques où la récupération améliore la prévision et les domaines où elle dégrade les performances en raison du bruit spéculatif.

4. Résultats expérimentaux

Les auteurs ont testé 9 LLM en open-weights (incluant les familles Qwen3, Llama 3, Gemma 3 et Ministral) sur un ensemble équilibré de 216 marchés Polymarket résolus.

Performance globale : La récupération a abaissé le score de Brier pour 8 des 9 modèles. L'amélioration la plus significative a été observée sur Qwen3-32B, qui a réduit son score de Brier de 0,234 à 0,179 (une baisse de 23 %).
Variance selon les sujets : Le bénéfice de la récupération n'est pas uniforme ; il dépend fortement de la nature de la discussion dans le corpus pré- $t_0$ $t_{0}$ :
- La récupération aide : Dans les domaines du Sport, des Récompenses (Awards) et du Trading/Matières premières, la récupération a considérablement amélioré la précision. Dans ces domaines, les discussions sur Reddit contenaient des signaux concrets ancrés dans les faits (ex: performances d'équipes, tendances de prix) que les modèles pouvaient exploiter.
- La récupération nuit : Dans les domaines du Divertissement, des Élections/Politique et de la Tech/IA, la récupération a souvent dégradé les performances. Dans ces domaines, le corpus pré-événement était dominé par de la spéculation et de l'opinion (ex: l'enthousiasme des fans pour une chanson qui n'a jamais percé). L'agent de récupération s'est trop concentré sur ce bavardage « bruyant » mais le moins prédictif, menant à des pronostics confiants mais erronés.
Calibration vs Précision : Dans certains cas (ex: Llama-3.1-8B), la récupération a réduit la précision (plus de décisions erronées) mais a amélioré la calibration (les probabilités se sont rapprochées de 0,5 plutôt que de valeurs extrêmes erronées), abaissant ainsi le score de Brier.
Sensibilité au lookback : La variation du cutoff $t_0$ (de 25 % à 100 % de la durée de vie du marché) a montré que les gains de récupération plafonnent bien avant le lookback complet, suggérant que les bénéfices sont tirés par le signal précoce plutôt que par les nouvelles de dernière minute.

5. Signification et affirmations

L'article soutient que le raisonnement fondé sur la récupération n'est pas universellement bénéfique ; son efficacité est strictement limitée par la qualité des preuves disponibles dans l'environnement d'information pré-événement.

Fermer la fuite : HINDCAST fournit un moyen rigoureux d'évaluer la prévoyance en garantissant que le modèle ne peut pas « voir le futur » via ses données d'entraînement ou ses outils de récupération.
Signal vs Bruit : L'étude démontre que la récupération n'aide que lorsque l'archive porte un signal pré-événement (faits, données, analyse concrète). Lorsque l'archive ne contient que de la spéculation, la récupération peut activement nuire aux pronostics en amplifiant le bruit.
Évaluation dynamique : Contrairement aux benchmarks statiques qui se dégradent à mesure que les modèles sont réentraînés, HINDCAST permet une évaluation continue. De nouveaux modèles peuvent être testés contre le même archive historique gelée, garantissant que le test reste une mesure de la prévoyance plutôt que de la mémoire.

Les auteurs concluent que si la récupération améliore les pronostics dans les domaines riches en faits, elle nécessite une calibration prudente dans les domaines spéculatifs pour éviter de s'ajuster au mieux sur le « hype » pré-événement. Ils présentent HINDCAST comme un banc d'essai de recherche plutôt que comme un outil de trading prêt à l'emploi, avertissant que les agents de récupération non calibrés peuvent prêter une fausse autorité aux décisions automatisées.