🤖 AI

Agentic Time Machine as an Infrastructure for Future-Event Forecasting

Cet article introduit l'Agentic Time Machine, une infrastructure qui reconstruit les états historiques du web pour permettre une évaluation efficace et réaliste des agents de prévision, ainsi qu'un cadre multi-agents qui atteint des performances de pointe tant sur les benchmarks rétrospectifs que sur les classements en direct de FutureX.

Auteurs originaux : Jingyi Chai, Bingyang Zheng, Xiangrui Liu, Hao Lu, Zihang Zhou, Tianchen Wang, Kemeng Zhang, Siheng Chen

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jingyi Chai, Bingyang Zheng, Xiangrui Liu, Hao Lu, Zihang Zhou, Tianchen Wang, Kemeng Zhang, Siheng Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire le vainqueur d'un match de football qui aura lieu samedi prochain. Vous disposez d'un assistant IA super intelligent (un grand modèle de langage) pour vous aider. Mais il y a un piège : si vous posez la question à l'IA aujourd'hui, elle pourrait accidentellement jeter un coup d'œil à un site de sport qui affiche déjà le score final parce que l'internet n'oublie jamais.

Ce document présente deux éléments principaux pour résoudre ce problème et rendre l'IA meilleure dans ses prédictions : une Machine à remonter le temps et une Équipe d'experts.

1. Le Problème : L'Internet "Spoiler"

Actuellement, tester la capacité d'une IA à prédire l'avenir, c'est comme jouer à "Jacques a dit" avec un livre de règles défectueux.

Le Jeu "En Direct" : On attend que l'événement réel se produise, puis on interroge l'IA. C'est équitable, mais cela prend des semaines ou des mois pour obtenir des résultats. C'est comme attendre la fin d'un film avant de pouvoir le critiquer.
Le Jeu "Gelé" : On utilise des données anciennes et statiques. C'est rapide, mais l'IA ne peut pas naviguer sur le web en direct, ce qui n'est pas un test réaliste.
Le Problème de la "Fuite" : Si vous essayez de tester l'IA sur des événements passés en utilisant le web "en direct" aujourd'hui, l'IA va tricher. Elle trouvera la réponse dans un article de presse d'hier qui dit : "L'équipe A a gagné 2-1". Le test ne porte plus sur la prédiction, mais sur la recherche de la réponse.

2. La Solution : La Machine à Remonter le Temps Agentique

Les auteurs ont construit une Machine à remonter le temps numérique. Voyez cela comme un bibliothécaire très strict qui garde l'accès de l'IA à internet.

Comment ça marche : Lorsque l'IA pose une question sur un événement ayant eu lieu le 17 janvier, la Machine à remonter le temps intercepte chaque résultat de recherche.
Le Filtre : Le bibliothécaire (un filtre d'IA) lit chaque résultat de recherche et pose deux questions :
1. Cette page donne-t-elle la réponse directement ? (ex: "Coventry a gagné 2-1"). Si oui, Interdit !
2. Cette page possède-t-elle une date postérieure au 17 janvier ? (ex: une interview d'après-match du 19 janvier). Si oui, Interdit !
Le Résultat : L'IA ne voit le web exactement tel qu'il était le 17 janvier. Elle doit faire une prédiction basée sur les indices disponibles avant le début du match, tout comme le ferait un véritable pronostiqueur humain.

Cela permet aux chercheurs de tester l'IA instantanément (retour rapide) sans que l'IA ne triche en lisant le futur (haute fidélité).

3. La Stratégie : L'Équipe Planificateur-Solveur-Agrégateur

Une fois qu'ils avaient un terrain de test équitable, ils avaient besoin d'une meilleure façon pour l'IA de réfléchir. Au lieu de demander à une seule IA de faire tout le travail, ils ont créé une équipe de trois personnes :

Le Planificateur (L'Entraîneur) : Cette IA examine la question (ex: "Ce film obtiendra-t-il un Oscar ?") et la décompose. Elle dit : "D'accord, examinons cela sous trois angles : 1. Que disent les critiques ? 2. Quels sont les chiffres du box-office ? 3. Quel est le budget de campagne ?" Elle assigne ces tâches à différents coéquipiers.
Les Solveurs (Les Éclaireurs) : Ce sont trois agents d'IA distincts. Chacun part collecter des preuves uniquement pour son angle spécifique. L'un cherche les critiques, l'autre l'argent, le troisième les actualités. Ils travaillent en parallèle, comme des éclaireurs courant dans différentes directions.
L'Agrégateur (Le Général) : Cette IA collecte tous les rapports des éclaireurs. Elle cherche les contradictions. Si l'Éclaireur A dit "Oui" et l'Éclaireur B dit "Non", le Général creuse davantage pour comprendre qui a raison. Elle combine toutes les preuves en une prédiction finale bien raisonnée.

4. Les Résultats : Est-ce que cela a fonctionné ?

Le document affirme que ce système est un immense succès :

Au Test : Lorsqu'ils ont utilisé la Machine à remonter le temps pour tester leur système sur des événements passés, il a obtenu un score plus élevé que toute autre méthode, y compris les systèmes qui posaient simplement la même question cinq fois et procédaient à un vote.
Dans le Monde Réel : Ils ont inscrit leur système dans une compétition de prédiction en direct et en temps réel appelée FutureX.
- Ils ont terminé à la 1ère place la première semaine de mai.
- Ils ont conservé la 1ère place du classement général pendant huit semaines consécutives (au 17 juin 2026).
La Connexion : Le document prouve que si une IA réussit le test de la "Machine à remonter le temps", elle réussira également dans le monde réel et en direct. Cela signifie que les chercheurs peuvent désormais tester de nouvelles idées rapidement sans attendre des mois pour obtenir des résultats concrets.

Analogie de Synthèse

Imaginez que vous essayiez de deviner le vainqueur d'une course de chevaux.

L'Ancienne Méthode : Vous demandez à un ami intelligent, mais il se tient à côté de la ligne d'arrivée en lisant les résultats. Il vous donne le vainqueur, mais il ne prédit pas réellement ; il se contente de lire.
La Machine à Remonter le Temps : Vous placez votre ami dans une pièce insonorisée avec une télévision figée au moment avant le début de la course. Il ne peut pas voir la ligne d'arrivée.
L'Équipe : Au lieu d'un seul ami, vous avez un Entraîneur qui dit à trois autres amis de surveiller les jambes des chevaux, les jockeys et la météo. Ils écrivent tous des rapports, et un quatrième ami (le Général) lit tout pour prendre la décision finale.

Le document démontre que cette configuration de "Machine à remonter le temps" crée un moyen équitable, rapide et précis de former et de tester des agents d'IA pour qu'ils deviennent meilleurs pour prédire l'avenir.

Résumé Technique : L'Agentic Time Machine comme Infrastructure pour la Prévision d'Événements Futurs

1. Énoncé du Problème

La prévision d'événements réels futurs (ex: résultats électoraux, décisions de politique monétaire, mouvements des marchés financiers) présente un défi unique pour les agents basés sur les Grands Modèles de Langage (LLM). Contrairement aux tâches classiques de recherche d'information, la « bonne » réponse n'existe dans aucune source en ligne au moment de la prédiction. Les agents doivent synthétiser des preuves bruitées, prendre en compte l'incertitude et raisonner sur des issues potentielles sans avoir accès à la vérité terrain résolue.

Les paradigmes d'évaluation actuels sont confrontés à un arbitrage fondamental entre efficacité et fidélité de l'environnement :

Benchmarks en direct (Live Benchmarks) : Des systèmes comme FutureX, Prophet Arena et ForecastBench offrent un accès dynamique au web et une utilisation d'outils ouverte. Cependant, ils souffrent de boucles de rétroaction intrinsèquement lentes, obligeant les chercheurs à attendre des jours ou des semaines que les événements réels se résolvent avant de pouvoir scorer les prédictions.
Benchmarks rétrospectifs ou figés (Retrospective/Frozen Benchmarks) : Pour accélérer le développement, certaines approches rejouent des questions historiques en utilisant des bases de données statiques pré-figées ou de l'inférence en mode fermé (closed-book). Bien qu'elles offrent un retour rapide, elles sacrifient le réalisme environnemental en restreignant les agents à des sources de données limitées et non dynamiques, échouant ainsi à simuler les interactions avec le web ouvert requises dans les déploiements réels. De plus, l'évaluation rétrospective naïve est vulnérable à la fuite de réponses (answer leakage), où des extraits ou des pages web mis à jour révèlent par inadvertance l'issue résolue.

2. Méthodologie

Le document propose deux composantes centrales pour répondre à ces défis : une nouvelle infrastructure d'évaluation et un cadre de prévision multi-agents.

2.1. Agentic Time Machine (TM)

L'Agentic Time Machine est une infrastructure d'évaluation basée sur les LLM conçue pour permettre un rejeu local, rapide et reproductible des tâches de prévision tout en empêchant la fuite de réponses.

Mécanisme : La TM se place entre l'agent de prévision et les outils web en direct (recherche et récupération de pages). Elle emploie un filtre de fuite basé sur un LLM ( $\phi$ ) qui traite les sorties des outils avant qu'elles n'atteignent l'agent.
Logique de filtrage : Le filtre évalue chaque élément récupéré (extrait ou contenu de page) selon deux critères :
1. Fuite de réponse directe : Le contenu énonce explicitement ou implique fortement la réponse de vérité terrain ( $a^\star$ ) ?
2. Fuite d'information post-date : Le contenu contient des signaux temporels (dates de publication, horodatages de mise à jour, dates d'événements) postérieurs à l'heure de coupure de la question ( $t$ ) ?
Justification du filtrage par LLM : Un simple filtrage de date par règles n'est pas suffisant car le contenu web évolue sur des URL stables (ex: des pages de prix historiques d'actions où l'URL est ancienne, mais le tableau de données se met à jour quotidiennement). Le filtre LLM inspecte le contenu réel pour distinguer les informations de contexte antérieures à la coupure des révélations postérieures à celle-ci.
Résultat : La TM approxime l'état du web tel qu'il existait au temps $t$ , permettant aux agents d'interagir avec un environnement web dynamique et ouvert sans avoir accès à la réponse résolue.

2.2. Cadre Multi-Agents : Planner-Solver-Aggregator

Pour améliorer la performance de prévision, les auteurs proposent un système multi-agents qui décompose le processus de raisonnement sans nécessiter d'entraînement supplémentaire ou d'outils au-delà d'une base à agent unique.

Planner (Planificateur) : Analyse la question de prédiction, effectue des recherches exploratoires et décompose le problème en 2 à 4 angles analytiques distincts (ex: taux de base historiques, moteurs causaux, risque de marché, force de campagne). Il génère un plan JSON définissant le rôle et l'objectif de recherche pour chaque solver.
Solvers (Solveurs) : Plusieurs agents solveurs s'exécutent en parallèle, chacun étant assigné à un angle spécifique par le planificateur. Ils utilisent activement les outils web pour recueillir des preuves le long de leurs trajectoires désignées et produisent des rapports JSON structurés, ancrés dans les preuves plutôt que dans les a priori.
Aggregator (Agrégateur) : Reçoit le plan du planificateur et tous les rapports des solveurs. Il identifie les points d'accord et de conflit, effectue des recherches ciblées supplémentaires si nécessaire, et synthétise une prévision finale ancrée.
Philosophie de conception : Cette approche diversifie le processus de collecte de preuves lui-même, plutôt que de simplement diversifier les réponses finales (comme dans la cohérence de soi/self-consistency). Elle permet au système de couvrir davantage de segments de preuves pertinents sans forcer un agent unique à poursuivre chaque ligne de raisonnement possible.

3. Contributions Clés

Infrastructure Agentic Time Machine : Un nouveau système d'évaluation qui simule le web ouvert à un point temporel spécifique. Il permet un rejeu local rapide et sans fuite d'informations, comblant efficacement l'écart entre le réalisme du direct et l'efficacité hors ligne.
Cadre Planner-Solver-Aggregator : Une architecture multi-agents zero-shot qui décompose les tâches de prévision en diverses perspectives analytiques. Elle utilise la collecte de preuves en parallèle et une étape de réconciliation pour produire une prévision unique, surpassant les bases de cohérence de soi standard.
Validation Empirique : Des preuves exhaustives démontrant que :
- La TM réduit efficacement la fuite d'informations, abaissant considérablement les scores sur les tâches où les agents s'appuyaient auparavant sur la récupération directe de la réponse.
- Les scores hors ligne obtenus sous la TM sont fortement corrélés ( $r=0,92$ ) aux performances sur le leaderboard en direct, validant la TM comme un proxy fiable pour les tests en conditions réelles.
- Le cadre multi-agents proposé atteint des performances de pointe (state-of-the-art) tant sur les jeux de données hors ligne que sur le leaderboard live de FutureX.

4. Résultats Expérimentaux

4.1. Validation de l'Agentic Time Machine

Réduction de la fuite : Appliquée à cinq backbones de LLM différents (incluant GPT-5.4, GLM-5 et Kimi-K2.5) sur un sous-ensemble de 61 questions (FutureX-Past), l'activation de la TM a réduit les scores de 25 à 37 points. Cette baisse confirme que les scores élevés précédents étaient gonflés par la fuite de réponses provenant du web en direct.
Sensibilité à la difficulté : La baisse de score a été plus prononcée sur les questions de Niveau 4 (quantitatives/ouvertes), où la récupération directe est impossible sans fuite. Les questions de Niveau 1 (à peu d'options) ont montré une baisse plus faible, car les modèles pouvaient encore s'appuyer sur les bases historiques et les stratégies d'élimination.
Corrélation avec la performance en direct : Les scores hors ligne sous la TM ont montré une forte corrélation de Pearson ( $r=0,92$ ) avec les scores FutureX en direct, confirmant que la TM fournit une simulation fidèle des contraintes de prévision du monde réel.

4.2. Performance du Cadre Multi-Agents

Benchmarks Hors Ligne (FutureX-Past & Polymarket) :
- Sur FutureX-Past, le cadre a obtenu un score pondéré de 39,51, surpassant la meilleure base de cohérence de soi (SC@5, 36,81) et la base la plus forte augmentée d'outils à agent unique (35,02).
- Sur Polymarket (80 questions à choix multiples), le cadre a obtenu un score de 64,99, dépassant SC@5 (62,26) et la meilleure base à agent unique (59,24).
Leaderboard en Direct (FutureX) :
- Le système (répertorié sous le nom de FutureGPTv1) a participé à quatre rounds hebdomadaires consécutifs (avril S3 à mai S2, 2026).
- Il a atteint les rangs #4, #2, #1 et #6, résultant en le meilleur rang moyen (3,25) parmi les systèmes publics comparés (MiroFlow et H2O AI Super Agent).
- Au 17 juin 2026, il était classé 1er sur le leaderboard global officiel de huit semaines de FutureX avec un classement Bradley-Terry de 4,61.
Efficacité : Le cadre était plus efficace que les bases de cohérence de soi. Alors que SC@5 nécessitait en moyenne 81 cycles d'appels d'outils (sur Polymarket) pour gagner seulement 1,27 point par rapport à SC@3, le cadre proposé a atteint une précision plus élevée avec 47,1 cycles, démontrant que la décomposition des rôles est plus efficace que l'échantillonnage répété.

5. Signification et Revendications

Le document affirme que l'Agentic Time Machine fournit une infrastructure critique pour le domaine de la prévision par LLM. En permettant un rejeu local rapide et sans fuite, elle permet aux chercheurs d'itérer sur la conception des agents sans les coûts de temps prohibitifs de l'attente de la résolution des événements réels. La forte corrélation entre les scores TM hors ligne et la performance du leaderboard en direct valide la TM comme un proxy fiable pour évaluer les capacités de prévision sous une incertitude réelle.

De plus, le cadre planner-solver-aggregator démontre que la décomposition des problèmes de prévision complexes en divers angles analytiques et la réconciliation de flux de preuves parallèles produisent des performances supérieures à la fois aux bases à agent unique et à la simple cohérence de soi par vote. Les auteurs soulignent que ces améliorations sont obtenues sans ajustement fin (fine-tuning) ni outils additionnels, suggérant que la décomposition architecturale est un levètre clé pour faire progresser les agents de prévision.

Le travail conclut que la combinaison d'un environnement d'évaluation sans contamination (TM) et d'un cadre de raisonnement multi-agents structuré représente une étape significative vers des agents de prévision d'événements futurs robustes et réels.