Automating Forecasting Question Generation and Resolution for AI Evaluation

Cet article présente un système automatisé utilisant des agents de recherche web pilotés par des LLM pour générer et résoudre à grande échelle des questions de prévision réalistes et diversifiées, démontrant une haute fiabilité et la capacité à améliorer les performances des modèles d'IA grâce à des stratégies de décomposition de questions.

L'essentiel

🌍 Le Grand Jeu de la Prédiction : Comment l'IA apprend à deviner l'avenir

Imaginez que vous vouliez tester si un nouveau joueur d'échecs est un génie. Vous ne pouvez pas juste lui donner un jeu facile ; il faut un tableau de jeu rempli de situations complexes, imprévisibles et réelles. Si le jeu est trop simple, n'importe qui gagne. Si les règles sont floues, personne ne sait qui a vraiment gagné.

C'est exactement le problème que rencontrent les chercheurs en Intelligence Artificielle (IA) aujourd'hui. Ils veulent savoir si leurs IA sont devenues de "vrais" prévisionnistes (capables de prédire l'avenir), mais créer des questions de prédiction est un travail épuisant et difficile.

Ce papier, publié par l'équipe de FutureSearch, raconte comment ils ont construit une usine automatisée pour créer des milliers de ces questions, les vérifier, et voir si les IA peuvent vraiment les résoudre.

---

🏭 1. L'Usine à Questions (Le Pipeline)

Avant, pour avoir de bonnes questions, il fallait des humains (des experts) passer des heures à en inventer. C'était lent et coûteux. Ici, les chercheurs ont créé un système en forme de chaîne de montage, piloté par des IA :

1. Les Graines (Les Seeds) : Tout commence par une "graine", comme une nouvelle du jour ou un rapport économique. C'est l'étincelle.
   • Analogie : C'est comme si un chef cuisinier prenait un fruit frais du marché pour décider quel plat préparer.
2. Les Prototypes : Une IA (un agent) lit la nouvelle et imagine 1 à 7 idées de questions. Mais ces questions sont encore un peu floues, comme des ébauches de croquis.
3. Le Raffinement : Une autre IA prend ces ébauches et les transforme en questions parfaites. Elle ajoute des règles précises : "Si tel événement arrive le 31 décembre, la réponse est OUI. Sinon, c'est NON."
   • Analogie : C'est l'architecte qui transforme un croquis en plans de construction précis, avec des mesures exactes.
4. Les Gardiens de Qualité (Les Vérificateurs) : Avant d'être validées, les questions passent devant un tribunal d'IA. Elles doivent répondre à trois critères :
   • Est-ce qu'on peut trancher sans ambiguïté ? (Pas de "peut-être").
   • Est-ce que c'est difficile ? (Si la réponse est évidente, ce n'est pas un test).
   • Est-ce que c'est important ? (Pas de trivia comme "quel temps fera-t-il à Paris demain ?", mais des choses qui comptent vraiment).
5. Le Nettoyage : Le système vérifie qu'il n'y a pas de doublons (deux questions identiques) et garde seulement les meilleures.

Résultat : Ils ont créé 1 499 questions sur des sujets variés : politique, économie, guerres, météo, élections, etc.

---

🎯 2. Le Test de Vérité (La Résolution)

Une fois les questions créées, il faut savoir si elles sont bonnes. Comment ? En les résolvant !

• Le Défi : L'IA doit chercher des preuves sur internet (comme un détective) pour répondre à la question.
• Le Système : Ils ont utilisé plusieurs IA différentes (Gemini, GPT, Claude) pour chercher l'info. Si elles ne sont pas d'accord, une IA "arbitre" plus puissante tranche.
• Le Résultat : Le système a réussi à résoudre 95 % des questions correctement. C'est impressionnant, car même les humains (sur des plateformes comme Metaculus) se trompent souvent ou annulent des questions parce qu'elles sont trop floues. Ici, le taux d'annulation est très bas (environ 4 %).

---

🧠 3. Qui est le Plus Intelligent ?

C'est la partie la plus excitante. Ils ont utilisé ces questions pour tester différentes IA.

• La Révélation : Plus l'IA est intelligente, mieux elle prédit l'avenir.
  • Les modèles plus petits (comme GPT-5 Mini) ont fait des erreurs.
  • Les modèles plus grands et récents (comme Gemini 3 Pro) ont été bien meilleurs.
• L'Effort paie : Ils ont aussi testé une astuce : au lieu de demander une réponse directe, ils ont demandé à l'IA de décomposer la question en sous-questions (comme un puzzle).
  • Analogie : C'est comme si, au lieu de demander "Qui va gagner la course ?", on demandait "Qui est le plus rapide ? Qui a le meilleur entraînement ? Qui a la meilleure voiture ?" puis on combine les réponses.
  • Résultat : Cette méthode a amélioré la précision de l'IA de manière significative.

---

💡 Pourquoi est-ce important ?

Imaginez que nous voulons construire une voiture autonome. Nous ne pouvons pas la tester sur un circuit vide. Nous avons besoin de trafic réel, de piétons imprévisibles et de conditions météo difficiles.

Ce papier nous dit :

1. Nous avons maintenant un "circuit" réel (les 1 499 questions) pour tester les IA.
2. Ce circuit est fiable. Les questions sont claires et difficiles.
3. L'IA progresse. Les modèles les plus récents montrent qu'ils deviennent de meilleurs prévisionnistes, ce qui est un signe qu'ils se rapprochent d'une intelligence plus générale (capable de comprendre le monde réel).

En résumé, cette équipe a construit une machine à créer des défis pour l'IA. Et grâce à cette machine, nous pouvons enfin dire : "Oui, l'IA devient plus intelligente, et voici les preuves chiffrées." C'est un pas de géant pour comprendre où nous en sommes dans la course vers l'intelligence artificielle générale.

Résumé technique

Voici un résumé technique détaillé de l'article « Automating Forecasting Question Generation and Resolution for AI Evaluation », publié à l'atelier ICLR 2026 sur l'IA pour la conception de mécanismes et la prise de décision stratégique.

1. Le Problème : Le Goulot d'Étranglement des Données de Prévision

L'évaluation des systèmes d'IA dans le domaine de la prévision (forecasting) se heurte à deux défis majeurs :

• Complexité de l'échantillonnage : Contrairement aux tâches de classification où une étiquette est définitive, la « vérité terrain » d'une prévision est une distribution de probabilité. Pour distinguer un prévisionniste bien calibré d'un autre, il faut observer les résultats sur un grand nombre de questions, ce qui augmente considérablement la complexité de l'échantillonnage.
• Coût de la génération de questions : Concevoir des questions de prévision de haute qualité, non ambiguës et objectivement résolubles demande un effort humain considérable. Les plateformes existantes (comme Metaculus) reposent sur une curation humaine lourde, tandis que les méthodes automatisées précédentes se limitaient souvent à des sources de données récurrentes (météo, bourse), produisant des questions peu diversifiées ou triviales.

L'objectif de ce travail est de combler ce manque de données en développant un système capable de générer et de résoudre automatiquement, à grande échelle, des questions de prévision de haute qualité.

2. Méthodologie : Un Pipeline Multi-Agents Basé sur le Web

L'approche proposée exploite une asymétrie fondamentale : vérifier la qualité d'une sortie est souvent plus facile que de la générer ex nihilo. Le système utilise un flux de travail (pipeline) piloté par des agents LLM (Large Language Models) capables de recherche web en temps réel.

A. Architecture du Pipeline de Génération

Le processus se déroule en plusieurs étapes itératives (voir Figure 1 de l'article) :

1. Graines (Seeds) : Le système part de 2 500 « graines » issues de sources réelles (articles de GDELT, Media Cloud, et des rationnels de prévisions de revenus pour les entreprises du S&P 500 via Stockfisher).
2. Génération de Proto-questions : Un agent ReAct (Reasoning + Acting) effectue une recherche web pour transformer chaque graine en 1 à 7 « proto-questions ». Ces questions ont une direction claire mais manquent de critères de résolution précis.
3. Raffinement (Refinement) : Un second agent ReAct affine chaque proto-question en ajoutant des critères de résolution objectifs et précis, garantissant que la question peut être tranchée par des faits vérifiables.
4. Vérification (Verifiers) : Une série d'agents vérificateurs indépendants évalue chaque question selon quatre critères :
   • Qualité globale : La tâche est-elle non triviale ?
   • Ambiguïté : La résolution est-elle sans équivoque ?
   • Résolubilité : Un agent IA peut-il résoudre la question automatiquement ?
   • Prévision initiale : Un agent simple donne-t-il une probabilité non extrême (évitant les questions triviales à 0% ou 100%) ?
5. Déduplication : Les questions sont vectorisées (embeddings) et regroupées (DBSCAN). Un LLM vérifie ensuite les doublons au sein des clusters pour garantir l'unicité.

B. Résolution Automatique

Pour résoudre les questions générées, le système utilise un ensemble (ensemble) d'agents :

• Trois agents pilotés par Gemini 3 Pro (avec des prompts légèrement différents) effectuent la recherche et la résolution.
• En cas de désaccord, un agent Opus 4.5 (Claude) agit comme arbitre (tiebreaker).
• Le processus inclut une vérification rigoureuse des sources de vérité (résolution criteria) pour éviter les hallucinations.

3. Contributions Clés

• Système de Génération Évolué : C'est le premier système à utiliser des agents de recherche web flexibles pour générer des questions de prévision ancrées dans la réalité, dépassant les limites des données statiques.
• Jeu de Données à Grande Échelle : Génération et résolution de 1 499 questions diversifiées couvrant des domaines concrets (géopolitique, politique US, économie, sécurité internationale, etc.).
• Validation Rigoureuse : Une évaluation multidimensionnelle incluant des ratings d'experts humains, une comparaison avec les taux d'annulation de Metaculus, et une analyse de la performance des modèles d'IA sur ces questions.
• Preuve de Concept sur l'Amélioration par Décomposition : Démonstration qu'une stratégie de décomposition de questions (subquestion decomposition) améliore significativement la précision des prévisions.

4. Résultats Principaux

A. Qualité des Questions

• Taux de Réussite : Le système produit des questions vérifiables et non ambiguës dans 96 % des cas, surpassant le taux de curation humaine de Metaculus.
• Taux d'Annulation : Le taux d'annulation estimé est de 3,9 % (IC 95% : [1,1 %, 8,4 %]), ce qui est inférieur au taux historique d'environ 8 % de Metaculus.
• Précision de Résolution : Le système de résolution automatique atteint une précision d'environ 95 % (taux d'erreur de 4,9 %).
• Diversité : L'analyse par clustering montre que les questions couvrent 12 domaines majeurs et que la similarité intra-cluster est faible (moyenne de 1,32 sur une échelle de 1 à 4), indiquant une absence de redondance.

B. Évaluation des Modèles d'IA (Benchmarking)

Les questions servent de benchmark pour évaluer les capacités de prévision des LLMs :

• Corrélation Intelligence/Performance : Les modèles plus puissants obtiennent de meilleurs scores Brier (plus bas est mieux).
  • Gemini 3 Pro : 0,134 (Meilleur score).
  • GPT-5 : 0,149.
  • Gemini 2.5 Flash : 0,179.
• Impact de l'Effort de Recherche : L'utilisation d'une stratégie de décomposition en sous-questions (subquestion decomposition) avec un agent de recherche avancé a permis d'améliorer le score Brier de Gemini 3 Pro, le faisant passer de 0,141 à 0,132. Cela prouve que le benchmark récompense l'intelligence et l'effort de recherche.

5. Signification et Implications

Ce travail démontre que l'automatisation de la génération et de la résolution de questions de prévision est non seulement possible, mais supérieure aux méthodes traditionnelles en termes de volume et de diversité, tout en maintenant une qualité comparable ou supérieure à la curation humaine.

• Pour la Recherche en AGI : La prévision est une mesure robuste de l'intelligence générale (non jouable). Ce système fournit un outil scalable pour suivre les progrès vers l'AGI (Artificial General Intelligence) en mesurant objectivement la capacité des modèles à raisonner sur des événements futurs complexes.
• Pour la Prise de Décision : En générant des questions pertinentes pour des domaines critiques (sécurité, économie, politique), le système offre un potentiel pour améliorer directement les processus de décision en identifiant les meilleures stratégies de prévision (comme la décomposition de problèmes).
• Limites Identifiées : Le système rencontre des difficultés avec les questions nécessitant des interactions complexes (remplissage de formulaires, chargement dynamique) ou la vérification de l'absence d'événements peu médiatisés. Cependant, ces limites sont clairement identifiées et constituent des axes d'amélioration futurs.

En résumé, cette étude établit un nouveau standard pour l'évaluation des capacités de prévision des IA, prouvant que les agents autonomes peuvent non seulement créer des benchmarks de haute qualité, mais aussi surpasser les humains dans la génération de questions pertinentes et leur résolution.