💰 quantitative finance

Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

Cet article présente Foresight Arena, un benchmark sans permission et sur chaîne qui évalue les agents de prévision IA sur des marchés de prédiction réels en utilisant des contrats intelligents de confiance zéro et des règles de scoring appropriées pour mesurer rigoureusement la précision prédictive tout en empêchant le surapprentissage et la contamination des données.

Auteurs originaux : Maksym Nechepurenko, Pavel Shuvalov

Publié 2026-05-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maksym Nechepurenko, Pavel Shuvalov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une arène numérique géante où des « boules de cristal » d'IA s'affrontent pour prédire l'avenir. Ce papier présente Foresight Arena, une nouvelle méthode pour tester si l'intelligence artificielle est réellement capable de prédire des événements réels, ou si elle se contente de deviner.

Voici le détail de son fonctionnement, à l'aide d'analogies simples.

1. Le Problème : Pourquoi les anciens tests étaient défectueux

Avant cela, tester les prévisionnistes d'IA présentait trois grandes failles :

Le Problème de la « Triche » : Les anciens tests utilisaient des questions statiques (comme un quiz fixe). Les modèles d'IA avaient peut-être vu les réponses pendant leur entraînement, donc ils ne « prévoyaient » pas vraiment ; ils se contentaient de se souvenir.
Le Problème de l'« Arbitre » : La plupart des tests reposaient sur un humain ou une entreprise centrale pour tenir le score. Si cet arbitre était biaisé ou piraté, les résultats étaient faux.
Le Problème du « Trader vs. Voyant » : Certains tests mesuraient combien d'argent un IA gagnait en pariant sur des événements. Mais gagner de l'argent ne dépend pas seulement d'avoir raison ; cela dépend de quand vous pariez et de combien vous risquez. Une IA pourrait être terrible pour prédire l'avenir mais gagner de l'argent en étant un joueur de hasard chanceux.

2. La Solution : Un Stade Numérique Sans Confiance

Foresight Arena résout cela en construisant le test sur une blockchain (un registre numérique public et immuable).

Le Jeu « Engager-Réveler » : Imaginez un jeu de poker où vous devez écrire votre prédiction sur un papier, le sceller dans une enveloppe et le poser sur la table avant que quiconque puisse le voir. Ce n'est qu'une fois que tout le monde a scellé ses prédictions que vous ouvrez les enveloppes. Cela empêche les agents IA de tricher en regardant ce que les autres ont deviné en premier.
La Règle « Pas d'Arbitre Humain » : Les résultats ne sont pas décidés par une personne. Ils sont lus automatiquement à partir d'un système public et décentralisé (Polymarket/Gnosis). Si l'événement se produit, la blockchain le sait. Personne ne peut modifier le score a posteriori.
La Règle de l'« Entrée Libre » : N'importe qui (ou n'importe quelle IA) peut participer sans demander la permission.

3. Le Tableau de Bord : Mesurer la « Vérité » vs la « Chance »

Au lieu de compter l'argent, l'arène utilise une formule mathématique spéciale appelée le Score de Brier.

L'Analogie : Pensez à un prévisionniste météorologique. S'il dit « Il y a 90 % de chances de pluie » et qu'il pleut, il obtient un bon score. S'il dit 90 % et qu'il fait soleil, il obtient un mauvais score. Le score mesure à quel point sa confiance était proche de la réalité.
Le « Score Alpha » (L'Avantage) : C'est l'ingrédient secret du papier. Il ne demande pas seulement : « Aviez-vous raison ? » Il demande : « Étiez-vous plus dans le vrai que la foule ? »
- Imaginez une foule de 1 000 personnes pariant sur le vainqueur d'un match de sport. Le « Consensus du Marché » est la prédiction moyenne de cette foule.
- Si une IA parie comme la foule, son score est nul.
- Si l'IA parie différemment et a raison, elle obtient un score positif. Cela prouve que l'IA a trouvé une information que la foule a manquée.

4. L'Expérience : Qui a gagné ?

Les auteurs ont mené un test en direct sur 50 tours impliquant cinq modèles d'IA de premier plan (de sociétés comme Anthropic, OpenAI, Google, etc.) et une « Base Aléatoire » (un ordinateur devinant des nombres au hasard).

Les Résultats :

Les Devineurs Aléatoires : Ils ont échoué lamentablement, prouvant que le test fonctionne.
Les Modèles d'IA de Haut Niveau : Trois modèles (Claude, GPT et Gemini) ont fait légèrement mieux que la foule, mais la différence était infime. C'était comme une course où les trois meilleurs coureurs ont terminé à une fraction de seconde les uns des autres. Le test n'a pas été assez long pour dire avec certitude qui était le plus rapide.
Les Modèles « Copieurs » : Deux modèles (Grok et GLM) ont essayé de deviner ce que pensait la foule mais ont ajouté du « bruit » (des erreurs aléatoires). Ils ont en fait fait pire que de simplement copier la foule parfaitement. C'est une découverte clé : Essayer d'être légèrement différent de la foule quand on n'est pas réellement plus intelligent nuit simplement à votre score.

5. L'« Anatomie » d'une Bonne Prédiction

Le papier décompose pourquoi une IA gagne ou perd en utilisant une « Décomposition de Murphy » (une manière sophistiquée de décomposer un score) :

Résolution (La « Précision ») : L'IA peut-elle faire la différence entre un événement probable et un événement improbable ? Les gagnants étaient « plus précis » que la foule.
Fiabilité (L'« Honnêteté ») : Quand une IA dit « 70 % de chances », cela se produit-il 70 % du temps ? Les gagnants étaient très honnêtes sur leur confiance.
La Leçon : Pour battre le marché, vous devez être plus précis que la foule. Être simplement « calme » ou « honnête » ne suffit pas si vous ne voyez pas ce que la foule a manqué.

6. La Grande Conclusion

Ce papier a construit un système de réputation permanent et immuable pour l'IA.

Dans le passé, une société d'IA pouvait affirmer : « Notre IA est le meilleur prévisionniste ! » et vous montrer un tableau qu'elle avait inventé.
Maintenant, avec Foresight Arena, une IA a un historique public et inaltérable sur la blockchain. Vous pouvez aller voir l'historique vous-même.

L'Essentiel :
Le papier conclut que, bien que les modèles d'IA actuels soient bien meilleurs que le hasard, ils sont actuellement très proches de la « sagesse collective » de la foule humaine. Pour prouver qu'une IA est véritablement supérieure, nous devons continuer à mener ces tests beaucoup plus longtemps (des centaines de tours, pas seulement 50) pour voir si les infimes différences s'additionnent pour désigner un vainqueur clair.

Ce que le papier NE prétend PAS :

Il ne dit pas que ces IA peuvent prédire le marché boursier pour en tirer profit (c'est un jeu différent).
Il ne dit pas que ces IA sont prêtes à diriger des gouvernements ou des hôpitaux.
Il ne prétend pas que les résultats actuels sont le mot de la fin ; il indique explicitement que le test doit durer plus longtemps pour séparer les meilleurs performers.

1. Énoncé du problème

Le papier identifie trois limitations fondamentales dans les méthodes actuelles d'évaluation des capacités de prévision de l'IA :

Contamination des jeux de données : Les benchmarks statiques (questions/résolutions fixes) sont vulnérables aux fuites de données d'entraînement, où les modèles semblent précis simplement parce qu'ils ont mémorisé l'ensemble de test lors du pré-entraînement.
Confiance centralisée : Les cadres existants reposent sur des autorités centrales pour enregistrer les prédictions et calculer les scores, créant des risques de manipulation rétroactive ou de rapport sélectif, ce qui sape la confiance commerciale.
Métriques inappropriées : Évaluer les agents via le Profit et Perte (PnL) du trading confond la précision prédictive avec la stratégie de trading (taille de position, timing et appétit pour le risque). Un agent peut perdre de l'argent malgré des prévisions précises ou gagner de l'argent malgré de mauvaises prévisions en raison de la chance ou de paris agressifs.

Les auteurs soutiennent qu'une évaluation rigoureuse nécessite un environnement résistant au surapprentissage, décentralisé (sans confiance) et fondé sur des règles de notation incitatives compatibles.

2. Méthodologie et conception du système

Foresight Arena est un benchmark en direct, sans permission, on-chain déployé sur Polygon PoS qui évalue des agents IA sur des marchés de prédiction binaire réels issus de Polymarket.

Architecture de base

Protocole Commit-Reveal : Les agents soumettent un hachage cryptographique de leurs prédictions (phase de commit) avant l'échéance pour empêcher l'observation des mouvements des concurrents. Ils révèlent ensuite les probabilités réelles et un sel (phase de reveal). Cela garantit l'indépendance des prévisions.
Résolution sans confiance : Les résultats sont résolus automatiquement via le Gnosis Conditional Token Framework (CTF), le même oracle utilisé par Polymarket. Aucun curateur humain ne peut manipuler la résolution.
Participation sans frais de gaz : Les agents interagissent via un relais utilisant des messages signés EIP-712, permettant la participation sans détenir de tokens natifs (POL).
Réputation persistante : Les scores sont accumulés sur le Registre de réputation ERC-8004, créant un historique inviolable et vérifiable pour chaque agent.

Cadre de notation

Le système utilise deux métriques principales :

Score de Brier : Une règle de notation propre ( $S = (p - x)^2$ ) qui mesure la précision des prévisions probabilistes. Il est strictement minimisé uniquement lorsque l'agent rapporte sa vraie croyance.
Score Alpha ( $\alpha$ ) : Une métrique nouvelle mesurant l'avantage de l'agent par rapport au consensus du marché.
- Formule : $\alpha = B_{base} - B_{agent}$ , où $B_{base}$ est le score de Brier du prix médian du marché.
- Un $\alpha$ positif indique que l'agent a surpassé la sagesse collective du marché.

Analyse statistique

Les auteurs fournissent un traitement mathématique formel des règles de notation :

Décomposition de Murphy : Ils décomposent le Score de Brier en Incertitude (UNC), Fiabilité (REL) et Résolution (RES).
- Il est démontré que $\alpha$ est la somme d'un Gain de résolution (meilleure discrimination que le marché) et d'un Écart de fiabilité (meilleure calibration que le marché).
Analyse de puissance : Ils dérivent des expressions sous forme fermée pour la variance de Alpha et calculent la taille d'échantillon requise pour détecter un avantage spécifique ( $\alpha^*$ $α^{*}$ ).
- Résultat : Détecter un véritable avantage de $\alpha^* = 0,02$ nécessite environ 350 prévisions (50 tours de 7 marchés). Détecter $\alpha^* = 0,01$ nécessite environ 4 fois cette quantité.

3. Contributions clés

Vérifiabilité on-chain : Le premier benchmark où toutes les prédictions, engagements et scores sont enregistrés sur une blockchain publique, permettant à toute tierce partie de rejouer et vérifier indépendamment l'historique d'un agent sans faire confiance à l'organisateur.
Résolution sans confiance : Élimination des arbitres centralisés en utilisant le Gnosis CTF pour la résolution des résultats.
Analyse formelle du Score Alpha : Une preuve statistique rigoureuse que Alpha est une règle de notation propre et une dérivation de la variance et des exigences de taille d'échantillon pour une détection fiable des compétences de prévision.
Insight de la décomposition de Murphy : Démonstration que « battre le marché » est mathématiquement distinct de « être calibré », permettant le diagnostic de modes d'échec spécifiques (par exemple, suivi du marché avec bruit vs mauvaise calibration réelle).
Infrastructure sans permission : Un système open-source et sans frais de gaz permettant à n'importe quelle adresse compatible Ethereum de participer et de construire des identifiants on-chain persistants.

4. Résultats expérimentaux

Les auteurs ont mené une évaluation en direct de 50 tours impliquant cinq agents de modèles de langage de grande taille (LLM) de pointe et une base aléatoire.

Agents évalués : claude-opus-4-5, gpt-5-2, gemini-3-pro, grok-4-1, glm-4-7, et une base aléatoire.
Performance globale :
- Base aléatoire : A performé significativement pire que tous les LLM ( $\bar{\alpha} \approx -0,14$ ), confirmant que les LLM possèdent une véritable capacité de prévision.
- Haut de gamme : claude-opus-4-5, gpt-5-2 et gemini-3-pro ont obtenu de petits scores Alpha positifs ( $+0,003$ à $+0,005$ ). Bien que positifs, ceux-ci n'étaient pas statistiquement significatifs à l'horizon de 50 tours (cohérent avec l'analyse de puissance prédisant qu'une significativité nécessite $\alpha^* \ge 0,02$ ).
- Sous-performants : grok-4-1 et glm-4-7 ont obtenu des scores Alpha négatifs. La décomposition de Murphy a révélé qu'ils souffraient d'une faible résolution (ils suivaient le prix du marché mais ajoutaient du bruit) plutôt que de simples erreurs de calibration.
Spécialisation par domaine :
- Crypto : Les LLM ont montré l'avantage le plus fort ici, probablement dû à la capacité d'intégrer les actualités en temps réel plus rapidement que le prix médian du marché.
- Géopolitique : Tous les agents ont sous-performé le marché, suggérant que les LLM peinent avec les événements politiques à faible fréquence et à haute ambiguïté.
- Sports/Économie : Résultats mitigés avec des modèles spécifiques montrant des forces par domaine.

5. Signification et implications

Découplage de la prédiction et du trading : En utilisant des règles de notation propres au lieu du PnL, Foresight Arena isole la connaissance du monde du modèle de sa stratégie de trading. Cela révèle des modes d'échec (comme le « suivi du marché avec bruit ») que les évaluations basées sur le PnL manqueraient.
Identifiants IA vérifiables : Le système propose une nouvelle norme d'évaluation de l'IA : des identifiants on-chain. Ce sont des enregistrements immuables et cumulatifs de performance qui ne peuvent être falsifiés, essentiels pour la licence commerciale et le déploiement d'agents autonomes.
Honnêteté statistique : Le papier souligne que les évaluations actuelles à court horizon (par exemple, 50 tours) manquent de puissance pour distinguer les modèles de pointe de haut niveau. Il établit qu'une évaluation continue à long terme est nécessaire pour classer de manière fiable les capacités de prévision de l'IA.
Conseils de conception : L'analyse suggère que pour qu'un agent batte le marché, il doit privilégier l'information fraîche (résolution) et l'audace contrôlée, plutôt que de simplement échoer les prix du marché ou être trop confiant.

En conclusion, Foresight Arena fournit le premier cadre robuste, décentralisé et statistiquement rigoureux pour mesurer la prévision par l'IA, allant au-delà des jeux de données statiques et des métriques basées sur les profits vers un système fondé sur la vérification cryptographique et la théorie de l'information.