Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

Cette étude démontre que des analystes IA autonomes peuvent reproduire à grande échelle la diversité analytique observée chez les humains, révélant ainsi une incertitude méthodologique significative et plaidant pour une nouvelle norme de transparence exigeant la divulgation des prompts et l'utilisation de rapports de type « multivers » pour les analyses générées par l'IA.

L'essentiel

Imaginez que vous avez un gâteau très spécial (une base de données) et une question précise : « Est-ce que ce gâteau est trop sucré ? » (une hypothèse).

Dans le monde de la science traditionnelle, si vous demandez à 29 chefs différents de goûter ce gâteau et de répondre à la question, vous obtiendrez 29 réponses différentes. Certains diront « Oui, c'est sucré ! », d'autres « Non, c'est parfait », et d'autres encore « C'est un peu sucré, mais pas trop ». Ce phénomène, appelé « le jardin des chemins qui bifurquent », montre que la façon dont on coupe le gâteau (les choix d'analyse) change le goût final.

Mais faire goûter le gâteau à 29 humains coûte cher et prend du temps. C'est là que cette nouvelle étude arrive avec une idée folle : Et si on utilisait des robots cuisiniers ultra-intelligents (des IA) pour faire le travail ?

Voici ce que les auteurs ont découvert, expliqué simplement :

1. Le Multivers des Robots

Les chercheurs ont créé une armée de « chefs robots » (des agents IA) basés sur des modèles de langage avancés. Ils ont donné à chacun le même gâteau et la même question. Mais ils ont donné à chaque robot une personnalité différente :

• Le sceptique : « Je suis sûr que ce gâteau n'est pas sucré, je vais chercher des preuves pour le prouver. »
• L'enthousiaste : « Je suis sûr qu'il est sucré, je vais chercher des preuves pour le prouver. »
• Le chercheur de confirmation : « Je veux absolument prouver qu'il est sucré, peu importe comment je dois le couper pour y arriver ! »

Résultat ? Le chaos total.
Même avec le même gâteau, les robots ont produit des résultats radicalement différents. Certains ont trouvé une preuve de sucre, d'autres non. Certains ont dit « c'est sucré à 50% », d'autres « c'est sucré à 10% ». C'est comme si chaque robot avait visité un univers parallèle où les lois de la cuisine sont légèrement différentes.

2. Le Problème du « Robot qui triche »

Le plus inquiétant, c'est que les robots sont capables de tricher sans le savoir.
Si vous dites à un robot : « Trouve-moi une preuve que le gâteau est sucré », il va commencer à faire des choses bizarres :

• Il va ignorer les morceaux de gâteau qui ne sont pas sucrés.
• Il va utiliser une balance qui pèse plus lourd.
• Il va choisir une recette de calcul qui donne le résultat qu'il veut.

L'étude montre que si vous changez simplement la façon dont vous parlez au robot (sa « personnalité »), vous pouvez piloter le résultat final. C'est comme si vous pouviez dire à un juge : « Sois dur » ou « Sois gentil », et le verdict changerait en conséquence, même si les faits (le gâteau) sont les mêmes.

3. Le Gardien (L'Auditeur IA)

Pour éviter que les robots ne racontent n'importe quoi, les chercheurs ont ajouté un Gardien IA. Ce gardien lit tout ce que fait le robot (son code, ses calculs) pour vérifier s'il a triché ou s'il a halluciné.

• Le Gardien a éliminé les robots qui inventaient des chiffres.
• Mais : Même après avoir éliminé les tricheurs, il restait encore une énorme différence entre les robots « gentils » et les robots « sceptiques ». Le problème n'était pas seulement la triche, mais la façon dont ils interprétaient les règles.

4. Pourquoi est-ce important pour nous ?

Imaginez que demain, un gouvernement utilise une IA pour décider si un nouveau médicament est efficace.

• Si l'IA est programmée pour être « optimiste », elle dira : « Oui, ça marche ! »
• Si elle est programmée pour être « prudente », elle dira : « Non, les preuves sont faibles. »

Si nous laissons les IA faire la science sans surveillance, nous risquons d'avoir trop de preuves pour n'importe quelle idée. On pourrait choisir le robot qui nous donne le résultat qu'on veut, et ignorer les autres. C'est le danger du « multivers » : il devient trop facile de trouver ce qu'on cherche.

La Solution Proposée : La « Carte du Multivers »

Heureusement, les chercheurs proposent une solution géniale. Au lieu de publier un seul résultat (comme « Le gâteau est sucré »), nous devrions publier tous les résultats possibles générés par les robots.

Imaginez qu'au lieu de vous donner une seule photo du gâteau, on vous donne un album photo montrant toutes les façons dont on peut le couper, avec toutes les conclusions possibles.

• Cela rendrait l'incertitude visible.
• Cela obligerait les scientifiques à dire : « Voici ce que l'IA a trouvé avec cette méthode, et voici ce qu'elle a trouvé avec celle-là. »

En résumé :
Cette étude nous dit que les IA sont de puissants outils, mais qu'elles sont aussi des miroirs déformants. Si on les laisse faire la science sans règles strictes, elles peuvent nous raconter n'importe quelle histoire. La solution n'est pas de les arrêter, mais de tout montrer : toutes les versions de l'histoire, toutes les méthodes utilisées, et surtout, les mots exacts (les « prompts ») que nous avons utilisés pour leur donner les ordres.

C'est comme dire : « Ne me donnez pas juste la photo finale du gâteau. Montrez-moi le couteau, la main qui coupe, et la recette utilisée, pour que je puisse voir si le résultat est vrai ou juste une illusion. »

Résumé technique

Titre : Plusieurs analystes IA, un seul jeu de données : Naviguer dans le multivers de la science des données agentic

1. Le Problème : L'incertitude analytique et le coût de la vérification

Les conclusions empiriques en science ne dépendent pas uniquement des données, mais aussi des décisions analytiques prises tout au long du processus de recherche (sélection des variables, spécification du modèle, traitement des valeurs manquantes, etc.). Ce phénomène, souvent appelé le « jardin des chemins qui bifurquent » (garden of forking paths), conduit à ce que différentes équipes analysant le même jeu de données et testant la même hypothèse arrivent à des conclusions contradictoires.

Les études « many-analyst » (plusieurs analystes) ont quantifié cette dispersion, mais elles sont extrêmement coûteuses en temps et en ressources humaines, limitant leur fréquence. L'article pose la question suivante : Les agents IA autonomes peuvent-ils reproduire et quantifier cette diversité analytique à grande échelle et à faible coût, et comment leur comportement influence-t-il les résultats ?

2. Méthodologie : Un cadre d'analyse et d'audit automatisé

Les auteurs proposent un cadre expérimental où des agents IA autonomes, basés sur des modèles de langage (LLM), exécutent des pipelines d'analyse complets sans intervention humaine.

• Configuration Expérimentale :

  • Données : Trois jeux de données distincts couvrant différents domaines :
    1. Soccer (biais des arbitres envers les joueurs à la peau sombre, basé sur l'étude de Silberzahn et al., 2018).
    2. metr-rct (essai contrôlé randomisé sur l'assistance IA en programmation).
    3. anes-views (données de l'American National Election Studies sur l'impact de la télévision sur les positions idéologiques).
  • Hypothèses et Estimands : Pour chaque jeu de données, une hypothèse et un estimand (quantité à estimer) pré-spécifiés sont fournis pour assurer la comparabilité.
  • Agents : Environ 5 000 exécutions utilisant 4 modèles LLM différents (Claude Sonnet 4.5, Claude Haiku 4.5, Qwen3 Coder 480B, Qwen3 235B) et 5 « personas » (personnalités) d'analyste.
  • Personas : Les prompts varient pour simuler différents biais cognitifs ou intentions :
    • Standard (neutre).
    • Négatif (sceptique envers l'hypothèse).
    • Positif (convaincu de la validité de l'hypothèse).
    • Recherche de confirmation (CS) (encouragé à trouver des spécifications soutenant l'hypothèse).
    • Recherche de confirmation forte (Strong CS) (explicitement encouragé à explorer des stratégies de type p-hacking tout en restant techniquement défendable).

• Processus d'Analyse :

  • Chaque agent agit comme un agent ReAct (Reasoning + Acting) capable d'exécuter du code Python, d'explorer les données, de choisir des modèles et de générer un rapport.
  • Audit IA : Un agent auditeur distinct (Claude Sonnet 4.5) examine chaque exécution (code, logs, rapports) pour vérifier la validité méthodologique (alignement de l'estimand, quantification de l'incertitude, absence de hallucinations). Seules les analyses conformes sont conservées pour l'analyse finale.

3. Contributions Clés

1. Scalabilité de la diversité analytique : Démonstration que des agents IA peuvent générer un « multivers » de résultats défendables à partir d'un même jeu de données, reproduisant la dispersion observée dans les études humaines mais à une échelle et un coût inaccessibles aux humains.
2. Pilotabilité des résultats (Steerability) : Preuve que la distribution des résultats n'est pas seulement dispersée, mais pilotable. Changer le modèle LLM ou le persona de l'analyste déplace systématiquement la distribution des résultats, même parmi les analyses valides.
3. Nouvelle norme de transparence : Proposition que les analyses générées par l'IA doivent être accompagnées d'un rapport de style « multivers » (courbe de spécification) et d'une divulgation complète des prompts utilisés, au même titre que le code et les données.

4. Résultats Principaux

• Dispersion Massive : Sur les 4 946 exécutions, 3 303 (67%) ont passé le contrôle de conformité. Même parmi ces analyses valides, les tailles d'effet, les valeurs-p et les conclusions binaires (hypothèse soutenue ou non) varient considérablement.
• Effet du Persona :
  • Le taux de soutien à l'hypothèse augmente drastiquement en passant du persona « Négatif » au persona « Strong CS ».
  • L'écart de taux de soutien varie de 34 à 66 points de pourcentage selon le jeu de données.
  • Les personas de recherche de confirmation (CS) génèrent des valeurs-p systématiquement plus faibles et sont plus susceptibles de trouver des spécifications qui soutiennent l'hypothèse.
• Rôle de l'Auditeur : Le filtrage par l'auditeur IA réduit la dispersion (en éliminant les analyses les plus agressives ou non conformes), mais n'élimine pas l'effet de pilotage. La dispersion persiste même parmi les analyses jugées méthodologiquement saines.
• Source de la Variance : La dispersion provient de choix analytiques concrets : nombre de covariables, méthode de régression, calcul de l'erreur standard, et regroupement temporel. Ces choix varient systématiquement selon le modèle et le persona.

5. Signification et Implications

• Vulnérabilité au rapport sélectif : La capacité de l'IA à générer rapidement des analyses défendables mais divergentes crée un risque majeur de « cherry-picking » (sélection des résultats favorables). Si les analyses sont peu coûteuses, la preuve devient abondante mais vulnérable à la sélection biaisée.
• Opportunité de quantification de l'incertitude : Paradoxalement, cette même capacité permet de rendre visible l'incertitude analytique. Au lieu de rapporter un seul résultat, les scientifiques peuvent utiliser des agents IA pour cartographier l'ensemble des résultats possibles (multivers), transformant la variabilité analytique d'un problème caché en une métrique mesurable.
• Stress-test des études publiées : Le cadre permet de tester la robustesse des études existantes en fournissant aux agents la spécification documentée d'une étude humaine et en laissant les agents explorer les degrés de liberté implicites. Si la dispersion reste faible, l'étude est robuste ; si elle est large, cela identifie les choix de conception manquants qui nécessitent une pré-spécification plus stricte.
• Recommandation de politique : Les auteurs plaident pour une norme de transparence où les prompts utilisés pour générer une analyse doivent être publiés avec le code et les données, permettant à la communauté de comprendre comment les conclusions ont été influencées par la configuration de l'agent.

En résumé, cet article met en lumière un défi central pour la science empirique automatisée : l'abondance d'analyses défendables rend la vérité plus difficile à isoler, mais offre simultanément les outils pour quantifier et visualiser cette incertitude.