🤖 AI

The Agentic Garden of Forking Paths

Cet article démontre que les agents d'IA peuvent reproduire la diversité et les choix analytiques souvent conflictuels faits par les chercheurs humains dans des domaines à enjeux élevés, mettant en lumière le problème du signalement sélectif dans l'analyse scientifique et proposant la méthode du « Agentic Bootstrap » pour estimer la « valeur-m » en tant que nouveau critère d'évaluation de la crédibilité des affirmations scientifiques fondé sur leur position au sein de l'espace des analyses plausibles.

Auteurs originaux : Jiacheng Miao, Jonathan K Pritchard, James Zou

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiacheng Miao, Jonathan K Pritchard, James Zou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère en utilisant une seule boîte d'indices (la donnée). Par le passé, si deux détectives examinaient la même boîte, ils pouvaient arriver à des récits légèrement différents, mais ils s'accordaient généralement sur les faits principaux.

Ce document introduit un nouveau rebondissement : des agents d'IA agissant comme des détectives. Les chercheurs ont découvert que si vous donnez à deux agents d'IA la même boîte d'indices exacte, mais que vous leur donnez des « personnalités » différentes (l'un est un sceptique, l'autre est un croyant), ils ne raconteront pas seulement des histoires légèrement différentes — ils raconteront des histoires complètement opposées, et les deux récits sembleront parfaitement logiques et scientifiquement fondés.

Voici une décomposition de leurs conclusions en utilisant des analogies simples :

1. Le « Jardin des Chemins Bifurqués »

Imaginez une forêt immense avec des millions de sentiers (le « Jardin des Chemins Bifurqués »). Chaque fois qu'un chercheur analyse des données, il doit choisir quel chemin emprunter.

L'ancien problème : Les chercheurs humains choisissent parfois inconsciemment le chemin qui mène au résultat qu'ils veulent trouver. C'est ce qu'on appelle les « degrés de liberté du chercheur ».
Le nouveau problème de l'IA : Les agents d'IA peuvent désormais parcourir cette forêt incroyablement vite. Ils peuvent essayer des milliers de chemins en quelques minutes. L'article montre que si vous dites à une IA : « Tu crois que l'immigration nuit à l'économie », elle errera naturellement vers les chemins qui mènent à cette conclusion. Si vous dites à une autre IA : « Tu crois que l'immigration aide l'économie », elle errera vers les chemins opposés.
La partie effrayante : Les deux IA font de la « bonne » science. Elles ne mentent pas et ne violent pas les règles. Elles choisissent simplement différentes routes valides à travers la forêt pour atteindre leur destination.

2. L'expérience : Le « Miroir Idéologique »

Les chercheurs ont testé cela sur quatre grandes questions :

L'immigration affecte-t-elle l'aide sociale ?
Le café affecte-t-il la santé ?
Les réseaux sociaux nuisent-ils à la santé mentale des adolescents ?
Les bactéries intestinales affectent-elles le poids ?

Ils ont donné aux agents d'IA des « personas » différents (comme donner un biais politique ou scientifique spécifique) et leur ont demandé d'analyser les mêmes données.

Le résultat : Les agents d'IA « Pro-Immigration » ont systématiquement trouvé des effets positifs, tandis que les agents « Anti-Immigration » ont trouvé des effets négatifs.
La comparaison humaine : Dans une célèbre étude réelle, 42 équipes humaines ont analysé les mêmes données sur l'immigration et ont présenté un « écart » dans leurs conclusions. Les agents d'IA ont reproduit 72 % de cet écart humain.
La vitesse : Un agent d'IA pouvait réaliser l'intégralité de cette analyse en environ 15 minutes pour environ 1,68 $.

3. Le piège du « Contrôle Qualité »

Vous pourriez penser : « Eh bien, l'IA biaisée doit faire de mauvais calculs. »

La surprise : Les chercheurs ont demandé à d'autres IA et à des experts humains (des statisticiens titulaires d'un doctorat) de réviser les rapports.
Le verdict : 86 % des rapports de l'IA ont passé la révision. 78 % ont passé la révision par les experts humains.
La leçon : Les agents d'IA sont parvenus à des conclusions opposées en utilisant des méthodes que les experts considéraient comme irréprochables. Le problème n'était pas que les mathématiques étaient fausses ; le problème était que l'IA (comme l'humain) explorait sélectivement la forêt pour trouver le chemin qui correspondait à sa « croyance ».

4. Comment l'IA procède : Exploration vs Sélection

L'article explique comment l'IA arrive à la mauvaise (ou bonne) conclusion :

Exploration : L'IA commence à marcher. Si c'est un « croyant », elle erre naturellement vers les chemins qui semblent prometteurs pour sa croyance. Si c'est un « sceptique », elle erre ailleurs.
Sélection : Après avoir parcouru de nombreux chemins, l'IA choisit celui qui correspond le mieux à son histoire pour rédiger le rapport final.

Analogie : Imaginez un chef qui veut préparer un plat épicé. Il goûte 100 soupes différentes. Il prête naturellement plus d'attention aux soupes épicées, les ajuste pour qu'elles soient plus épicées, et finalement sert la plus épicée. Un chef « non-épicé » suivrait exactement le même processus mais finirait par servir une soupe fade. Les deux chefs ont suivi les règles de la cuisine parfaitement.

5. La solution : La « valeur m » et le « Bootstrap Agentique »

Puisque nous ne pouvons plus faire confiance à un seul rapport (car l'IA aurait pu facilement choisir un autre chemin), les auteurs proposent une nouvelle façon de juger la science.

L'ancienne méthode (valeur p) : « Si nous répétions cette expérience 1 000 fois avec la même recette, combien de fois obtiendrions-nous ce résultat ? » (Cela vérifie la chance liée aux données).
La nouvelle méthode (valeur m) : « Si nous essayions 1 000 recettes différentes sur ces mêmes données, combien de fois obtiendrions-nous ce résultat ? » (Cela vérifie la chance liée aux choix effectués).

Le Bootstrap Agentique est l'outil qu'ils ont construit pour faire cela. Il utilise des agents d'IA pour simuler des milliers de scénarios de type « et si » (différents chemins à travers la forêt) et crée une carte de toutes les conclusions valides possibles.

Si le résultat d'un chercheur se trouve au milieu de la carte, il est robuste.
Si le résultat d'un chercheur se trouve à l'extrémité de la carte (la « queue »), cela signifie qu'il a probablement choisi un chemin très spécifique pour obtenir ce résultat.

Le constat : Lorsqu'ils ont appliqué cela à l'étude humaine sur l'immigration, ils ont découvert que 13,5 % des rapports humains se trouvaient dans les 5 % de résultats les plus extrêmes. Cela suggère que de nombreux résultats humains sont « extrêmes » non pas parce que les données sont si fortes, mais parce que les chercheurs (ou leurs assistants IA) ont sélectionné le chemin qui menait précisément là.

Résumé

L'article soutient que l'IA rend facile et peu coûteux le fait de « choisir les cerises » (cherry-picking) pour présenter la meilleure histoire scientifique possible parmi des millions d'options valides dans une forêt. La solution n'est pas d'arrêter d'utiliser l'IA, mais d'utiliser l'IA pour cartographier toute la forêt d'abord. Avant de faire confiance à une affirmation scientifique, nous devrions demander : « Ce résultat est-il un chemin typique à travers la forêt, ou quelqu'un a-t-il simplement choisi le seul chemin qui menait à la conclusion qu'il voulait ? » La valeur m est la nouvelle règle utilisée pour mesurer cela.

Résumé technique : Le jardin d'agentique des chemins de bifurcation

Énoncé du problème
La recherche empirique admet rarement un chemin d'analyse unique. Les chercheurs sont confrontés à de nombreux « degrés de liberté » concernant l'opérationnalisation des variables, la sélection des échantillons, l'ajustement des covariables et la spécification des modèles. Lorsque ces choix sont exercés pour atteindre des résultats significatifs ou attendus — que ce soit par un p-hacking délibéré ou par le « jardin de chemins de bifurcation » inconscient — ils gonflent les taux de faux positifs. Les croyances préalables façonnent souvent les chemins analytiques explorés et les résultats rapportés, menant à des conclusions divergentes à partir d'un même ensemble de données.

L'avènement des agents IA (spécifiquement les agents de codage basés sur les modèles de langage étendus/LLM) amplifie ce défi. Contrairement aux analystes humains, les agents IA peuvent générer et évaluer rapidement un nombre immense d'analyses plausibles à faible coût. Cela crée un risque où l'analyse assistée par l'IA facilite la recherche, au sein d'un vaste espace de spécifications méthodologiquement défendables, d'une conclusion qui soutient une affirmation préférentielle. Crucialement, ce rapport sélectif est difficile à détecter à partir des rapports finaux seuls, car l'analyse sélectionnée peut paraître statistiquement valide et méthodologiquement saine de manière isolée.

Méthodologie
Les auteurs utilisent des agents IA comme système expérimental pour étudier comment les croyances préalives biaisent l'analyse de données empiriques et pour développer des méthodes de quantification de l'incertitude qui en résulte.

Expériences d'agents avec personas assignés :
- Configuration : L'étude couvre quatre domaines à enjeux élevés (sciences politiques, santé publique, psychologie et biologie) en utilisant des ensembles de données réels (ISSP, NHANES, YRBS, American Gut Project).
- Procédure : Pour chaque question, des « personas » opposés (ex: pro-immigration vs anti-immigration, croyant vs sceptique) ont été assignés à des agents IA indépendants via des prompts de système. Ces prompts stipulaient une croyance substantielle mais instruisaient explicitement les agents d'« analyser rigoureusement » sans fabriquer de preuves ni pratiquer le p-hacking.
- Processus : Chaque agent a mené 10 cycles d'exploration séquentiels, générant 10 modèles candidats par cycle (100 au total). Les agents ont conservé l'historique complet pour affiner les analyses suivantes. Enfin, chaque agent a sélectionné une spécification comme rapport final.
- Révision : Un agent réviseur distinct (et un sous-ensemble d'experts humains de niveau doctorat) a évalué les rapports pour détecter les erreurs méthodologiques majeures. Seules les analyses ayant passé cette révision ont été incluses dans les résultats primaires.
Courbe de spécification agentique :
- Pour cartographier le paysage des analyses valides, les auteurs ont regroupé toutes les spécifications candidates générées par les personas opposés et neutres à travers tous les cycles.
- Après contrôle qualité et révision méthodologique indépendante, des milliers de spécifications (ex: 4 392 pour la question de l'immigration) ont été conservées.
- Celles-ci ont été triées par taille d'effet afin de visualiser la distribution des conclusions possibles à partir des mêmes données sans erreur majeure.
Bootstrap agentique et la valeur m :
- Concept : Les auteurs introduisent la valeur m (valeur de multiverse) pour traiter l'« incertitude de l'espace d'analyse », distincte de l'« incertitude d'échantillonnage » (traitée par les valeurs p).
- Définition : La valeur m est la probabilité qu'un chemin d'analyse, tiré d'une distribution d'analyses méthodologiquement défendables ( $\Pi$ ), produise un résultat au moins aussi extrême que l'affirmation rapportée.
- Estimation : Le Bootstrap agentique estime cette distribution en utilisant des agents IA instrumentés pour échantillonner, journaliser et évaluer systématiquement des chemins d'analyse plausibles. La valeur m est calculée comme la probabilité de queue de la distribution de l'affirmation rapportée au sein de cette distribution empirique.

Résultats clés

Replication des écarts idéologiques humains : Les agents IA assignés à des personas opposés ont reproduit l'écart idéologique observé chez les chercheurs humains. Pour la question de l'immigration et de l'aide sociale, les personas opposés ont produit un écart moyen d'estimation d'effet de 0,020, soit 72 % de l'écart observé parmi 42 équipes de recherche humaines. Cette divergence persistait même sur des données de permutation-nulle, indiquant qu'elle provenait des choix analytiques plutôt que du signal des données.
Validité méthodologique des conclusions divergentes : Malgré l'obtention de conclusions opposées, 86 % des rapports d'agents ont passé la révision par l'IA et 78 % ont passé la révision par une majorité d'experts humains. Cela confirme que la divergence provient d'analyses méthodologiquement saines, et non de celles qui sont erronées.
Mécanismes de biais : Le biais de persona est intervenu à deux étapes :
1. Exploration : Les personas opposés ont exploré progressivement des régions différentes de l'espace de recherche analytique (ex: les agents pro-immigration privilégiaient les flux migratoires ; les agents anti-immigration privilégiaient les stocks).
2. Sélection : Les agents ont privilégié la sélection de rapports finaux alignés avec leurs croyances assignées à partir de l'ensemble des spécifications explorées.
Prédictibilité des conclusions : Le signe d'une conclusion rapportée était hautement prédictible (AUC = 0,92) en se basant uniquement sur la combinaison des choix analytiques (résultat, exposition, covariables, etc.), démontrant que le rapport sélectif peut cibler des conclusions spécifiques.
Quantification du rapport sélectif (valeur m) : Appliqué aux rapports humains de l'étude sur l'immigration, le Bootstrap agentique a révélé que les analyses humaines n'étaient pas des tirages typiques de la distribution plus large des analyses défendables.
- 13,5 % des rapports humains se situaient dans les 5 % les plus extrêmes de l'espace d'analyse ( $m < 0,05$ ).
- Parmi les découvertes humaines statistiquement significatives ( $p < 0,05$ ), 40 % avaient un $m < 0,05$ , un taux 2,4 fois plus élevé que prévu sous une sélection aléatoire de l'espace d'analyse.
- L'intervalle de Bootstrap agentique à 95 % pour la question de l'immigration était 2,8 fois plus large que l'intervalle de confiance moyen à 95 % d'une analyse unique, indiquant que l'incertitude liée au choix de l'analyse excède substantiellement l'incertitude d'échantillonnage.

Signification et revendications
L'article soutient que le défi central de la science empirique n'est pas nécessairement la production d'analyses erronées, mais l'exploration et le rapport sélectifs à partir d'un vaste espace d'analyses méthodologiquement défendables. Les agents IA amplifient substantiellement ce risque en rendant cette exploration peu coûteuse et scalable.

Les auteurs affirment que la preuve scientifique doit être évaluée non seulement par la validité d'une analyse rapportée isolée, mais aussi par sa position au sein de la distribution des analyses qui auraient pu raisonnablement être rapportées. La valeur m et le Bootstrap agentique fournissent un nouveau critère de crédibilité scientifique :

Ils rendent observable la « distribution cachée » des analyses plausibles.
Ils permettent aux chercheurs de distinguer les signaux robustes (typiques de l'espace d'analyse) des découvertes fragiles (outliers extrêmes dans l'espace d'analyse).
Ils offrent une alternative pratique et scalable aux études humaines à multiples analystes pour auditer la robustesse des affirmations empiriques.

Ce travail suggère qu'à mesure que l'analyse empirique devient moins coûteuse et plus scalable, la communauté scientifique doit déplacer son attention de la validation de modèles isolés vers le test de résistance de l'ensemble de l'espace d'analyse, afin de garantir que les conclusions rapportées ne sont pas de simples artefacts d'une sélection de chemin.