Dead Science Walking: Publication Bias and the AI Scientist Pipeline

Résumé technique : La science morte en marche : Biais de publication et pipeline de l'IA scientifique

Énoncé du problème
L'article soutient que les systèmes de scientifiques d'IA — des agents autonomes capables de générer des hypothèses, d'exécuter du code, de lancer des simulations et de rédiger des articles — risquent d'hériter et d'amplifier le « fossé des résultats nuls » inhérent à la littérature scientifique. Alors que la science humaine possède des mécanismes de correction lents (par exemple, les échecs de réplication, les désaccords entre pairs, les rétractations) qui opèrent sur des mois ou des décennies, les systèmes d'IA peuvent générer et évaluer des milliers d'hypothèses avant que de telles corrections ne soient effectives.

Le problème central est la défaillance du corpus : les systèmes d'IA sont entraînés sur et extraient de la littérature qui surreprésente systématiquement les résultats positifs et sous-représente les résultats nuls, les échecs de réplication et les travaux rétractés. Cela crée un a priori déformé où le corpus accessible suggère que les hypothèses sont plus fructueuses que la réalité empirique ne le justifie. L'article postule que sans une gouvernance spécifique, les scientifiques d'IA ne se contenteront pas d'accélérer la découverte, mais accéléreront la propagation de ces angles morts, créant potentiellement une nouvelle couche de littérature moins fiable qu'elle n'en a l'air.

Méthodologie et formalisation
Les auteurs formalisent la distorsion et son amplification à travers trois mécanismes principaux :

1. Le fossé des résultats nuls ($\Delta$) :
   Défini comme la différence entre la probabilité qu'une hypothèse soit présentée comme positive dans le corpus et la probabilité qu'elle soit empiriquement vraie (ou qu'elle se réplique avec succès).
   $$\Delta = \Pr[C(h) = 1 \mid h \in L] - \Pr[h \in T \mid h \in L]$$
   Où $L$ est la littérature publiée, $T$ est l'ensemble des hypothèses vraies, et $C(h)$ est l'événement où le corpus présente $h$ comme positive.

   • Estimations empiriques : L'article estime $\Delta$ dans trois domaines basés sur la littérature existante sur la réplication :
     • Découverte de médicaments : $\Delta \approx 0,60$
     • Psychologie : $\Delta \approx 0,56$
     • Biologie du cancer : $\Delta \approx 0,35$

2. L'indice d'amplification ($A_\Delta$) :
   L'article introduit un indice pour modéliser la façon dont le pipeline de l'IA cumule l'écart brut. Il définit trois multiplicateurs de biais ($\alpha_1, \alpha_2, \alpha_3 \ge 1$) correspondant aux étapes de récupération, de génération et d'évaluation :
   $$A_\Delta = \alpha_1 \cdot \alpha_2 \cdot \alpha_3$$

   • Récupération ($\alpha_1$) : Les systèmes de récupération standards favorisent les résumés positifs par rapport aux enregistrements de résultats nuls (ancré à $\alpha_1 \approx 1,4$).
   • Génération ($\alpha_2$) : Les LLM ont tendance à synthétiser des preuves mixtes en récits cohérents et confiants, omettant potentiellement les nuances (ancré à $\alpha_2 \approx 1,3$).
   • Évaluation ($\alpha_3$) : Les juges automatisés récompensent souvent la fluidité et la nouveauté plutôt que la fiabilité de la preuve (ancré à $\alpha_3 \approx 1,2$).
   • Résultat : Un pipeline standard à trois étapes peut amplifier l'écart brut par un facteur d'environ $2,18\times$ (par exemple, transformant un écart de $0,56$ en psychologie en une distorsion effective de $\approx 1,22$). Les auteurs notent qu'il s'agit d'une estimation de premier ordre ; l'amplification réelle pourrait être plus élevée en raison de la corrélation positive entre les étapes.

3. Taxonomie des modes de défaillance :
   L'article catégorise quatre modes de défaillance de gouvernance spécifiques :

   • Redécouverte confiante : Le système propose des hypothèses connues comme étant falsifiées comme de nouvelles directions car le corpus de récupération manque de données sur les échecs de réplication.
   • Accumulation de preuves fantômes : Plusieurs systèmes d'IA se citent mutuellement leurs productions, créant un réseau de citations qui semble montrer une convergence, mais qui est en réalité une boucle de biais amont partagés.
   • Blanchiment de réplication : Des affirmations générées par l'IA sont citées par d'autres systèmes d'IA comme preuves antérieures, imitant une réplication indépendante sans contact expérimental réel.
   • Maucalibration de la confiance : Le système rapporte une confiance élevée sur des hypothèses avec peu de support empirique parce que les métriques d'évaluation ne pénalisent pas l'absence de registres de falsification.

Contributions clés et interventions proposées
L'article ne prétend pas que les systèmes actuels ont déjà réalisé tous ces échecs, mais soutient que les préconditions (corpus biaisés, récupération privilégiant le texte publié, génération fluide, boucles automatisées) sont présentes. Il propose trois interventions structurelles pour traiter la cause profonde (le substrat de preuve) plutôt que simplement l'architecture du modèle :

1. Bases de données de résultats nuls comme infrastructure d'entraînement :
   Les auteurs proposent un schéma structuré pour les résultats nuls (hypothèse, protocole, résultat, taille de l'effet, intervalle de confiance, lien de pré-enregistrement) afin qu'ils soient lisibles par machine. Cela étend la logique de ClinicalTrials.gov et des rapports pré-enregistrés à des corpus lisibles par l'IA, garantissant que les échecs de réplication soient considérés comme des preuves de premier rang.

2. Métriques d'évaluation sensibles aux rétractations :
   L'article propose un « Score sensible aux rétractations » ($R_a$) pour les benchmarks. Cette métrique pénalise les systèmes qui utilisent la littérature rétractée comme support de revendication sans contextualisation. Elle vise à aligner les incitations afin que les systèmes ignorant les rétractations ne reçoivent pas les mêmes scores que ceux qui détectent et contextualisent ces dernières.

3. Divulgation obligatoire du corpus d'entraînement :
   Les instances acceptant des travaux assistés par l'IA devraient exiger une « fiche de corpus d'entraînement » (analogue aux fiches de modèles). Cette divulgation doit détailler les sources, la couverture des résultats nuls, le filtrage des rétractations, les coupures de connaissances et si les contenus générés sont autorisés à réintégrer les corpus de récupération. Cela rend la frontière de l'évidence auditable plutôt qu'un détail d'implémentation implicite.

Signification et affirmations
La thèse centrale de l'article est que l'accélération n'est pas automatiquement un progrès épistémique. Si le registre d'entrée omet les résultats nuls, la vitesse amplifie l'omission. Les auteurs soutiennent que la réponse doit être infrastructurelle : indexer les résultats nuls, évaluer la sensibilité aux rétractations et divulguer les corpus d'entraînement.

La signification réside dans le déplacement de la question de la gouvernance d'un risque futur spéculatif vers des exigences d'infrastructure immédiates. L'article affirme que sans ces interventions, le domaine risque d'« accélérer le recyclage de ses propres erreurs non corrigées » avant d'accélérer la découverte. Les interventions proposées sont additives à l'infrastructure scientifique existante et ne nécessitent pas de restreindre le déploiement responsable de l'IA ; elles visent plutôt à rendre le substrat de preuve inspectable avant que les conclusions de l'IA ne deviennent une infrastructure scientifique réutilisable.