Automated reproducibility assessments in the social and behavioral sciences using large language models

Résumé technique : Évaluations automatisées de la reproductibilité dans les sciences sociales et comportementales à l'aide de modèles de langage de grande taille (LLM)

Énoncé du problème
La reproductibilité dans les sciences sociales et comportementales est traditionnellement évaluée par des chercheurs indépendants qui réanalysent manuellement les données originales pour vérifier si les résultats publiés peuvent être récupérés. Bien qu'essentiel, ce processus est gourmand en ressources, difficile à mettre à l'échelle et souvent limité à des efforts de petite envergure (par exemple, la collaboration Multi100 impliquant 507 analystes sur plusieurs années). La reconstruction manuelle des flux de travail empiriques — nécessitant l'inspection des données, l'identification des variables, la traduction du code et l'exécution — crée un goulot d'étranglement pour l'audit systématique de la littérature. Bien que les modèles de langage de grande taille (LLM) aient démontré de fortes capacités de codage, il reste inconnu s'ils peuvent réaliser de manière fiable des évaluations de reproductibilité computationnelle de bout en bout, interpréter les décisions analytiques à partir des documents d'étude, et éviter les erreurs ou les hypothèses non fondées.

Méthodologie
Les auteurs ont développé un pipeline d'agent LLM pour automatiser les évaluations de reproductibilité à travers un corpus de $N=180$ études empiriques publiées issues du projet SCORE (Systematizing Confidence in Open Research and Evidence), couvrant la psychologie, la science politique et l'économie.

• Données et entrées : Le pipeline a utilisé des affirmations empiriques prédéfinies, les jeux de données originaux des études (ou des données de réplication lorsque les données originales n'étaient pas disponibles) et le texte de l'article. Le texte a été converti de PDF en Markdown via Mistral OCR pour préserver la mise en page, les équations et les tableaux.
• Flux de travail agentique : L'agent LLM avait pour tâche d'écrire et d'exécuter de manière indépendante du code statistique dans un bac à sable (sandbox) isolé afin d'estimer la taille de l'effet liée à l'affirmation centrale. L'agent a reçu l'instruction explicite de ne pas copier les statistiques rapportées dans l'article, mais de les calculer à partir des données fournies.
• Design expérimental :
  • Exécutions : Chaque étude a fait l'objet de cinq exécutions indépendantes pour évaluer la variabilité.
  • Modèles : L'analyse principale a utilisé Claude Opus 4.7. La robustesse a été testée en utilisant GPT-5.5 et le modèle à poids ouverts GLM-5.1.
  • Contextes d'information : Pour tester la sensibilité aux détails méthodologiques, le pipeline a été exécuté sous trois conditions : (1) texte intégral de l'article, (2) article complet avec la section méthodes supprimée, et (3) résumé uniquement.
  • Cadrage des prompts : Des analyses de sensibilité ont comparé des prompts neutres à des cadrages « confirmatifs » (favorables) et « critiques » (sceptiques).
• Métriques d'évaluation :
  • Récupération de la taille de l'effet : La taille moyenne de l'effet générée par le LLM ($\bar{d}_{LLM}$) a été comparée à la taille de l'effet originale publiée ($d_{original}$) en utilisant le $d$ de Cohen. La récupération était définie comme tombant dans des zones de tolérance strictes ($\pm 0,05$) et larges ($\pm 0,20$).
  • Conclusion qualitative : La conclusion du LLM (support/opposée/inconclusive) a été comparée à la conclusion de l'étude originale.
  • Référence humaine : Pour un sous-ensemble de $N=84$ études, les résultats du LLM ont été comparés à un effort de réanalyse humaine à grande échelle [2].
• Prétraitement : Les études ont été exclues si le LLM ne produisait pas un $d$ de Cohen valide lors de l'une des cinq exécutions (11 études exclues, laissant $N=169$). Les valeurs aberrantes présentant des tailles d'effet implausibles (par exemple, dues à des erreurs de conversion) ont été examinées et filtrées manuellement.

Résultats clés

• Reproductibilité globale (RQ1) : À travers les 169 études valides, le pipeline LLM a atteint la même conclusion qualitative que l'étude originale dans 80 % des cas. Il a récupéré la taille de l'effet originale dans la tolérance stricte de $\pm 0,05$ dans 24 % des études et dans la tolérance large de $\pm 0,20$ dans 50 % des études. La reproductibilité était plus élevée lorsque les données sources originales étaient disponibles par rapport à l'utilisation de données de réplication.
• Comparaison avec les réanalystes humains (RQ2) : Dans le sous-ensemble avec des références humaines ($N=82$), le LLM a concordé avec la conclusion qualitative originale dans 95 % des cas (contre 83 % pour les humains). Le LLM a récupéré la taille de l'effet originale dans la tolérance stricte dans 40 % des cas, ce qui est assez proche des réanalystes humains (28 %). Cependant, les tailles d'effet du LLM corrélaient plus fortement avec les résultats publiés originaux ($r=0,46$) qu'avec les résultats de la réanalyse humaine ($r=0,11$), suggérant que le LLM suivait un chemin analytique plus étroit, ancré dans l'article, plutôt que d'explorer tout l'espace des spécifications défendables que les humains pourraient explorer.
• Sensibilité au contexte d'information (RQ3) : Les taux de reproductibilité ne différaient pas de manière significative selon les contextes d'information. Que le modèle reçoive l'article complet, l'article sans la méthode, ou seulement le résumé, le taux de récupération dans la tolérance stricte est resté stable (24 %, 24 % et 22 %, respectivement).
• Robustesse : Les résultats ont été cohérents à travers les trois modèles testés (Claude Opus 4.7, GPT-5.5, GLM-5.1) et n'ont pas été significativement affectés par le cadrage des prompts (confirmatif vs critique).

Signification et affirmations
L'article affirme que les LLM peuvent servir d'outil de filtrage évolutif pour les évaluations de reproductibilité, mais déclare explicitement qu'ils ne sont pas encore un substitut au jugement d'expert.

• Évolutivité : Les conclusions démontrent que les LLM peuvent automatiser la tâche de réanalyse intensive en calcul, permettant potentiellement des audits systématiques des résultats empiriques qui sont actuellement trop coûteux à réaliser manuellement.
• Rôle dans le flux de travail scientifique : Les auteurs positionnent les LLM comme un contrôle de « premier passage » pour les revues et les méta-scientifiques afin d'identifier si les résultats rapportés peuvent être récupérés à partir des données disponibles. Cela pourrait s'intégrer dans les processus de contrôle de qualité lors de la soumission ou post-publication.
• Limites et mises en garde : Les auteurs soulignent que la réanalyse par LLM est une capacité émergente. Ils notent que certaines exécutions ne produisent aucun résultat viable et que les modèles peuvent ne pas capturer toute la gamme des choix analytiques défendables (le « multivers » de l'analyse) que les analystes humains explorent. De plus, l'étude met en garde contre les incitations de type « Goodhart » où les auteurs pourraient optimiser leurs travaux pour passer les écrans automatisés plutôt que pour garantir une science robuste, et avertit que les vérifications automatisées ne remplacent pas la nécessité d'une réplication avec de nouvelles données collectées.
• Généralisabilité : L'utilisation d'un modèle à poids ouverts (GLM-5.1) aux côtés de modèles propriétaires suggère que la réanalyse automatisée n'est pas limitée aux systèmes fermés.

En résumé, l'étude fournit des preuves empiriques que les LLM de pointe peuvent reproduire une part substantielle des découvertes publiées dans les sciences sociales, offrant un instrument prometteur et évolutif pour améliorer la rigueur de la recherche empirique, tout en reconnaissant les limites actuelles en matière de fiabilité et la nécessité d'une supervision humaine.