Résumé technique : Atténuer le p-hacking basé sur les LLM par la pré-enregistrement pour le prochain LLM

Problématique

Les grands modèles de langage (LLM) sont de plus en plus utilisés pour générer, classer et annoter des données qui alimentent des tests d'hypothèses en aval. Cependant, cette dépendance introduit une vulnérabilité grave au p-hacking. Contrairement à la recherche traditionnelle où la collecte de données est une phase distincte, la recherche basée sur les LLM permet aux chercheurs d'ajuster de manière itérative les prompts, les paramètres de décodage (ex: température, top-p) et les formats de sortie jusqu'à l'obtention de la signification statistique souhaitée. Parce que les LLM sont toujours accessibles, les chercheurs peuvent inspecter et réviser les analyses de façon répétée, fabriquant ainsi artificiellement de la signification même lorsqu'aucun effet réel n'existe.

Ce problème est exacerbé par l'essor des scientifiques IA autonomes, capables de mener des recherches de bout en bout et de pratiquer le p-hacking sans direction humaine. La pré-enregistrement traditionnel, qui engage les chercheurs sur des hypothèses et des plans d'analyse avant la collecte de données, échoue dans ce contexte car les « données » (les sorties des LLM) peuvent être générées et manipulées immédiatement après l'engagement. Le défi central est que les garde-fous existants ne se transfèrent pas aux LLM, car la flexibilité qui rend les LLM puissants les rend aussi facilement détournables.

Méthodologie : Le protocole proposé

Les auteurs proposent un protocole pour atténuer le p-hacking en exploitant deux observations clés :

1. Non-transférabilité : Un prompt ou une configuration de décodage qui force un LLM à produire une étiquette souhaitée échoue souvent à le faire sur un modèle différent.
2. Engagement temporel : Les chercheurs peuvent s'engager sur un plan d'analyse avant que le modèle de confirmation n'existe.

Le protocole se compose de quatre étapes :

1. Finaliser la procédure : Le chercheur réalise des expériences pilotes en utilisant les modèles actuellement disponibles pour déterminer les procédures expérimentales, les critères d'évaluation et les plans d'analyse.
2. Pré-enregistrer la procédure : Le chercheur pré-enregistre les procédures finalisées et le plan d'analyse.
3. Pré-enregistrer les modèles éligibles : Le chercheur pré-enregistre un ensemble large de futurs modèles éligibles (ex: familles spécifiques de plusieurs fournisseurs) et définit des critères d'inclusion/exclusion précis (ex: prix par token, scores de benchmark) pour déterminer quel futur modèle qualifie.
4. Évaluer sur le prochain modèle éligible : Une fois le prochain LLM éligible publié, le chercheur réalise l'analyse de confirmation en utilisant la procédure pré-enregistrée sur ce nouveau modèle.

Crucialement, le modèle de confirmation n'existe pas au moment de l'engagement, empêchant le chercheur de hacker contre lui. Le protocole inclut un modèle détaillé de pré-enregistrement (ex: sur AsPredicted) qui spécifie les prompts, les paramètres de décodage, les règles de validité de la sortie et la logique de sélection du modèle de confirmation.

Conception de l'évaluation

Les auteurs ont évalué le protocole à l'aide de deux tâches où l'effet réel est connu pour être nul (par construction), permettant ainsi d'identifier un p-hacking réussi :

• Classification de critiques : Estimer la proportion de texte généré par IA dans un corpus de critiques de pairs de 2020 (prévalence réelle : 0 %).
• Comparaison diététique : Estimer si le second de deux journaux alimentaires consécutifs contient moins de calories que le premier (taux réel : 50 %).

Configuration expérimentale :

• Modèles : 20 modèles provenant de quatre fournisseurs (OpenAI, Anthropic, Google, xAI).
• Configurations : 11 configurations distinctes variant la structure du prompt, le cadrage des instructions, le traitement par lots (batching) et les paramètres de décodage.
• Phases :
  • Rétrospective : Évaluation de 14 modèles publiés avant la date de pré-enregistrement (25 mars 2026).
  • Pré-enregistrement : Les auteurs ont pré-enregistré le protocole complet, les jeux de données et les 11 configurations.
  • Prospective : Évaluation du premier modèle éligible publié après le pré-enregistrement (Grok 4.20) et de cinq modèles suivants.

Métriques :

• Taux d'atténuation : La fraction des cas où une configuration a réussi à p-hacker un modèle mais a échoué à p-hacker le prochain modèle publié sous la même configuration.
• Puissance de détection : La capacité du protocole à détecter de vrais effets (testé en injectant des tailles d'effet connues dans la tâche diététique) par rapport à une ligne de base de re-mesure avec le même modèle.

Résultats clés

• Efficacité de l'atténuation :
  • Dans la tâche de Classification de critiques, le protocole aurait bloqué le transfert du p-hacking dans 73,9 % des cas (17 sur 23 hacks réussis).
  • Dans la tâche de Comparaison diététique, le protocole a bloqué le transfert dans 72,7 % des cas (32 sur 44 hacks réussis).
  • Dans la propre expérience prospective des auteurs, 6 des 7 configurations qui ont hacké le modèle pré-pré-enregistrement ont échoué à hacker le premier modèle éligible post-pré-enregistrement (85,7 % d'atténuation).
• Robustesse à la stratégie :
  • Même lorsqu'un adversaire choisit stratégiquement la configuration à pré-enregistrer (ex: choisir la configuration ayant le taux d'étiquette cible le plus élevé sur le modèle actuel ou celle la plus fréquemment hackée par le passé), le taux d'atténuation est resté supérieur à 60 %.
  • Restreindre l'ensemble éligible à un seul fournisseur (ex: uniquement OpenAI ou uniquement Anthropic) a tout de même produit un taux d'atténuation d'au moins 50 %, bien que les résultats soient hétérogènes en raison de tailles d'échantillons plus réduites.
• Puissance de détection : Le protocole conserve la capacité de détecter des effets réels. Le taux de détection des effets réels utilisant le modèle suivant était comparable à une re-mesure avec le même modèle, indiquant qu'il n'y a pas de perte significative de puissance statistique.
• Coût temporel : Le temps d'attente médian pour la publication du prochain modèle éligible dans l'étude était d'environ 10,3 jours, avec une moyenne de 14,5 jours.

Signification et affirmations

L'article affirme que pré-enregistrer pour le prochain LLM est un mécanisme viable et efficace pour sauvegarder la crédibilité de la recherche basée sur les LLM. En s'engageant sur une procédure et un ensemble de futurs modèles éligibles avant que le modèle de confirmation ne soit publié, les chercheurs suppriment la possibilité de chercher de manière itérative des configurations produisant les résultats souhaités.

Les affirmations clés incluent :

• Faisabilité : Le protocole est pratique, ne nécessitant qu'une courte attente (médiane ~10 jours) et utilisant les plateformes de pré-enregistrement existantes.
• Généralisabilité : L'approche fonctionne à travers différents fournisseurs de modèles et est robuste, même si les chercheurs tentent de manipuler le système en sélectionnant des configurations ou des fournisseurs spécifiques.
• Confiance : Le protocole fait passer la recherche basée sur les LLM d'une recherche ouverte sur des « chemins de bifurcation » à un engagement transparent, fournissant un signal vérifiable que les résultats n'ont pas été recherchés.
• IA Autonome : Le protocole est particulièrement pertinent pour les scientifiques IA autonomes, qui peuvent être intégrés dans des cadres de recherche pour s'engager automatiquement sur des procédures avant que les modèles de confirmation ne soient disponibles.

Les auteurs reconnaissent les limites, notant que le protocole réduit mais n'élimine pas le p-hacking, car certaines configurations peuvent se propager d'un modèle à l'autre. De plus, l'évaluation s'est concentrée sur des tâches de classification binaire ; des travaux futurs sont nécessaires pour évaluer l'efficacité sur l'étiquetage multiclasse, la génération de texte libre et les sorties de type régression. L'article conclut que, bien que l'approche nécessite un léger délai, elle offre une alternative démontrable et digne de confiance pour la recherche s'appuyant sur des données générées par LLM.