Preregistration for Experiments with AI Agents

Résumé technique : Prérégistrement pour les expériences avec des agents d'IA

Énoncé du problème
L'article identifie une lacune méthodologique critique dans le paradigme émergent des expériences comportementales « in silico », où les modèles de langage étendu (LLM) et les agents d'IA autonomes servent de participants à des études sur la cognition, la prise de décision et la dynamique sociale. Bien que ces expériences offrent une extensibilité et une rentabilité sans précédent par rapport à la recherche sur des sujets humains, elles héritent et amplifient les « degrés de liberté du chercheur » qui ont alimenté la crise de la réplication dans les sciences sociales.

Dans la recherche humaine traditionnelle, les coûts marginaux élevés (recrutement, rémunération, temps) imposent une friction naturelle contre l'exploration exhaustive des spécifications expérimentales. En revanche, les expériences d'IA présentent un profil de risque unique : une grande flexibilité de spécification combinée à un coût marginal quasi nul. Les chercheurs peuvent itérer rapidement à travers un vaste espace combinatoire de configurations — faisant varier les familles de modèles, la formulation des prompts, les paramètres de décodage (température, top-p), les graines (seeds), les politiques de nouvel essai et les règles d'analyse. Cela crée un « jardin de chemins bifurqués » où les chercheurs, intentionnellement ou non, peuvent traverser des milliers de spécifications défendables jusqu'à ce qu'un résultat souhaité émerge. Comme ces itérations ne laissent souvent aucune trace visible dans les publications finales, le domaine risque d'accumuler une littérature où les découvertes reflètent des processus d'optimisation non divulgués plutôt que des phénomènes robustes.

Méthodologie et taxonomie
L'article ne présente pas de nouvelles données expérimentales, mais construit plutôt une taxonomie systématique des degrés de liberté du chercheur spécifiques aux expériences avec des agents d'IA. Les auteurs cartographient ces vulnérabilités sur la dynamique du « p-hacking » identifiée dans la recherche sur les sujets humains, en les catégorisant à travers l'ensemble du pipeline expérimental :

1. Sélection du modèle : Choisir parmi des dizaines de modèles ayant des capacités et des ajustements d'alignement variés.
2. Ingénierie de prompt (Prompt Engineering) : Affinement itératif des messages système, des instructions utilisateur et des exemples de quelques coups (few-shot), où de légers changements de formulation agissent comme des manipulations de traitement de haute dimension.
3. Échantillonnage et décodage : Ajustement des paramètres stochastiques (température, top-p) et des graines qui modifient le contenu des réponses et les comportements de refus.
4. Budget d'inférence : Variation des limites de tokens, du nombre de tours et des appels d'outils, ce qui peut fondamentalement changer les stratégies des agents.
5. Traitement des réponses : Décisions sur la gestion des refus, des sorties malformées ou des valeurs aberrantes (ex. : exclusion, imputation ou nouvel essai).
6. Opérationnalisation des résultats : Sélection de métriques spécifiques ou de prompts d'évaluation (incluant des juges basés sur des LLM) a posteriori.

Pour illustrer l'ampleur de ce problème, les auteurs font référence à une simulation (détaillée dans l'appendice de l'article) examinant les effets d'ancrage à travers 2 430 spécifications. La simulation a démontré qu'en sélectionnant différents chemins à travers l'espace de spécification, un chercheur pourrait conclure que les LLM présentent un ancrage fort similaire à celui des humains, aucun ancrage, ou même un ancrage inverse. Cela souligne l'« illusion de robustesse », où une découverte semble généralisable simplement parce que le chercheur a navigué dans le multivers des spécifications pour trouver un chemin favorable.

Contributions clés
La principale contribution de l'article est la proposition d'étendre le préréenregistrement — une pratique centrale pour améliorer la crédibilité de la recherche sur les sujets humains — aux expériences avec des agents d'IA. Les auteurs introduisent un modèle de préréenregistrement sur mesure conçu pour contraindre la flexibilité tout en préservant la liberté exploratoire nécessaire. Les composants clés de ce modèle incluent :

• Spécification de l'environnement de calcul : Exiger les identifiants exacts du modèle (y compris les points de contrôle de version), les paramètres de génération, les budgets d'inférence et les dates d'accès à l'API pour assurer la reproductibilité.
• Transparence des prompts : Imposer la divulgation verbatim de tout le texte des prompts (messages système et utilisateur) plutôt que des résumés, car de subtils changements de formatage impactent significativement le comportement.
• Divulgation des tests pilotes : Exiger que les chercheurs documentent l'historique des itérations de prompts, les modèles testés lors du développement et si les résultats préliminaires ont influencé les hypothèses finales. Cela traite de l'invisibilité de la recherche de spécification.
• Distinction entre confirmation et exploration : Étiqueter explicitement les analyses comme étant soit de test d'hypothèse (confirmatoires), soit de génération d'hypothèse (exploratoires). Pour les études confirmatoires, le modèle exige la pré-spécification des résultats primaires, des tests statistiques et des règles de décision.
• Protocoles de robustesse et de généralisation : Si les chercheurs ont l'intention de tester la robustesse à travers différents modèles ou variantes de prompts, ils doivent définir l'espace complet des spécifications et les règles d'agrégation à l'avance, en rapportant les résultats de l'ensemble de l'espace plutôt qu'en sélectionnant un sous-ensemble.
• Conceptions par étapes : Accueillir les conceptions adaptatives (ex. : utiliser des données pilotes pour calibrer la difficulté) en exigeant des règles de décision pré-spécifiées pour les étapes suivantes.
• Engagements de transparence : Imposer le partage des sorties brutes du modèle, des données traitées et du code d'analyse, ainsi qu'une attestation que la collecte de données n'a pas encore commencé.

Résultats et affirmations
L'article ne rapporte pas de résultats empiriques issus d'une nouvelle étude, mais synthétise les preuves issues des sciences sociales et de la littérature de l'apprentissage automatique pour plaider en faveur d'un changement de normes. Les auteurs affirment que :

1. Le risque est systémique : La combinaison d'une grande flexibilité et d'un faible coût dans les expériences d'IA crée des incitations à la recherche de spécification plus sévères que dans la recherche sur les sujets humains.
2. Les normes actuelles sont insuffisantes : Contra々に au benchmarking traditionnel de l'apprentissage automatique, qui repose sur des ensembles de tests fixes, les expériences comportementales avec des agents d'IA manquent souvent de garde-fous analogues, menant à une littérature où les découvertes rapportées peuvent être des artefacts d'optimisation non divulgués.
3. Le préréenregistrement est la solution : En exigeant un engagement préalable sur les hypothèses, les méthodes et les plans d'analyse, le préréenregistrement peut contraindre le « jardin de chemins bifurqués », distinguant les tests confirmatoires des recherches exploratoires.
4. Faisabilité : Le modèle proposé équilibre rigueur et praticité, permettant le travail exploratoire tant qu'il est clairement étiqueté et séparé des affirmations confirmatoires.

Signification
L'article soutient que la communauté de l'apprentissage automatique a une opportunité unique de « construire la crédibilité de ce paradigme de recherche dès le départ » plutôt que de tenter de greffer des garde-fous après coup, comme l'ont fait les sciences sociales. En institutionnalisant le préréenregistrement, le domaine peut garantir que les découvertes concernant le comportement de l'IA — tels que les biais, les schémas de raisonnement et les propriétés d'alignement — sont robustes et dignes de confiance. Cela est particulièrement crucial à mesure que les agents d'IA assument des rôles autonomes dans des domaines à enjeux élevés (ex. : négociation, gestion d'infrastructures), où la compréhension de leur comportement est une priorité de recherche en soi. Les auteurs appellent les conférences, les revues et les organismes de financement à faire du préréenregistrement une pratique standard, transformant ainsi le processus de recherche d'un voyage opaque à travers un multivers de spécifications en une science cumulative et lisible.