(Human) Attention Is (Still) All You Need: Human oversight makes AI-assisted social science reliable

Résumé Technique : La supervision humaine rend l'IA assistée par l'IA fiable en sciences sociales

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont de plus en plus délégués à des tâches traditionnellement réservées aux chercheurs formés, notamment la génération d'hypothèses, la sélection de spécifications et la rédaction de conclusions. Bien que cela représente un passage vers une automatisation au niveau du flux de travail, l'article soutient que la fiabilité d'une telle science assistée par l'IA n'est pas simplement une fonction de la capacité du modèle. Il s'agit plutôt d'un problème structurel découlant du décalage entre la nature probabiliste des LLM et la discipline déterministe requise en sciences sociales empiriques. La délégation non contrainte amplifie les modes de défaillance comportementaux connus — tels que la recherche de spécifications (specification searching), l'interprétation motivée et les affirmations causales fragiles — car les LLM peuvent explorer de vastes espaces de recherche et halluciner des références à des échelles dépassant largement les capacités humaines. Le problème central est de savoir comment structurer le travail cognitif entre les humains et les machines pour garantir des résultats dignes de confiance sans dépendre uniquement de l'alignement du modèle.

Méthodologie
Les auteurs proposent et évaluent le HLER (Human-in-the-Loop Economic Research), un système multi-agents modulaire conçu autour des principes des sciences du comportement. La méthodologie repose sur une expérience factorielle $2 \times 4$ pré-spécifiée ($N=280$ cycles de recherche complets) comparant deux configurations de pipeline à travers quatre ensembles de données distincts :

1. UK Biobank (UKB)
2. China Health and Nutrition Survey (CHNS)
3. China Health and Retirement Longitudinal Study (CHARLS)
4. CMGPD-Liaoning (un registre de population de la dynastie Qing, représentant une faible familiarité pour les LLM).

L'intervention architecturale (HLER) :
Le pipeline HLER contraint impose trois engagements architecturaux spécifiques :

1. Partitionnement de l'opérateur : Les LLM sont restreints aux tâches intensives en raisonnement et exploratoires (génération d'hypothèses, critique, interprétation). La construction des données et l'estimation statistique sont exécutées via un code déterministe (scripts R) qui émet des artefacts reproductibles.
2. Séquençage des décisions : Trois portes de décision humaines explicites interviennent avant que les résultats en aval ne soient visibles : (i) la sélection de la question de recherche, (ii) la revue de la stratégie d'identification, et (iii) la décision de publication.
3. Responsabilité : Un Orchestrateur central maintient un RunState persistant, assurant la cohérence entre les étapes et une piste d'audit.

La référence (Baseline) :
La référence non contrainte utilise le même modèle de langage sous-jacent (Claude Sonnet 4.6), la même décomposition d'agents et des invites identiques pour les agents de raisonnement. Cependant, elle manque de portes humaines et délègue la construction des données et l'estimation à du code généré par le LLM, permettant au système de progresser de manière autonome à travers toutes les étapes.

Modèle théorique
L'article modélise la production de la recherche à l'aide d'un cadre basé sur les tâches avec une qualité de sortie suivant une distribution de Fréchet. Il postule que la qualité de sortie des LLM suit une distribution de Fréchet où le paramètre d'échelle $\theta_t$ dépend de la proximité de la tâche de la distribution d'entraînement du modèle. Le modèle prédit que la supervision humaine (les portes) produit les dividendes de fiabilité les plus importants précisément lorsque les tâches sont les plus éloignées de la distribution d'entraînement (faible $\theta_t$), car la « mauvaise queue » des sorties probabilistes est plus susceptible de tomber sous le seuil de publication.

Résultats clés

• Réduction des défaillances : Le pipeline non contraint a produit des défaillances critiques dans 72 % des cycles. Lorsque le même modèle et la même décomposition d'agents étaient organisés sous les engagements architecturaux de HLER, le taux de défaillance est tombé à 16 % ($p < 0,001$, test exact de Fisher).
• Gains spécifiques aux dimensions : HLER a considérablement amélioré la faisabilité (0,37 $\to$ 0,83), la crédibilité de l'identification (0,31 $\to$ 0,65) et la cohérence des résultats (0,29 $\to$ 0,78).
• Hétérogénéité : Le gain de fiabilité était plus prononcé sur l'ensemble de données CMGPD-Liaoning (le taux de défaillance est passé de 88 % à 16 %), qui possède la plus faible prévalence de littérature et les conventions de données les plus divergentes. Cela concorde avec la prédiction théorique selon laquelle les portes humaines sont les plus précieuses pour les tâches hors distribution.
• Modes de défaillance : Les cycles non contraints ont présenté des taux nettement plus élevés de références hallucinées (21 contre 3), d'incohérences d'interprétation (18 contre 3) et de questions infaisables par rapport au bras contraint. Les défaillances de traitement de données déterministes étaient rares dans les deux bras (1 chacune), confirmant la fiabilité de l'exécution par code.
• Étude d'ablation : Une ablation de 80 cycles sur CHNS et CHARLS a suggéré que le calcul déterministe et les portes humaines contribuent indépendamment à la fiabilité, avec des preuves exploratoires de complémentarité. La suppression de ces deux caractéristiques a porté le taux de défaillance à 70 %, approchant la référence non contrainte.

Contributions et affirmations principales
L'article affirme que la fiabilité dans la recherche assistée par l'IA est une propriété de l'architecture de décision plutôt que de la simple capacité du modèle. Ses principales contributions sont :

1. Le concept de « Harnais de recherche » : HLER est conceptualisé non pas comme un chercheur IA autonome, mais comme un « harnais de recherche » qui canalise le raisonnement généré par le LLM à travers un calcul déterministe et des portes humaines explicites. Il ne garantit pas des résultats parfaits, mais réduit nettement les défaillances critiques et empêît les affirmations non fiables de progresser en tant que travaux prêts pour la publication.
2. Solutions structurelles vs techniques : Les résultats suggèrent que le cadrage par la « qualité du modèle » est incomplet. Le même modèle peut produire un taux de défaillance de 72 % ou de 16 % uniquement en fonction de la manière dont le travail cognitif est alloué. La solution réside dans la conception de systèmes comportementaux (séquençage, dispositifs d'engagement et placement des portes) plutôt que purement dans l'ingénierie du ML.
3. Pré-enregistrement architectural : Les trois portes humaines fonctionnent comme un pré-enregistrement imposé, liant les décisions aux informations disponibles avant la connaissance des résultats. Cela intègre les engagements méthodologiques dans le code, les rendant par défaut plutôt que volontaires.
4. Contention des défaillances : Le système redéfinit la fiabilité pour inclure la « contention » des sorties incorrectes. En détectant les faiblesses tôt (par exemple, les questions infaisables ou l'identification faible) et en les arrêtant aux portes humaines, le système garantit que les sorties restantes sont plus robustes.

Signification
L'article conclut que la collaboration productive humain-IA en sciences empiriques est fondamentalement un problème de conception de décision. L'objectif n'est pas de retirer l'humain de la boucle, mais de placer l'attention humaine à des points épistémiquement décisifs où elle peut le plus efficacement réduire, exposer et contenir les défaillances. Cette approche offre une voie pour passer à l'échelle la recherche assistée par l'IA tout en maintenant les normes disciplinaires requises pour des sciences sociales dignes de confiance, particulièrement dans les domaines où les données divergent des distributions d'entraînement standard des LLM.