Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

Dans les sciences sociales, les chercheurs s'appuient depuis longtemps sur un processus lent et minutieux pour comprendre la communication humaine. Ils lisent des milliers de documents — articles de journaux, discours politiques ou commentaires sur les réseaux sociaux — et les classent en catégories basées sur ce que le texte dit. C'est ce qu'on appelle l'analyse de contenu. Pendant des décennies, la méthode la plus fiable a consisté à embaucher des lecteurs humains pour effectuer ce tri. Les humains sont flexibles et peuvent comprendre la nuance, mais ils sont aussi lents, coûteux et limités par le nombre d'heures qu'ils peuvent travailler. Ces dernières années, de puissants programmes informatiques connus sous le nom de modèles de langage étendus ont émergé. Ces programmes peuvent lire et écrire le langage humain avec une compétence remarquable, offrant la promesse d'automatiser ce processus de tri. Cependant, le simple fait de demander à un ordinateur de lire un texte et de le catégoriser conduit souvent à des résultats incohérents. L'ordinateur peut donner une réponse différente au même texte s'il est interrogé deux fois, ou il peut mal comprendre les règles spécifiques qu'un chercheur a en tête. Le défi central a été de traduire les règles méticuleuses élaborées par l'humain d'une étude en instructions qu'un ordinateur peut suivre de manière fiable, sans perdre la précision fournie par les experts humains.

Une équipe de chercheurs de l'Université de Hohenheim a développé une nouvelle méthode pour résoudre ce problème, qu'ils appellent HALC. Leur objectif était de créer un pipeline étape par étape qui permet aux scientifiques d'utiliser ces puissants modèles informatiques pour coder des données de manière systématique et transparente, plutôt que de s'appuyer sur des suppositions. Les chercheurs ont commencé par reconnaître que, bien que ces modèles informatiques soient impressionnants, ils ne sont pas parfaits. Ils peuvent être imprévisibles et leurs performances changent selon la manière dont on leur demande d'accomplir une tâche. Pour construire un système fiable, l'équipe a d'abord mené une large étude préliminaire. Ils ont pris un ensemble de commentaires sur les mouvements climatiques et ont demandé aux modèles informatiques de les lire de manière répétée. Ils ont testé des centaines de façons différentes de formuler les instructions, ou « prompts », pour voir lesquelles produisaient les résultats les plus cohérents et les plus précis. Ils ont découvert que demander à l'ordinateur de lire le même texte cinq fois et de prendre ensuite la réponse la plus commune stabilisait considérablement les résultats. Ils ont également constaté que la qualité des données humaines initiales utilisées pour enseigner à l'ordinateur comptait énormément ; si la vérité de terrain humaine était fragile, les résultats de l'ordinateur l'étaient aussi. Plus important encore, ils ont appris que les meilleures instructions n'étaient ni courtes ni vagues. Les prompts les plus réussis étaient détaillés, demandant à l'ordinateur d'expliquer son raisonnement étape par étape et de justifier sa décision finale, tout comme un codeur humain réfléchirait à un problème avant d'écrire une réponse.

S'appuyant sur ces découvertes, les chercheurs ont formalisé le pipeline HALC. Ce processus commence par un codebook standard créé par l'humain, qui contient les définitions et les règles pour un projet de recherche spécifique. Au lieu de réinventer la roue pour l'ordinateur, les chercheurs traduisent ces règles humaines directement en un prompt structuré. Ils testent ensuite ce prompt sur un petit échantillon de données, en comparant la production de l'ordinateur avec le codage humain original. Si l'ordinateur ne respecte pas les normes de fiabilité humaine, les chercheurs ne se contentent pas de deviner une nouvelle instruction. Au lieu de cela, ils suivent un processus rigoureux, basé sur des règles, pour affiner le prompt, par exemple en ajoutant des exemples plus spécifiques ou en clarifiant une définition, puis le testent à nouveau. Ce cycle se poursuit jusqu'à ce que l'ordinateur atteigne un niveau d'accord avec les codeurs humains considéré comme scientifiquement acceptable. Ce n'est qu'alors qu'ils utilisent l'ordinateur pour traiter l'ensemble du jeu de données. Cette approche traite l'ordinateur non pas comme une boîte magique qui fonctionne de manière autonome, mais comme un outil qui doit être soigneusement calibré par rapport au jugement humain.

Pour prouver que ce système fonctionne dans le monde réel, l'équipe a appliqué le pipeline HALC à deux types de données complètement différents. Le premier était une collection massive de manifestes de partis politiques de cinq pays différents, écrits en anglais, allemand et espagnol. La tâche consistait à identifier quelles phrases discutaient de l'immigration et si elles se concentraient sur le contrôle des frontières ou sur l'intégration des personnes déjà vivant dans le pays. Le second ensemble de données consistait en des rapports annuels de trente grandes entreprises allemandes, où l'objectif était de déterminer le ton de l'écriture — si elle était positive, négative ou neutre. Dans les deux cas, les chercheurs ont utilisé les mêmes instructions en langue anglaise pour l'ordinateur, s'appuyant sur la capacité du modèle à comprendre différentes langues sans avoir besoin d'un prompt séparé pour chacune d'elles. Les résultats ont été encourageants. Pour les textes politiques, l'ordinateur a atteint des scores de fiabilité très proches des codeurs humains originaux, naviguant avec succès entre différentes langues et contextes politiques. Pour les rapports d'entreprises, l'ordinateur a été encore plus performant en utilisant un type spécifique de modèle conçu pour le raisonnement complexe, montrant que le pipeline pouvait s'adapter à différents types de tâches.

L'étude conclut que, bien que les modèles de langage étendus soient puissants, on ne peut pas simplement leur confier une tâche et s'attendre à ce qu'ils performent parfaitement. Ils nécessitent une approche structurée et systématique pour garantir que leur production soit digne de confiance. Le pipeline HALC offre un moyen de combler le fossé entre l'expertise humaine et la vitesse de la machine. En ancrant les instructions de l'ordinateur dans des règles humaines établies et en les testant rigoureusement avant leur déploiement complet, les chercheurs peuvent automatiser leur travail sans sacrifier la validité de leurs conclusions. Les auteurs suggèrent que cette méthode rend le processus de codage automatisé transparent et reproductible, permettant à d'autres scientifiques de voir exactement comment les instructions ont été construites et vérifiées. Alors que les modèles informatiques continuent d'évoluer, le principe fondamental demeure : l'automatisation fiable provient d'un partenariat soigneux entre la conception humaine et l'exécution par la machine, garantissant que les données finales sont aussi solides que si elles avaient été triées par une équipe d'experts humains.