Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

In de sociale wetenschappen vertrouwen onderzoekers al lang op een traag, zorgvuldig proces om menselijke communicatie te begrijpen. Ze lezen duizenden documenten — krantenartikelen, politieke toespraken of reacties op sociale media — en sorteren deze in categorieën op basis van wat de tekst zegt. Dit wordt inhoudsanalyse genoemd. Decennialang was de meest vertrouwde methode om menselijke lezers in te huren om dit sorteerwerk te doen. Mensen zijn flexibel en kunnen nuance begrijpen, maar ze zijn ook traag, duur en beperkt door het aantal uren dat ze kunnen werken. In de afgelopen jaren zijn krachtige computerprogramma's bekend als grote taalmodellen opgekomen. Deze programma's kunnen menselijke taal met opmerkelijke vaardigheid lezen en schrijven, wat de belofte inhoudt om dit sorteerproces te automatiseren. Echter, simpelweg een computer vragen een tekst te lezen en te categoriseren, leidt vaak tot inconsistente resultaten. De computer kan twee keer een ander antwoord geven op dezelfde tekst als er twee keer om wordt gevraagd, of de computer kan de specifieke regels die een onderzoeker in gedachten heeft, verkeerd begrijpen. De centrale uitdaging is geweest hoe de zorgvuldige, door mensen gemaakte regels van een studie te vertalen naar instructies die een computer betrouwbaar kan volgen, zonder de nauwkeurigheid te verliezen die menselijke experts bieden.

Een team van onderzoekers aan de Universiteit van Hohenheim heeft een nieuwe methode ontwikkeld om dit probleem op te lossen, die zij HALC noemen. Hun doel was om een stapsgewijze pijplijn te creëren waarmee wetenschappers deze krachtige computermodellen kunnen gebruiken om gegevens systematisch en transparant te coderen, in plaats van te vertrouwen op gokwerk. De onderzoekers begonnen door te erkennen dat hoewel deze computermodellen indrukwekkend zijn, ze niet perfect zijn. Ze kunnen onvoorspelbaar zijn, en hun prestaties veranderen afhankelijk van hoe je ze vraagt een taak uit te voeren. Om een betrouwbaar systeem te bouwen, voerde het team eerst een grote voorlopige studie uit. Ze namen een reeks reacties over klimaatbewegingen en vroegen de computermodellen om deze herhaaldelijk te lezen. Ze testten honderden verschillende manieren om de instructies, oftewel "prompts", te formuleren, om te zien welke de meest consistente en nauwkeurige resultaten opleverden. Ze ontdekten dat het vragen aan de computer om dezelfde tekst vijf keer te lezen en vervolgens het meest voorkomende antwoord te nemen, de resultaten aanzienlijk stabiliseerde. Ze ontdekten ook dat de kwaliteit van de initiële menselijke data die de computer leerde, een groot belang had; als de menselijke grondwaarheid wankel was, waren de resultaten van de computer ook wankel. Het belangrijkste was dat ze leerden dat de beste instructies niet kort of vaag waren. De meest succesvolle prompts waren gedetailleerd en vroegen de computer om zijn redenering stap voor stap uit te leggen en zijn uiteindelijke beslissing te rechtvaardigen, net zoals een menselijke codeerder over een probleem zou nadenken voordat hij een antwoord opschrijft.

Bouwend op deze bevindingen, formaliseerden de onderzoekers de HALC-pijplijn. Dit proces begint met een standaard menselijke codeboek, dat de definities en regels bevat voor een specifiek onderzoeksproject. In plaats van het wiel opnieuw uit te vinden voor de computer, vertalen de onderzoekers deze menselijke regels direct naar een gestructureerde prompt. Vervolgens testen ze deze prompt op een kleine steekproef van gegevens, waarbij ze de output van de computer vergelijken met de oorspronkelijke menselijke codering. Als de computer niet voldoet aan de menselijke betrouwbaarheidsnormen, proberen de onderzoekers niet zomaar een nieuwe instructie te raden. In plaats daarvan volgen ze een strikt, op regels gebaseerd proces om de prompt te verfijnen, bijvoorbeeld door meer specifieke voorbeelden toe te voegen of een definitie te verduidelijken, en testen het vervolgens opnieuw. Deze cyclus gaat door totdat de computer een niveau van overeenstemming met de menselijke codeerders bereikt dat als wetenschappelijk acceptabel wordt beschouwd. Pas daarna gebruiken ze de computer om de volledige dataset te verwerken. Deze benadering behandelt de computer niet als een magische doos die uit zichzelf werkt, maar als een hulpmiddel dat zorgvuldig moet worden gekalibreerd tegenover menselijk oordeel.

Om te bewijzen dat dit systeem in de echte wereld werkt, paste het team de HALC-pijplijn toe op twee totaal verschillende soorten data. De eerste was een enorme collectie politieke partijprogramma's van vijf verschillende landen, geschreven in het Engels, Duits en Spaans. De taak was om te identificeren welke zinnen over immigratie gingen en of ze zich richtten op grenscontrole of op de integratie van mensen die al in het land wonen. De tweede dataset bestond uit jaarverslagen van dertig grote Duitse bedrijven, waarbij het doel was om de toon van de tekst te bepalen — of deze positief, negatief of neutraal was. In beide gevallen gebruikten de onderzoekers dezelfde Engelstalige instructies voor de computer, waarbij ze vertrouwden op het vermogen van het model om verschillende talen te begrijpen zonder een aparte prompt voor elke taal nodig te hebben. De resultaten waren bemoedigend. Voor de politieke teksten behaalde de computer betrouwbaarheidsscores die zeer dicht bij de oorspronkelijke menselijke codeerders lagen, waarbij het succesvol verschillende talen en politieke contexten navigeerde. Voor de zakelijke rapporten presteerde de computer zelfs beter wanneer een specifiek type model werd gebruikt dat ontworpen is voor complexe redeneringen, wat aantoonde dat de pijplijn kan worden aangepast aan verschillende soorten taken.

De studie concludeert dat hoewel grote taalmodellen krachtig zijn, ze niet simpelweg een taak kunnen krijgen en vervolgens perfect worden verwacht te presteren. Ze vereisen een gestructureerde, systematische aanpak om hun output betrouwbaar te maken. De HALC-pijplijn biedt een manier om de kloof tussen menselijke expertise en machinesnelheid te overbruggen. Door de instructies van de computer te funderen in gevestigde menselijke regels en deze grondig te testen vóór volledige inzet, kunnen onderzoekers hun werk automatiseren zonder de geldigheid van hun bevindingen op te offeren. De auteurs suggereren dat deze methode het proces van geautomatiseerde codering transparant en reproduceerbaar maakt, waardoor andere wetenschappers precies kunnen zien hoe de instructies zijn opgebouwd en geverifieerd. Hoewel de computermodellen blijven evolueren, blijft het kernprincipe hetzelfde: betrouwbare automatisering komt voort uit een zorgvuldig partnerschap tussen menselijk ontwerp en machine-uitvoering, wat ervoor zorgt dat de uiteindelijke data net zo solide is als wanneer deze door een team van menselijke experts was gesorteerd.