Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

In den Sozialwissenschaften verlassen sich Forscher seit langem auf einen langsamen, sorgfältigen Prozess, um menschliche Kommunikation zu verstehen. Sie lesen tausende von Dokumenten – Zeitungsartikel, politische Reden oder Kommentare in sozialen Medien – und ordnen sie basierend darauf, was der Text aussagt, in Kategorien ein. Dies wird als Inhaltsanalyse bezeichnet. Jahrzehntelang war die vertrauenswürdigste Methode, menschliche Leser mit dieser Sortierung zu beauftragen. Menschen sind flexibel und können Nuancen verstehen, aber sie sind auch langsam, teuer und durch die Anzahl der Stunden, die sie arbeiten können, begrenzt. In den letzten Jahren sind leistungsfähige Computerprogramme bekannt geworden, die als Large Language Models (große Sprachmodelle) bezeichnet werden. Diese Programme können menschliche Sprache mit bemerkenswerter Geschicklichkeit lesen und schreiben und versprechen, diesen Sortierprozess zu automatisieren. Die bloße Aufforderung an einen Computer, einen Text zu lesen und zu kategorisieren, führt jedoch oft zu inkonsistenten Ergebnissen. Der Computer gibt unter Umständen zweimal dieselbe Antwort auf denselben Text, wenn er erneut gefragt wird, oder er missversteht die spezifischen Regeln, die ein Forscher im Sinn hat. Die zentrale Herausforderung bestand darin, die sorgfältig ausgearbeiteten, vom Menschen geschaffenen Regeln einer Studie in Anweisungen zu übersetzen, denen ein Computer zuverlässig folgen kann, ohne die Genauigkeit zu verlieren, die menschliche Experten bieten.

Ein Forschungsteam der Universität Hohenheim hat eine neue Methode entwickelt, um dieses Problem zu lösen, die sie HALC nennen. Ihr Ziel war es, eine schrittweise Pipeline zu entwickeln, die es Wissenschaftlern ermöglicht, diese leistungsfähigen Computermodelle systematisch und transparent zur Kodierung von Daten zu nutzen, anstatt sich auf bloßes Raten zu verlassen. Die Forscher begannen mit der Anerkennung, dass diese Computermodelle zwar beeindruckend, aber nicht perfekt sind. Sie können unvorhersehbar sein, und ihre Leistung verändert sich je nachdem, wie man sie zu einer Aufgabe auffordert. Um ein zuverlässiges System aufzubauen, führte das Team zunächst eine große Vorstudie durch. Sie nahmen einen Satz von Kommentaren über Klimabewegungen und baten die Computermodelle, diese wiederholt zu lesen. Sie testeten hunderte verschiedene Arten der Formulierung von Anweisungen, oder „Prompts“, um zu sehen, welche die konsistentesten und genauesten Ergebnisse lieferten. Sie entdeckten, dass die Aufforderung an den Computer, denselben Text fünfmal zu lesen und dann die am häufigsten vorkommende Antwort zu wählen, die Ergebnisse signifikant stabilisierte. Sie fanden auch heraus, dass die Qualität der ursprünglichen menschlichen Daten, die den Computer lehren, eine große Rolle spielte; wenn die menschliche „Ground Truth“ (die zugrunde liegende Wahrheit) wackelig war, waren auch die Ergebnisse des Computers wackelig. Am wichtigsten war für sie die Erkenntnis, dass die besten Anweisungen nicht kurz oder vage waren. Die erfolgreichsten Prompts waren detailliert und forderten den Computer auf, seine Argumentation Schritt für Schritt zu erklären und seine endgültige Entscheidung zu begründen – ganz so, wie ein menschlicher Kodierer vor dem Aufschreiben einer Antwort über ein Problem nachdenken würde.

Aufbauend auf diesen Erkenntnissen formalisierten die Forscher die HALC-Pipeline. Dieser Prozess beginnt mit einem standardmäßigen, vom Menschen erstellten Codebuch, das die Definitionen und Regeln für ein spezifisches Forschungsprojekt enthält. Anstatt das Rad neu zu erfinden, übersetzen die Forscher diese menschlichen Regeln direkt in einen strukturierten Prompt. Sie testen diesen Prompt dann an einer kleinen Stichprobe von Daten und vergleichen die Ausgabe des Computers mit der ursprünglichen menschlichen Kodierung. Wenn der Computer die menschlichen Zuverlässigkeitsstandards nicht erfüllt, raten die Forscher nicht einfach eine neue Anweisung, sondern folgen einem strengen, regelbasierten Prozess zur Verfeinerung des Prompts, indem sie beispielsweise spezifischere Beispiele hinzufügen oder eine Definition klären, und testen ihn dann erneut. Dieser Zyklus setzt sich fort, bis der Computer ein Maß an Übereinstimmung mit den menschlichen Kodierern erreicht, das als wissenschaftlich akzeptabel gilt. Erst dann setzen sie den Computer ein, um den gesamten Datensatz zu verarbeiten. Dieser Ansatz betrachtet den Computer nicht als eine magische Box, die von selbst funktioniert, sondern als ein Werkzeug, das sorgfältig gegen das menschliche Urteil kalibriert werden muss.

Um zu beweisen, dass dieses System in der realen Welt funktioniert, wandte das Team die HALC-Pipeline auf zwei völlig unterschiedliche Arten von Daten an. Das erste war eine massive Sammlung politischer Parteiprogramme aus fünf verschiedenen Ländern, die auf Englisch, Deutsch und Spanisch verfasst waren. Die Aufgabe bestand darin, zu identifizieren, welche Sätze über Immigration diskutierten und ob sie sich auf die Grenzkontrolle oder auf die Integration von bereits im Land lebenden Menschen konzentrierten. Der zweite Datensatz bestand aus Jahresberichten von dreißig großen deutschen Unternehmen, wobei das Ziel darin bestand, den Ton der Texte zu bestimmen – ob dieser positiv, negativ oder neutral war. In beiden Fällen verwendeten die Forscher dieselben englischsprachigen Anweisungen für den Computer und vertrauten dabei auf die Fähigkeit des Modells, verschiedene Sprachen zu verstehen, ohne einen separaten Prompt für jede Sprache zu benötigen. Die Ergebnisse waren ermutigend. Für die politischen Texte erreichte der Computer Zuverlässigkeitswerte, die den ursprünglichen menschlichen Kodierern sehr nahe kamen, und navigierte erfolgreich durch verschiedene Sprachen und politische Kontexte. Für die Geschäftsberichte schnitt der Computer sogar noch besser ab, wenn ein spezieller Typ von Modell verwendet wurde, der für komplexes Denken konzipiert ist, was zeigt, dass die Pipeline an verschiedene Aufgaben angepasst werden kann.

Die Studie kommt zu dem Schluss, dass Large Language Models zwar leistungsstark sind, man ihnen aber nicht einfach eine Aufgabe übergeben und erwarten kann, dass sie perfekt funktionieren. Sie erfordern einen strukturierten, systematischen Ansatz, um sicherzustellen, dass ihre Ausgabe vertrauenswürdig ist. Die HALC-Pipeline bietet einen Weg, die Lücke zwischen menschlicher Expertise und maschineller Geschwindigkeit zu schließen. Indem die Forscher die Anweisungen für den Computer in etablierten menschlichen Regeln verankern und diese vor dem vollständigen Einsatz rigoros testen, können sie ihre Arbeit automatisieren, ohne die Validität ihrer Ergebnisse zu opfern. Die Autoren legen nahe, dass diese Methode den Prozess der automatisierten Kodierung transparent und reproduzierbar macht, sodass andere Wissenschaftler genau nachvollziehen können, wie die Anweisungen aufgebaut und verifiziert wurden. Während sich die Computermodelle weiterentwickeln, bleibt das Kernprinzip bestehen: Zuverlässige Automatisierung entsteht aus einer sorgfältigen Partnerschaft zwischen menschlichem Design und maschineller Ausführung, die sicherstellt, dass die endgültigen Daten so solide sind, als wären sie von einem Team menschlicher Experten sortiert worden.