Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
Diese Arbeit zeigt, dass die systematische Variation von Prompt-Engineering-Elementen wie Label-Beschreibungen, instruktiven Nudges und Few-Shot-Beispielen zwar die Klassifizierungsgenauigkeit von LLMs für sozialwissenschaftliche Texte signifikant verbessern kann, die Leistungssteigerungen jedoch oft nach minimalen Kontextvergrößerungen nur noch marginal ausfallen, bei übermäßig viel Kontext sogar zurückgehen können und je nach Modell sowie Aufgabe erheblich variieren, was eine individuelle Validierung statt einer bloßen Verlassenschaft auf allgemeine Regeln erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Bibliothekar, der Millionen von Büchern lesen und sie sofort in Regale einsortieren kann. Das ist das, was Large Language Models (LLMs) für Sozialwissenschaftler sind. Sie werden dazu verwendet, Texte zu sortieren – wie etwa Gesetzesentwürfe des Kongresses nach politischen Themen zu ordnen oder zu entscheiden, ob eine Umfrageantwort „emotional“ oder „neutral“ ist.
Eine Zeit lang fragten Forscher nur: „Kann dieser Roboter den Job erledigen?“ Die Antwort war ein unsicheres „Vielleicht“. Aber jetzt hat sich die Frage geändert zu: „Wie geben wir dem Roboter die besten Anweisungen, damit er den Job perfekt erledigt?“ Dies nennt man Prompt Engineering.
Betrachten Sie den „Prompt“ als die Bedienungsanleitung, die Sie dem Roboter in die Hand drücken. Die Autoren dieser Arbeit haben sich entschieden, ein riesiges Spiel mit dem „Was wäre wenn?“ bei diesen Bedienungsanleitungen zu spielen. Sie haben nicht einfach nur geraten; sie führten ein großes Experiment mit zwei verschiedenen Robotern (GPT 4o und Gemini 2.0 Flash) und zwei verschiedenen Sortieraufgaben durch:
- Der Politik-Sortierer: Das Aufgreifen von Titeln von 21 verschiedenen Arten von Regierungsgesetzen und deren Einordnung in die richtige politische Kategorie.
- Der Stimmungs-Sortierer: Das Lesen von offenen Umfrageantworten und die Entscheidung, ob diese „emotional“ oder „neutral“ sind.
Sie haben drei spezifische Teile der Bedienungsanleitung angepasst, um zu sehen, was am besten funktioniert:
- Beschreibungen der Labels: Gaben sie dem Roboter nur eine Liste von Regalnamen (z. B. „Gesundheit“, „Bildung“), oder schrieben sie auch einen kleinen Absatz, der erklärt, was in jedes Regal gehört?
- Instruktive Anstöße (Nudges): Fügten sie dem Roboter kleine Notizen hinzu wie: „Hey, sei vorsichtig! Abtreibungsgesetze gehören unter ‚Bürgerrechte‘, nicht unter ‚Gesundheit‘!“?
- Few-Shot-Beispiele: Zeigten sie dem Roboter ein paar Beispiele für bereits korrekt sortierte Gesetze, bevor sie ihn baten, den Rest zu erledigen?
Die große Überraschung: Mehr ist nicht immer besser
Hier ist das wichtigste Ergebnis der Arbeit, und es ist ein wenig wie ein Plot-Twist. Man könnte denken, dass es den Roboter immer klüger macht, wenn man ihm im Handbuch mehr Informationen gibt. Die Arbeit legt nahe, dass dies nicht wahr ist.
Tatsächlich fanden die Autoren heraus, dass eine minimale Erhöhung des Kontextes (das Hinzufügen einer kleinen Erklärung oder einiger Beispiele) den größten Leistungsschub gab. Aber wenn man immer mehr Details hinzufügte, wurde der Roboter nicht wesentlich besser. Er stieß an eine Wand, an der das Hinzufügen von mehr Text nur noch winzige, fast nutzlose Verbesserungen bewirkte.
Noch alarmierender ist, dass die Arbeit nahelegt, dass das Hinzufügen von mehr Kontext den Roboter manchmal sogar schlechter bei seiner Arbeit macht. Es ist, als würde man versuchen, einem Freund beim Lösen eines Puzzles zu helfen, indem man ihm alle Hinweise gleichzeitig zurufft; schließlich wird er verwirrt und lässt die Teile fallen.
Der „Batch“-Trick
Die Forscher testeten auch, wie viele Artikel der Roboter gleichzeitig sortieren sollte. Sie versuchten, jeweils nur 1 Gesetz zu sortieren, dann 10, 100, 500 und sogar 1.000 auf einmal.
Die Arbeit legt nahe, dass das Sortieren von nur einem Artikel zur Zeit meistens die schlechteste Strategie ist. Es ist nicht nur der teuerste Weg, den Roboten zu nutzen, sondern er liefert auch nicht so gut ab. Stattdessen deutet die Arbeit darauf hin, dass Batch-Klassifizierung (dem Roboter einen Stapel von 100 oder 500 Artikeln zu geben, die er in einem Durchgang sortiert) meist die überlegene Wahl ist.
Der Mythos der „Einheitslösung“
Vielleicht ist die kritischste Lektion, dass man nicht einfach einen „perfekten Prompt“ von einem Projekt auf ein anderes kopieren kann. Die Arbeit legt nahe, dass es eine erhebliche Heterogenität (ein schicker Begriff für „große Unterschiede“) zwischen verschiedenen Modellen, verschiedenen Aufgaben und sogar verschiedenen Batch-Größen gibt.
Was perfekt funktionierte, um politische Gesetze zu sortieren, könnte bei der Sortierung von Umfrageemotionen kläglich scheitern. Selbst derselbe Roboter könnte anders reagieren, je nachdem, wie man ihn anspricht. Aus diesem Grund argumentieren die Autoren, dass Forscher sich nicht auf allgemeine Regeln verlassen können. Wenn Sie diese Roboter für Ihre eigene Forschung nutzen wollen, müssen Sie Ihre eigenen spezifischen Tests durchführen, um zu sehen, was für Ihre spezifische Aufgabe funktioniert.
Das „Zero-Temperature“-Rätsel
Schließlich weist die Arbeit auf etwas Unheimliches an diesen Robotern hin. Selbst wenn die Forscher die „Temperatur“ (eine Einstellung, die die Zufälligkeit steuert) auf Null setzten – was den Roboter dazu bringen sollte, wie ein strenger, deterministischer Taschenrechner zu agieren –, waren die Ergebnisse nicht immer identisch. Die Arbeit legt nahe, dass selbst bei exakt demselben Prompt die Ausgabe des Roboters je nach Modell und Prompt-Details leicht variieren kann. Das bedeutet, dass man nicht immer davon ausgehen kann, dass der Roboter zweimal exakt dasselbe Ergebnis liefert, selbst wenn man versucht, ihn zur Konsistenz zu zwingen.
Der Kern der Sache
Die Arbeit behauptet nicht, den „Zauberspruch“ gefunden zu haben, der LLMs perfekt macht. Stattdessen legt sie nahe, dass der Weg zu besseren Ergebnissen in sorgfältigem, spezifischem Testen liegt.
- Gehen Sie nicht davon aus, dass mehr Text im Prompt besser ist.
- Sortieren Sie nicht Artikel einzeln, wenn Sie sie in Batches verarbeiten können.
- Erwarten Sie, dass das, was für eine Aufgabe funktioniert, nicht für eine andere funktioniert.
- Führen Sie Ihre eigenen spezifischen Tests durch, bevor Sie die Ergebnisse vertrauen.
Es ist eine Erinnerung daran, dass diese KI-Tools zwar mächtig sind, aber immer noch ein wenig wie Wildpferde sind: Man kann nicht einfach einen Sattel aufwerfen und losreiten; man muss erst lernen, wie man genau dieses spezifische Pferd für diese spezifische Fahrt bändigt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.