Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
Dit artikel toont aan dat hoewel het systematisch variëren van elementen in prompt engineering, zoals labelbeschrijvingen, instructieve nudges en few-shot voorbeelden, de nauwkeurigheid van LLM-classificatie voor sociaalwetenschappelijke teksten aanzienlijk kan verbeteren, de prestatiewinst vaak marginaal is bij minimale toenames in context, soms kan afnemen bij overmatige context, en aanzienlijk varieert tussen modellen en taken, wat individuele validatie noodzakelijk maakt in plaats van het vertrouwen op algemene regels.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotbibliothecaris hebt die miljoenen boeken kan lezen en ze direct in de juiste schappen kan sorteren. Dit is waar Large Language Models (LLM's) voor sociale wetenschappers voor staan. Ze worden gebruikt om tekst te sorteren—zoals het indelen van wetsvoorstellen in beleidsonderwerpen of het beslissen of een antwoord in een enquête "emotioneel" of "neutraal" is.
Een tijdje vroegen onderzoekers zich alleen af: "Kan deze robot de klus klaren?" Het antwoord was een wankel "misschien". Maar nu is de vraag veranderd naar: "Hoe geven we de robot de beste instructies zodat hij het werk perfect doet?" Dit wordt prompt engineering genoemd.
Beschouw de "prompt" als de handleiding die je aan de robot overhandigt. De auteurs van dit artikel besloten een groot spel van "Wat als?" te spelen met deze handleidingen. Ze gokten niet zomaaan; ze voerden een enorm experiment uit met twee verschillende robots (GPT 4o en Gemini 2.0 Flash) en twee verschillende sorteertaken:
- De Beleidssorter: Het nemen van de titels van 21 verschillende soorten wetsvoorstellen en ze in de juiste beleidscategorie sorteren.
- De Stemmingssorter: Het lezen van open vragen in enquêtes en bepalen of ze "emotioneel" of "neutraal" zijn.
Ze pasten drie specifieke onderdelen van de handleiding aan om te zien wat het beste werkte:
- Labelbeschrijvingen: Gaven ze de robot alleen een lijst met namen van schappen (bijv. "Gezondheid", "Onderwijs"), of schreven ze ook een kort paragraafje om uit te leggen wat er op elk schap thuishoort?
- Instructieve Duwtjes: Voegden ze kleine notities toe aan de robot zoals: "Hey, wees voorzichtig! Wetgeving over abortus gaat in 'Burgerrechten', niet in 'Gezondheid'!"?
- Few-Shot Voorbeelden: Toonden ze de robot een paar voorbeelden van wetgeving die al correct gesorteerd waren voordat ze de rest van de taken lieten uitvoeren?
De Grote Verrassing: Meer is niet altijd beter
Dit is het belangrijkste dat het paper vond, en het is een beetje een plotwending. Je zou denken dat het geven van meer informatie in de instructiehandleiding de robot altijd slimmer maakt. Het paper suggereert dat dit niet waar is.
Sterker nog, de auteurs ontdekten dat een minimale toename in context (het toevoegen van een klein beetje uitleg of voorbeelden) de grootste boost in prestaties gaf. Maar als je steeds meer details bleef toevoegen, werd de robot niet veel beter. Het bereikte een punt waarop het toevoegen van meer tekst slechts minimale, bijna nutteloze verbeteringen opleverde.
Nog alarmerender nog: het paper suggereert dat het toevoegen van meer context de robot soms zelfs slechter maakte in zijn werk. Het is alsoast het proberen te helpen van een vriend bij het oplossen van een puzzel door alle aanwijzingen tegelijk tegen hem te schreeuwen; uiteindelijk raakt hij in de war en laat hij de stukjes vallen.
De "Batch"-truc
De onderzoekers testten ook hoeveel items de robot tegelijk moest sorteren. Ze probeerden slechts 1 item tegelijk te sorteren, en daarna 10, 100, 500, en zelfs 1.000 tegelijk.
Het paper suggereert dat het sorteren van slechts één item tegelijk meestal de slechtste strategie is. Het is niet alleen de duurste manier om de robot te gebruiken, maar het presteert ook minder goed. In plaats daarvan geeft het paper aan dat batch-classificatie (het aan de robot geven van een hele stapel van 100 of 500 items om in één keer te sorteren) meestal de superieure keuze is.
De "One Size Fits All"-mythe
Misschien wel de meest cruciale les is dat je niet zomaar een "perfecte prompt" van het ene project naar het andere kunt kopiëren en plakken. Het paper suggereert dat er substantiële heterogeniteit (een chique manier om te zeggen: grote verschillen) bestaat tussen verschillende modellen, verschillende taken en zelfs verschillende batchgroottes.
Wat perfect werkte voor het sorteren van politieke wetsvoorstellen, kan rampzalig mislukken bij het sorteren van emoties in enquêtes. Zelfs dezelfde robot kan anders reageren afhankelijk van hoe je hem vraagt. Vanwege deze reden betogen de auteurs dat onderzoekers niet kunnen vertrouwen op algemene regels. Als je deze robots voor je eigen onderzoek wilt gebruiken, moet je je eigen specifieke tests uitvoeren om te zien wat werkt voor jouw specifieke taak.
Het "Zero-Temperature"-mysterie
Tot slot wijst het paper op iets spookachtigs aan deze robots. Zelfs wanneer onderzoekers de "temperatuur" van de robot instelden op nul — wat de robot een strikte, deterministische rekenmachine zou moeten laten zijn — waren de resultaten niet altijd identiek. Het paper suggereert dat zelfs met exact dezelfde prompt, de output van de robot licht kan variëren afhankelijk van het model en de details van de prompt. Dit betekent dat je niet altijd kunt aannemen dat de robot twee keer precies hetzelfde antwoord geeft, zelfs niet als je probeert de consistentie af te dwingen.
De Kern van het Verhaal
Het paper beweert niet dat het de "magische spreuk" heeft gevonden die LLM's perfect maakt. In plaats daarvan suggereert het dat de weg naar betere resultaten bestaat uit zorgvuldige, specifieke testen.
- Ga er niet van uit dat meer tekst in de prompt beter is.
- Sorteer niet items één voor één als je ze in batches kunt verwerken.
- Verwacht wel dat wat voor de ene taak werkt, niet voor een andere taak zal werken.
- Voer je eigen specifieke tests uit voordat je de resultaten vertrouwt.
Het is een herinnering dat hoewel deze AI-tools krachtig zijn, ze nog steeds een beetje lijken op wilde paarden: je kunt niet zomaar een zadel opwerpen en gaan rijden; je moet precies leren hoe je dit specifieke paard moet hanteren voor deze specifieke rit.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.