A Methodological Guide on Using Large Language Models for Text Annotation in the Social Sciences and Humanities with Python and R
Dit artikel biedt een methodologische gids voor sociaalwetenschappers en humanities-onderzoekers over het gebruik van Large Language Models voor tekstannotatie in Python en R, waarbij stap-voor-stap wordt uitgelegd hoe men modellen selecteert, prompts ontwerpt, kwaliteit evalueert en annotatiefouten meeneemt in statistische analyses.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme berg brieven, dagboeken of chatgesprekken hebt die je wilt lezen om te begrijpen wat mensen denken of voelen. In het verleden moest je deze brieven één voor één lezen, samenvatten en in hokjes indelen. Dat was als het proberen te leegmaken van een zwembad met een theelepel: het kostte eeuwen, je werd moe en soms keek je naar dezelfde zin en dacht je: "Is dit nu wel of niet een klacht?" terwijl je buurman dacht van "nee".
Dit artikel is een handleiding voor wetenschappers die zich bezighouden met maatschappij en cultuur (zoals sociologen of historici) over hoe ze AI (specifiek "Grote Taalmodellen" of LLM's) kunnen gebruiken om die zware klus te doen. Maar het waarschuwt ook: AI is geen magische toverstaf die alles perfect doet. Het is meer als een zeer slimme, maar soms slordige stagiair.
Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:
1. De AI als een Super-Slimme, maar Slordige Stagiair
Stel je voor dat je een AI hebt die miljoenen boeken heeft gelezen. Als je hem vraagt: "Lees deze tekst en zeg of de schrijver boos is," doet hij dat razendsnel.
- Het probleem: De AI is niet "slim" in het menselijke zinnetje. Hij is meer als een gokker die heel goed is in het raden van het volgende woord. Hij gokt op basis van patronen die hij heeft gezien. Soms is hij perfect, soms raakt hij de draad kwijt.
- De les: Gebruik de AI niet als een onfeilbare robot, maar als een meetinstrument (zoals een thermometer). Een thermometer is handig, maar als hij niet goed gekalibreerd is, meet je de verkeerde temperatuur. Je moet eerst controleren of je thermometer klopt voordat je er je huis mee verwarmt.
2. De "Gouden Standaard": De Oude Meester
Voordat je de AI aan het werk zet, moet je een klein stukje van je tekst (bijvoorbeeld 50 brieven) door een echte mens laten nakijken. Deze mens is de Oude Meester (in het artikel "Gold Standard" genoemd).
- Waarom? Je hebt een referentiepunt nodig. Als de AI zegt dat de brieven "boos" zijn, maar de Oude Meester zegt "nee, dat is verdriet", dan weet je dat de AI iets verkeerd doet.
- De valkuil: Als je de AI laat oefenen op precies dezelfde brieven die je later gebruikt om te testen, is het net als een student die de antwoorden van het proefwerk heeft geleerd. Hij haalt een 10, maar dat betekent niet dat hij de stof echt begrijpt. Dat heet overfitting. Je moet de AI leren op de ene set brieven en testen op een andere set.
3. De Kunst van de Vraag (Prompt Engineering)
Hoe vraag je iets aan de AI? Als je zegt: "Kijk naar deze tekst," is dat vaag. De AI is dan als een hond die niet weet of hij moet zitten of apporteren.
- De oplossing: Je moet een rol geven aan de AI. Zeg bijvoorbeeld: "Je bent een strenge, maar eerlijke leraar die kijkt naar hoe specifiek een doel is."
- Voorbeeld: In het artikel wordt een voorbeeld gegeven van een student die een doel stelt. De AI moet beoordelen of het doel "vaag" is (0 punten) of "heel specifiek" (2 punten). Als je de instructies niet duidelijk maakt, gaat de AI gissen. Het is alsof je een kok vraagt om "een lekker gerecht" te maken zonder te zeggen of hij zoet of zout moet zijn.
4. De Drie-Fasen Methode (Om niet in de val te trappen)
Dit is misschien wel het belangrijkste advies uit het artikel. Om zeker te weten dat je AI goed werkt, moet je je data in drie bakken verdelen:
- De Ontwikkelbak (Explore): Hier oefen je. Je laat de AI werken, kijkt waar hij fouten maakt, en schrijft je instructies (prompt) steeds beter. Je mag hier alles proberen.
- De Selectiebak (Select): Hier kies je de beste instructie. Je vergelijkt verschillende versies van je vraag en kiest de winnaar.
- De Testbak (Evaluate): Dit is de heilige graal. Deze data heb je nog nooit aan de AI laten zien. Hiermee test je of je winnende instructie écht goed werkt. Als je dit niet doet, is het net alsof je een speler laat trainen op een veld met de antwoorden op de grond, en dan denkt dat hij een wereldkampioen is.
5. Wat als de AI fouten maakt? (De Statistiek)
Stel, de AI is 90% goed. Is dat genoeg?
- Willekeurige fouten: Soms zegt de AI "ja" en soms "nee" voor dezelfde tekst. Dit maakt je resultaten wat "ruisachtig", maar het verandert de gemiddelde uitkomst niet echt. Het is alsof je een weegschaal hebt die soms 10 gram te veel en soms 10 gram te weinig aangeeft. Het gemiddelde klopt nog wel.
- Systeembewuste fouten: Dit is gevaarlijker. Stel, de AI is altijd iets te streng. Hij geeft altijd een lagere score dan de waarheid. Dan is je hele onderzoek op zijn kop. Het is alsof je een thermometer hebt die altijd 5 graden te laag aangeeft. Je denkt dat het vriest, terwijl het lente is.
- De oplossing: Het artikel laat zien hoe je met wiskundige formules (in Python of R) deze fouten kunt corrigeren. Je gebruikt de "Oude Meester" om de "slordige stagiair" te kalibreren, zodat je statistieken weer kloppen.
6. Kosten en Reproduceerbaarheid
- Kosten: AI kost geld (per woord dat je stuurt). Als je duizenden brieven hebt, kan dat duur worden. De tip: gebruik slimme trucs zoals "batchen" (veel vragen tegelijk sturen) en zorg dat je instructies kort en krachtig zijn.
- Reproduceerbaarheid: Als je over een jaar terugkijkt, moet je precies kunnen zeggen: "Ik gebruikte model X, met instructie Y, op datum Z." AI-modellen veranderen namelijk snel. Wat vandaag werkt, werkt morgen misschien niet meer. Schrijf alles op!
Conclusie
Dit artikel zegt eigenlijk: "Gebruik AI, maar doe het met je hoofd."
Het is een krachtig gereedschap om grote hoeveelheden tekst te analyseren, maar het is geen vervanging voor kritisch denken. Je moet de AI trainen, testen, kalibreren en de fouten die hij maakt in je statistieken corrigeren. Als je dat doet, kun je onderzoek doen dat eerder onmogelijk was (bijvoorbeeld het analyseren van miljoenen sociale mediaberichten), en dat met dezelfde wetenschappelijke strengheid als traditioneel onderzoek.
Kortom: De AI is de helikopter die over de stad vliegt en duizenden auto's ziet, maar jij bent de verkeersleider die moet beslissen of de verkeersdrukte echt is of een optische illusie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.