Technische Samenvatting: AIn't Nothing But a Survey? Het gebruik van Large Language Models voor het coderen van Duitse open eind antwoorden in enquêtes over enquête-motivatie

Probleemstelling

De classificatie van open eind antwoorden in enquêtes is een arbeidsintensieve taak die traditioneel handmatige menselijke codering of supervised machine learning (ML) modellen vereist die uitgebreide trainingsdata, expertise en preprocessing vragen. Hoewel Large Language Models (LLM's) veelbelovende mogelijkheden bieden voor tekstclassificatie vanwege hun linguïstische aanpassingsvermogen en het vermogen om korte, contextarme inputs te verwerken, is het bestaande onderzoek naar hun toepassing op enquêtegegevens beperkt. De meeste studies richten zich op Engelstalige reacties, niet-complexe onderwerpen of enkelvoudige modelfamilies. Bovendien blijven zorgen over reproduceerbaarheid, betrouwbaarheid en de generaliseerbaarheid van bevindingen naar niet-Engelse talen (specifiek Duits) en complexe, multi-categorie codatieschema's onopgelost. Deze studie adresseert de kloof in het begrip van de condities waaronder LLM's efficiënt en accuraat kunnen worden ingezet voor het coderen van open eind antwoorden in het Duits, specifiek met betrekking tot enquête-motivatie.

Methodologie

Data en Codatieschema

De studie maakt gebruik van data uit de GESIS Panel.pop, een Duitse waarschijnlijkheidsgebaseerde mixed-mode panel. De dataset bestaat uit ongeveer 25.000 open eind antwoorden op een jaarlijkse vraag over redenen voor deelname aan de enquête (primaire, secundaire en tertiaire redenen). Voor de analyse is een steekproef van 5.072 reacties geselecteerd. Deze reacties zijn onafhankelijk gecodeerd door twee menselijke enquêteonderzoekers met behulp van een vooraf gedefinieerd codatieschema bestaande uit 22 categorieën (inclusief intrinsieke, extrinsieke en enquête-gerelateerde redenen, evenals verzamelcategorieën zoals "Geen reden" en "Overig"). De inter-coder overeenstemming was hoog (Cohen's kappa = 0,91), waarbij onenigheid werd opgelost door een senior expert. Deze menselijke codes dienen als de 'ground truth' voor evaluatie.

Modelselectie

De studie vergelijkt drie state-of-the-art LLM-families, geselecteerd op basis van hun meertalige capaciteiten:

1. GPT-4o (OpenAI): Een proprietary model dat bekend staat om verbeteringen in niet-Engelse talen. Het werd via AzureOpenAI benaderd om gegevensprivacy en reproduceerbaarheid te waarborgen.
2. Llama 3.2-3B-Instruct (Meta): Een open-source model, geselecteerd als de meest capabele meertalige optie binnen zijn suite die beschikbaar is in Europa.
3. Mistral-NeMo-Instruct-2407 (Mistral AI): Een Europees open-source model dat specifiek is ontworpen voor wereldwijde, meertalige toepassingen, met een opmerkelijke kracht in het Duits.

Prompting-benaderingen

Vier verschillende prompting-strategieën werden geëvalueerd:

• Zero-shot: Het model krijgt het codatieschema zonder voorbeelden of gedetailleerde definities.
• Zero-shot met beschrijvingen: Het model ontvangt het codatieschema met gedetailleerde definities voor elke categorie.
• Few-shot: Het model krijgt één voorbeeldreactie per categorie (totaal 22 voorbeelden) naast het codatieschema.
• Fine-tuning: Alleen toegepast op GPT-4o vanwege beperkingen in middelen. Het model werd gefinetuned op 80% van de door mensen gecodeerde data (4.048 reacties) en geëvalueerd op de resterende 20% (1.024 reacties).

Experimentele Configuratie

• Temperatuur: Ingesteld op 0 voor alle modellen om determinisme en betrouwbaarheid te maximaliseren.
• Executie: Elke reactie werd individueel verwerkt met een verversd geheugen. Queries werden tweemaal per model/benadering uitgevoerd om betrouwbaarheid te beoordelen.
• Evaluatiemetrieken: De primaire metriek was de macro F1-score, gekozen om rekening te houden met de ongebalanceerde distributie van categorieën. Aanvullende metrieken omvatten weighted F1, accuratesse en Intraclass Correlation Coefficients (ICC) voor betrouwbaarheid.

Belangrijkste Resultaten

Prestatieverschillen tussen Modellen

• Superieuriteit van Modellen: GPT-4o presteerde consistent beter dan de open-source modellen (Llama en Mistral) over alle prompting-benaderingen heen.
• Absolute Prestaties: Zonder fine-tuning bereikten zelfs de best presterende open-source modellen geen bevredigend prestatieniveau. GPT-4o behaalde een macro F1 van ongeveer 0,70 met few-shot prompting, wat nog steeds lager was dan de prestaties van supervised methoden (bijv. SVM's) gerapporteerd in eerdere studies op dezelfde data.
• Impact van Fine-tuning: Fine-tuning van GPT-4o resulteerde in een dramatische prestatieverhoging, waarbij een macro F1 van 0,87 werd behaald. Deze benadering leverde een categorische distributie op die perfect overeenkwam met de door mensen gecodeerde benchmark, met vrijwel geen ontbrekende classificaties.

Prestaties per Categorie

• Hoge Prestaties: Alle modellen presteerden uitzonderlijk goed op veelvoorkomende, inhoudelijke categorieën zoals "incentive" (incentive), "interest" (interesse) en "fun" (plezier) (macro F1 ~0,9).
• Lage Prestaties: Modellen hadden aanzienlijke moeite met niet-inhoudelijke verzamelcategorieën, specifiek "Geen reden" (bijv. "weet niet", "???"), "Niet-identificeerbaar/overig" en "Andere enquêtekenmerken".
• Distributionele Verschuivingen: Door de slechte prestaties op specifieke categorieën produceerden niet-gefinetunede modellen een verstoorde categorische distributie vergeleken met menselijke coders. Zo wijsden open-source modellen "curiosity" (nieuwsgierigheid) te vaak toe en "no reason" (geen reden) te weinig, wat de inhoudelijke analyses potentieel kan biaseren.

Prompting-benaderingen

• Zero-shot vs. Few-shot: Few-shot prompting verbeterde de prestaties van open-source modellen aanzienlijk (een stijging van ~0,18 in macro F1), maar had een marginaal effect op GPT-4o.
• Beschrijvingen: Het verstrekken van gedetailleerde categoriebeschrijvingen verbeterde de prestaties niet consistent en degradeerde in sommige gevallen de prestaties vergeleken met eenvoudige zero-shot prompting.
• Betrouwbaarheid: Alle modellen vertoonden een hoge betrouwbaarheid (ICC > 0,93) over iteraties heen. Opvallend genoeg produceerde Mistral identieke outputs over iteraties heen wanneer de temperatuur op nul werd ingesteld, terwijl GPT en Llama kleine variaties vertoonden, wat suggereert dat het instellen van de temperatuur op nul niet altijd perfect determinisme garandeert in alle modelimplementaties.

Belangrijkste Bijdragen

1. Check op Generaliseerbaarheid: De studie toont aan dat bevindingen uit Engelstalige, niet-complexe enquête-taken niet automatisch generaliseren naar Duitse, complexe, multi-categorie coderingstaken.
2. Afhankelijkheid van Model en Strategie: Het stelt vast dat de prestaties van LLM's sterk afhankelijk zijn van zowel de specifieke modelarchitectuur als de prompting-strategie. Geen enkele "off-the-shelf" benadering werkt universeel goed.
3. Noodzaak van Fine-tuning: Het onderzoek benadrukt dat voor complexe, specifieke domeinen fine-tuning op menselijk gecodeerde data vaak noodzakelijk is om prestatieniveaus te bereiken die vergelijkbaar met of hoger dan gevestigde supervised methoden zijn.
4. Distributionele Validiteit: Het waarschuwt ervoor dat het gebruik van niet-gefinetunede LLM's kan leiden tot systematische fouten in categorische distributies, wat de downstream inhoudelijke analyses kan compromitteren.

Betekenis en Claims

Het artikel concludeert dat hoewel LLM's potentieel bieden voor het coderen van open eind antwoorden in enquêtes, ze geen "one-size-fits-all" oplossing zijn.

• Voor Eenvoudige Contexten: In eenvoudigere contexten (bijv. Engels, veelvoorkomende onderwerpen) kunnen off-the-shelf LLM's dienen als efficiënte alternatieven voor handmatige codering of traditionele ML.
• Voor Complexe Contexten: Voor specifieke, complexe onderwerpen in niet-Engelse talen is de ruwe LLM-prestatie vaak ondermaats vergeleken met gevestigde methoden. Succes vereist ofwel zorgvuldige prompt engineering (met name few-shot prompting) of, effectiever, fine-tuning op menselijk gecodeerde data.
• Human-in-the-Loop: De auteurs stellen dat mensen in de loop moeten blijven. Fine-tuning vereist menselijk gecodeerde benchmark-data, en de betrouwbaarheid van niet-lokale modellen over tijd is niet gegarandeerd vanwege mogelijke updates of deprecatie.
• Trade-offs: Onderzoekers moeten de afwegingen overwegen tussen proprietary modellen (hoge prestaties, kosten, privacyzorgen) en open-source modellen (privacy, reproduceerbaarheid, lagere prestaties, hoge computationele eisen).

Uiteindelijk waarschuwt de studie tegen de ongefilterde adoptie van LLM's voor enquêtecodering, en benadrukt dat rigoureuze validatie tegen menselijke benchmarks essentieel is vóór implementatie, vooral wanneer het doel is om de integriteit van de datadistributie voor inhoudelijke analyse te waarborgen.