Validity of LLMs as data annotators: AMALIA on authority

Technische Samenvatting: De Validiteit van LLM's als Data-annotatoren

Probleemstelling
Het artikel adresseert een kritieke lacune in de evaluatie van Large Language Models (LLM's) als data-annotatoren voor sociaalwetenschappelijk onderzoek. Terwijl nationale "soevereine" LLM's (zoals Portugal's AMALIA) steeds vaker worden ingezet om lokale teksten te analyseren, is hun evaluatie historisch gezien gebaseerd op betrouwbaarheid (overeenstemming met menselijke codeerders) in plaats van op constructvaliditeit (getrouwheid aan de theoretische definitie van het gemeten construct).

Het kernprobleem is dat een hoge mate van overeenstemming tussen een LLM en menselijke annotatoren niet garandeert dat het model het beoogde theoretische construct meet. In plaats daarvan kan het model overeenstemming bereiken via "oppervlakkige correlaten" of shortcuts (bijvoorbeeld het detecteren van morele verontwaardiging nabij een autoriteitsfiguur, in plaats van de specifieke houding ten opzichte van hiërarchie die de theorie vereist). Omdat LLM's 'black boxes' zijn, kunnen standaard overeenstemmingsmetrieken geen onderscheid maken tussen een werkelijke inferentie en een spuriële correlatie. Dit is bijzonder urgent voor soevereine modellen, waarbij de aanname is dat een model getraind op lokale data en taal van nature een superieur meetinstrument voor die gemeenschap zal zijn.

Methodologie
De studie maakt gebruik van een grain calibration methode om het inferentiële pad van de LLM te onderzoeken, waarbij verder wordt gekeken dan holistische overeenstemming om de validiteit van het meetinstrument te testen.

1. Construct en Corpus: De studie richt zich op de "autoriteit/subversie" morele fundamentele waarde uit de Moral Foundations Theory. De dataset bestaat uit 748 teksten uit de Moral Foundations Reddit Corpus (MFRC), die via een rigoureuze "transcreatie"-pipeline naar Europees-Portugees (pt-PT) zijn vertaald. Deze pipeline zorgt ervoor dat betekenis, standpunt en referenten behouden blijven terwijl idioom en register worden aangepast, met blind genereren en menselijke beoordeling om 'code leakage' te voorkomen.
2. Modellen: Het primaire onderwerp is AMALIA-9B, een 9-miljard parameters model voor Europees-Portugees. Het wordt vergeleken met twee grotere open-weight meertalige modellen: Llama-3.3-70B en GPT-OSS-120B.
3. De Recovery Gap ($\Delta$): De centrale metriek is de "recovery gap", gedefinieerd als $\Delta = F^u_1 - F^d_1$.
   • $F^u_1$: Prestatie (F1-score) van de ondecomposed prompt (holistische instructie).
   • $F^d_1$: Prestatie van de decomposed prompt, waarbij het construct is afgebroken in atomaire clausules (detectie, onderscheid, beoordeling) en is gecombineerd via een strikte Booleaanse integratieregel afgeleid van de theorie.
   • Een $\Delta \approx 0$ geeft aan dat het model het construct meet zoals gedefinieerd door de theorie. Een grote $\Delta$ geeft aan dat het model vertrouwt op shortcuts die niet in de theorie zijn gespecificeerd.
4. Experimenteel Ontwerp: De studie test AMALIA onder zowel Engelse als Portugese instructies op de Portugese corpus. Het vergelijkt deze resultaten met de referentiemodellen op dezelfde corpus en de prestaties van de referentiemodellen op de oorspronkelijke Engelse corpus. De studie is vooraf geregistreerd, waarbij hypothesen werden vastgesteld vóór de bevestigende toetsing op een onafhankelijke set van 448 teksten.

Belangrijkste Resultaten

1. Hoge Betrouwbaarheid, Lage Validiteit voor AMALIA: AMALIA bereikt een hoge overeenstemming met menselijke annotatoren (Holistische $F_1 \approx 0,71$), vergelijkbaar met modellen die 8 tot 13 keer groter zijn. Het vertoont echter een grote recovery gap ($\Delta \approx 0,36$ onder Portugese instructies en $0,44$ onder Engelse instructies). Dit geeft aan dat decompositie slechts ongeveer de helft van de holistische prestatie van AMALIA herstelt.
2. Oppervlakkige Correlaten vs. Theorie: Foutanalyse onthult dat de fout-positieven van AMALIA grotendeels worden gedreven door oppervlakkige correlaten, zoals "generieke morele verontwaardiging" nabij autoriteitsfiguren of de loutere aanwezigheid van een autoriteitsfiguur, in plaats van de vereiste evaluatieve houding ten opzichte van hiërarchie. In 78% van de fout-positieven vertrouwde het model op oppervlakkige basiskenmerken in plaats van de theoretische definitie van het construct.
3. Modelspecifieke Fout: De fout is specifief voor AMALIA, niet voor de corpus of de taal.
   • GPT-OSS-120B verkleint de kloof op de Portugese corpus ($\Delta \approx 0,03$), en presteert vergelijkbaar met de Engelse resultaten.
   • Llama-3.3-70B vertoont een matige kloof ($\Delta \approx 0,12$), die groter is dan de Engelse prestaties maar aanzienlijk kleiner dan die van AMALIA.
   • Dit suggereert dat het probleem het "construct–model instrument" is (specifiek de capaciteit van het 9B-model om de theoretische korrel uit te voeren), en niet de Portugese taal of de getranscreëerde corpus.
4. Instructietaal: De hypothese dat Portugese instructies de kloof zouden verkleinen, werd niet statistisch ondersteund ($\Delta_{pt} = 0,358$ vs. $\Delta_{en} = 0,436$; het betrouwbaarheidsinterval voor het verschil bevatte nul). Hoewel de richting consistent was met de hypothese, was het effect niet significant.

Belangrijkste Bijdragen

• Operationalisering van Constructvaliditeit: Het artikel introduceert en past de "recovery gap" toe als een diagnostisch instrument om onderscheid te maken tussen betrouwbare overeenstemming en valide meting in LLM's. Het demonstreert dat overeenstemming alleen onvoldoende is om LLM's als wetenschappelijke instrumenten te valideren.
• Evaluatie van Soevereine Modellen: Het biedt de eerste validiteitsstudie van een nationaal LLM (AMALIA) in zijn eigen taal, wat de aanname uitdaagt dat "home-language" modellen automatisch een superieure meetvaliditeit bezitten.
• Transcreatie-pipeline: Het beschrijft een rigoureuze, vooraf geregistreerde pipeline voor het creëren van cross-linguale corpora voor constructvalidatie, waarbij wordt gewaarborgd dat de transfer van de code gerechtvaardigd is door verificatie in plaats van aanname.
• Granulaire Foutanalyse: Door prompts te deconstrueren in atomaire clausules, identificeert de studie specifieke foutmodi (bijvoorbeeld het vertrouwen op morele verontwaardiging als proxy voor autoriteit) die holistische metrieken maskeren.

Betekenis en Claims
Het artikel concludeert dat hoewel AMALIA een betrouwbare annotator is (het produceert codes die overeenkomen met de menselijke consensus), het nog geen valide instrument is voor het meten van het theoretische construct van autoriteit. Het produceert de "juiste" codes om de "verkeerde" redenen, waarbij het vertrouwt op oppervlakkige patronen in plaats van de theoretische inferenties die vereist zijn door de definitie van het construct.

De auteurs stellen dat voor soevereine LLM-programma's om vertrouwd te worden met meettaken, zij verder moeten gaan dan overeenstemmingsmetrieken. De cruciale vraag is niet of het model overeenkomt met mensen, maar of het "zijn werk kan laten zien" door de specifieke inferentiële stappen uit te voeren die door de theorie worden gedefinieerd. De studie suggereert dat kleinere nationale modellen mogelijk de "uitvoerbare korrel" missen om complexe theoretische decomposities uit te voeren zonder herkalibratie, en dat validiteitsbewijs moet worden gegenereerd voor specifieke meetdoeleinden, niet alleen voor algemene taalbenchmarks. Het artikel stelt expliciet dat AMALIA geschikt is voor triage en pre-codering, maar niet voor zelfstandige meting van theoretische constructen.