Validating LLMs in social science: Epistemic threats and emerging norms

Stel je voor dat sociale wetenschappers als detectives zijn die mysteries over menselijk gedrag proberen op te lossen. Jarenlang hebben ze teams van menselijke helpers moeten inhuren om duizenden documenten te lezen, ze in categorieën te sorteren, of te raden hoe mensen op enquêtevragen zouden antwoorden. Het is traag, duur en vermoeiend.

Maak kennis met het Large Language Model (LLM): een superintelligente, digitale robotassistent die sneller kan lezen en schrijven dan wie dan ook. Onderzoekers vragen deze robots nu om het zware werk te doen, door rommelige tekst om te zetten in nette cijfers en grafieken. Het klinkt als een toverstaf, toch? Maar een nieuwe studie van Meera Desai, Dallas Card en Abigail Z. Jacobs suggereert dat hoewel de toverstaf glanst, de magie misschien wat ingewikkelder is dan gedacht.

De Grote Ontdekking: Het "Black Box"-probleem

De auteurs keken naar 27 papers die tussen 2023 en 2025 in de top tijdschriften voor sociale wetenschappen zijn gepubliceerd. Ze vonden 50 specifieke taken waarbij onderzoekers deze AI-robots gebruikten om zaken te meten zoals "beledigendheid", "politieke ideologie" of "sentiment".

Hier is de wending: in bijna al deze gevallen waren de metingen van de robot de hoofdrol. Ze waren het kernbewijs dat werd gebruikt om grote claims te maken over hoe de samenleving werkt. Toch, toen de auteurs achter het gordijn keken om te zien hoe de onderzoekers controleerden of de robots daadwerkelijk de waarheid spraken, stuitten ze op een puinhoop.

Denk aan het bakken van een taart. Je kunt een hippe, hoogtechnologische oven (het LLM) gebruiken om een taart te bakken. Maar als je niet de temperatuur controleert, niet het beslag proeft en niet precies weet welk recept je hebt gebruikt, kun je niet zeker weten of de taart wel een taart is en geen baksteen. De studie toonde aan dat onderzoekers vaak met deze hoogtechnologische ovens bakken, maar de smaaktesten overslaan.

De Drie Grote Fouten

Het artikel belicht drie manieren waarop onderzoekers de weg kwijtraken:

1. Het "Vage Recept" (Conceptualisering):
   Stel je voor dat je een robot vertelt: "Zoek een 'slechte' post voor mij." Maar je vertelt de robot nooit wat "slecht" betekent. Is het onbeleefd? Is het verdrietig? Is het fout?
   De studie vond dat in 13 papers (die 29 taken beslaan), onderzoekers hun concepten helemaal niet definieerden. Ze gebruikten slechts één woord of een korte frase. Het is alsof je een chef vertelt: "Maak me een 'heerlijke' maaltijd" zonder te zeggen of je iets pittigs, zoets of hartigs wilt. Zonder een duidelijke definitie kan de robot iets heel anders meten dan de onderzoeker bedoelde.

2. De "Willekeurige Instellingen" (Operationalisering):
   Een LLM gebruiken is als het rijden in een auto met een miljoen knoppen en draaiknoppen. Je moet het model kiezen, de "temperatuur" (hoe creatief of willekeurig de antwoorden zijn) en hoe je het antwoord uit de lange, verhalende reactie van de robot haalt.
   De auteurs vonden dat onderzoekers deze knoppen op zeer verschillende manieren instelden, vaak gebaseerd op een intuïtie of een gok. Sommigen gebruikten zero-shot prompts (alleen instructies, geen voorbeelden), terwijl anderen few-shot prompts gebruikten (instructies plus voorbeelden). Sommigen vroegen de robot om met een getal te antwoorden; anderen vroegen om een zin.
   Het enge deel? Het artikel suggereert dat kleine veranderingen in deze instellingen de resultaten volledig kunnen veranderen. Het is alsof je de radio een klein beetje bijdraait en plotseling een ander station hoort. Toch legden veel onderzoekers niet uit waarom ze hun specifieke instellingen hadden gekozen, waardoor het voor anderen moeilijk is om het experiment te herhalen.

3. De "Eenduidige Controle" (Validatie):
   Dit is het grootste probleem. Wanneer je een robot gebruikt om iets te meten, moet je bewijzen dat het nauwkeurig is. De gouden standaard is het vergelijken van het werk van de robot met het werk van een mens (de "gouden standaard").
   De studie toonde aan dat 38 van de 50 taken bijna volledig vertrouwden op één type controle: convergente validiteit. Dit betekent dat ze simpelweg vroegen: "Is de robot het eens met de mens?"
   Maar het artikel betoogt dat dit niet genoeg is. Het is alsovergelijkbaar met het controleren of een nieuwe thermometer werkt door hem te vergelijken met een oude die misschien ook kapot is. De auteurs stellen voor dat onderzoekers een hele gereedschapskist aan controles moeten gebruiken:

   • Face validity (Schijnvaliditeit): Ziet het antwoord er op het eerste gezicht redelijk uit?
   • Hypothesis validity (Hypothesevaliditeit): Helpt de data om een echt, interessant vraagstuk te beantwoorden?
   • Predictive validity (Voorspellende validiteit): Voorspellen de data toekomstige gebeurtenissen correct?
   • Discriminant validity (Discriminante validiteit): Meet de robot alleen wat we hebben gevraagd, of pikt hij ook andere dingen op?

   Schokkend genoeg hadden 8 taken in de studie geen enkele validatie. Ze namen gewoon het woord van de robot voor waar aan.

Wat het Papier Uitsluit

De auteurs zijn zeer duidelijk over wat deze studie niet zegt. Ze zeggen niet dat LLM's nutteloos zijn. Ze zeggen niet dat we ze niet moeten gebruiken.

Ze sluiten echter expliciet de gedachte uit dat we deze modellen zomaar "plug and play" kunnen gebruiken. Je kunt een LLM niet behandelen als een standaard liniaal of een thermometer die elke keer hetzelfde resultaat geeft als je hem gebruikt. Het artikel spreekt zich tegen het idee uit dat deze modellen "universele instrumenten" zijn die automatisch betekenisvolle metingen oproepen. In plaats daarvan zijn het op maat gemaakte hulpmiddelen die zorgvuldige ontwerpen, precieze definities en rigoureuze tests vereisen.

Ze sluiten ook de gedachte uit dat de huidige manier van werken "goed genoeg" is. Het feit dat onderzoekers stappen zoals het definiëren van concepten of het controleren op bias overslaan, is niet slechts een kleine overtreding; het is een bedreiging voor het hele vakgebied. Als de metingen wankel zijn, zijn de conclusies over de samenleving dat ook.

Hoe Zeker Zijn We?

De auteurs zijn zeer zelfverzekerd over hun bevindingen omdat ze niet alleen geraden hebben; ze hebben het werk gedaan. Ze verzamelden een uitgebreide lijst van 2.143 papers uit top tijdschriften en codeerden handmatig 27 papers met 50 specifieke taken. Ze hebben dit niet gesimuleerd; ze hebben naar echt, gepubliceerd onderzoek gekeken.

Ze ontdekten dat hoewel LLM's centraal staan in de sociale wetenschappen, de "normen" (de verkeersregels) voor het veilig gebruiken ervan nog niet zijn ingehaald. Het artikel suggereert dat zonder betere regels — zoals altijd je termen definiëren, elke gebruikte instelling rapporteren en je werk controleren met meerdere methoden — we het risico lopen een kaartenhuis te bouwen op een wankele fundering.

De Kernboodschap

Het artikel eindigt met een oproep tot actie. Het is geen "stop"-bord, maar een "ga voorzichtig te werk"-bord. Sociaal wetenschappers moeten deze AI-tools met dezelfde respect en strengheid gaan behandelen als menselijke enquêteurs. Ze moeten opschrijven wat ze de robot precies hebben gevraagd, hoe ze het hebben gevraagd en hoe ze het antwoord hebben gecontroleerd.

Tot die tijd is de robot misschien een krachtige assistent, maar het blijft een beetje een mysterie. En in de wetenschap zijn mysteries leuk, maar ze leveren geen harde feiten op.