💬 NLP

Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs

Dit artikel stelt "grain calibration" voor, een methode die Large Language Models valideert als meetinstrumenten door theoretische constructen te deconstrueren in componenten op clauseniveau en expliciete, uit de theorie afgeleide regels toe te passen om ervoor te zorgen dat de modellen de beoogde constructen meten in plaats van enkel te correleren met menselijke annotaties.

Oorspronkelijke auteurs: Manuel Pita

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manuel Pita

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Juiste Antwoord voor de Verkeerde Reden

Stel je voor dat je een toets maakt. Je hebt al je antwoorden goed en je leraar geeft je een A. Maar later besef je dat je de wiskunde eigenlijk niet echt begreep; je hebt alleen een patroon gememoriseerd. Bijvoorbeeld: je merkte dat telkens wanneer de vraag het woord "appel" bevatte, het antwoord "rood" was. Je wist niet waarom appels rood zijn; je kende alleen het patroon.

Dit artikel betoogt dat Large Language Models (LLMs) — de AI-tools die we gebruiken om tekst te analyseren — vaak precies dit doen. Wanneer een AI het eens is met een menselijke expert over hoe een stuk tekst gecodeerd moet worden (zoals het labelen van een tweet als "boos" of "ondersteunend"), gaan we ervan uit dat de AI het concept begrijpt. Maar het artikel zegt: Overeenstemming is niet genoeg. De AI kan het juiste label hebben gevonden door een afkorting (een "oppervlakkige kenmerk") te herkennen, in plaats van daadwerkelijk de diepere theorie achter het concept te begrijpen.

Het Verhaal van de "Robot in de Grot"

Om dit uit te leggen, vertelt de auteur een verhaal over een robot genaamd B9 en een jongen die een grot binnengaan. Ze vinden een inscriptie op de muur:

"Drieën liepen het diepe pad. De steen sloot zich achter hen waar water spreekt. Hun laatste adem draagt nog steeds."

De Robot (B9): Scant de woorden. Hij ziet "dood", "water", "steen" en "adem". Hij concludeert onmiddellijk: "Dit is een waarschuwing! Gevaar!" Hij reageert op de angstaanjagende woorden (oppervlakkige kenmerken).
De Jongen: Hij kent de regels van oude rituelen. Hij realiseert zich dat hoewel de woorden over de dood gaan, de intentie anders is. De inscriptie zegt je niet om om te keren; het vertelt je om de doden naar hun bron te volgen. Het is een "consecratie" (een heilige handeling), geen waarschuwing.

De robot faalde omdat hij naar de woorden keek in plaats van naar de relatie tussen de woorden. Hij kon het verschil niet zien tussen een waarschuwing en een zegen, omdat hij de theorie achter het ritueel niet begreep.

De Drie "Blinde Vlekken" (Opaciteiten)

Het artikel stelt dat huidige AI-coderingstools drie "blinde vlekken" hebben die verbergen hoe ze beslissingen nemen:

De Blinde Definitie: De AI krijgt een naam gegeven (zoals "Zorg"), maar krijgt niet de specifieke regels te horen waar "Zorg" precies aan voldoet. De AI raadt het gewoon op basis van wat hij denkt dat "Zorg" meestal inhoudt.
Het Onzichtbare Bewijs: De AI geeft een antwoord, maar laat niet zien welk deel van de tekst hem tot die beslissing heeft gebracht. Het is alsof een rechter een vonnis uitspreekt zonder het bewijs te tonen.
Het Geheime Recept: De AI combineert verschillende aanwijzingen tot een definitief antwoord met behulp van een geheim recept dat we niet kunnen zien. We weten niet of de AI een cruciale aanwijzing heeft genegeerd of een klein detail te veel nadruk heeft gegeven.

De Oplossing: "Grain Calibration"

De auteur stelt een nieuwe methode voor genaamd Grain Calibration. Denk hierbij aan het opdelen van een complex recept in kleine, testbare stappen, zodat je precies kunt zien hoe de taart wordt gebakken.

In plaats van de AI te vragen: "Is deze tekst 'Zorg'?", dwingt deze methode de AI om een reeks specifieke, binaire vragen (clausules) te beantwoorden op basis van de theorie:

Detectie: "Wordt er in de tekst melding gemaakt van een lijdend wezen?" (Ja/Nee)
Onderscheid: "Wordt dit lijden behandeld als een moreel vraagstuk, of slechts als een droog feit?" (Ja/Nee)
Standpunt: "Neemt de schrijver een moreel standpunt in over dit lijden?" (Ja/Nee)

Hoe het werkt:

De Mens in de Lus: Een menselijke onderzoeker stelt deze vragen op basis van de theorie.
Het Bewijs: De AI moet de exacte zin in de tekst aanwijzen die het antwoord "Ja" of "Nee" geeft op elke vraag.
De Regel: Een duidelijke, eenvoudige wiskundige regel (zoals een gewogen score) combineert deze antwoorden. Bijvoorbeeld: Als (Lijden = Ja) EN (Moreel Vraagstuk = Ja) EN (Standpunt = Ja), DAN is het "Zorg".

Hoe het werkt:

De Mens in de Lus: Een menselijke onderzoeker stelt deze vragen op basis van de theorie.
Het Bewijs: De AI moet de exacte zin in de tekst aanwijzen die het antwoord "Ja" of "Nee" geeft op elke vraag.
De Regel: Een duidelijke, eenvoudige wiskundige regel (zoals een gewogen score) combineert deze antwoorden. Bijvoorbeeld: Als (Lijden = Ja) EN (Moreel Vraagstuk = Ja) EN (Standpunt = Ja), DAN is het "Zorg".

Waarom Dit Alles Verandert

Als de AI het juiste antwoord krijgt met deze methode, weten we waarom hij het goed had.

Als de AI "Ja" zegt tegen "Lijden" maar "Nee" tegen "Moreel Vraagstuk", en de uiteindelijke code is "Geen Zorg", dan weten we dat de AI de theorie daadwerkelijk volgt.
Als de AI de uiteindelijke code goed heeft maar de vraag over het "Morele Vraagstuk" fout heeft, weten we dat de AI aan het valsspelen is (een afkorting gebruikt).

Het artikel noemt dit "Grain Calibration" omdat het de "korrel" (de grootte van de stukjes) van de analyse aanpast totdat de AI gedwongen wordt om de theoretische regels te gebruiken, en niet alleen woordpatronen.

De Kern van het Verhaal

Het artikel concludeert dat we een AI niet kunnen vertrouwen alleen omdat hij het eens is met mensen. We moeten een systeem bouwen waarin de AI zijn proces stap voor stap moet laten zien.

Vóór: "De AI zegt dat dit 'Zorg' is omdat hij het eens is met de mens." (We weten niet of de AI slim is of gewoon geluk heeft).
Ná (Grain Calibration): "De AI zegt dat dit 'Zorg' is omdat hij een lijdend wezen heeft gevonden, dit heeft geïdentificeerd als een moreel vraagstuk, en een standpunt heeft ingenomen." (We weten dat de AI daadwerkelijk het concept meet waar we om geven).

Het doel is niet om de AI slimmer te maken; het is om het proces van de AI transparant te maken, zodat we zeker kunnen weten dat hij het juiste meet.

Technische Samenvatting: Correcte Codes om de Foutieve Redenen? Validatie van LLM's als Meetinstrumenten voor Theoretische Constructen

Probleemstelling
Het artikel adresseert een kritieke kloof in het gebruik van Large Language Models (LLM's) als coderingsinstrumenten in de sociale en gedragswetenschappen. Hoewel LLM's frequent hoge overeenstemmingsscores (betrouwbaarheid) behalen met menselijke annotatoren bij tekstcoderingsopdrachten, garandeert deze overeenstemming geen constructvaliditeit. Het kernprobleem is dat LLM's correcte codes kunnen produceren om de "verkeerde redenen". In plaats van een construct te infereren op basis van de theoretische definitie (het nomologische netwerk), vertrouwt een theorie-naïef instrument mogelijk op oppervlakkige kenmerken (bijv. specifieke woordpatronen, sentimentvalentie of oblieke aanwijzingen) die slechts correleren met het construct.

Het artikel identificeert drie cumulatieve opaakheden die verifiëren voorkomen of een LLM werkelijk een theoretisch construct meet:

Definitie-opaakheid: De theoretische componenten van het construct worden niet geëxternaliseerd; de LLM ontvangt alleen de naam van het construct en vertrouwt op zijn interne associaties.
Inferentiële opaakheid: Het instrument rapporteert niet welk specifiek tekstbewijs de verschillende componenten van het construct ondersteunt.
Compositionele opaakheid: De regel die de scores van de componenten combineert tot een definitieve code is impliciet binnen de generatieve passage van het model, waardoor het onmogelijk is te auditeren hoe de uiteindelijke beslissing tot stand is gekomen.

Consequentueel schieten huidige validatiemethoden, die steunen op overeenstemmingsmetrieken (bijv. F1, Cohen's $\kappa$ ) tegenover menselijke grondwaarheid, tekort in het onderscheiden van genuante meting versus het exploiteren van spuriële correlaties.

Methodologie: Grain Calibration (Korrelcalibratie)
Het artikel stelt grain calibration voor, een iteratieve procedure ontworpen om de kloof tussen distributionele competentie (wat LLM's kunnen afleiden uit woordassociaties) en theoretische structuur (wat een construct vereist) te dichten. De methode opereert op de premisse dat een construct moet worden gedecomposeerd in onafhankelijk testbare eenheden voordat de definitieve code wordt gegenereerd.

De procedure omvat drie architecturale stappen:

Decompositie in Clausules: Het theoretische construct wordt afgebroken in zijn constituerende componenten zoals gedefinieerd door zijn nomologische netwerk. Elke component wordt verder gesplitst in clausules—binaire vragen over wat de tekst moet tonen (bijv. "Verwijst de tekst naar lijden?" versus "Wordt het lijden als moreel relevant behandeld?").
Extractieve Gronding: Elke clausule wordt getest tegen de invoertekst om een score te produceren, vergezeld van een extractief segment (een specifiek tekstfragment) dat de score rechtvaardigt. Dit sluit de inferentiële opaakheid door bewijs te leveren voor elke component.
Expliciete Integratieregel: De scores van de clausules worden gecombineerd in een definitieve code met behulp van een geformuleerde, expliciete regel (bijv. een geregulariseerde logistische regressie of een lineaire regel) in plaats van een opaak generatief proces. Deze regel wordt gefit op menselijke codes als grondwaarheid, maar de gewichten worden geïnterpreteerd tegenover de theorie, niet enkel om de overeenstemming te maximaliseren.

Kernbijdragen

Diagnose van Theorie-naïveteit: Het artikel stelt vast dat overeenstemming een maatstaf is voor betrouwbaarheid, niet voor validiteit. Het demonstreert dat LLM's menselijke codes kunnen evenaren door gebruik te maken van shortcuts (oppervlakkige correlaten) die falen in het betrekken van de theoretische relaties die het construct definiëren.
Operationalisering van Substantiele Validiteit: Puttend uit Messicks kader, operationaliseert het artikel het "substantiële aspect" van constructvaliditeit. Het betoogt dat validiteit niet wordt verdiend door de outputscore, maar door bewijs dat het proces van het instrument door het theoretische netwerk van het construct beweegt.
Het Grain Calibration Framework: Het introduceert een specifieke, herhaalbare architectuur (Decompositie $\rightarrow$ Clausule-niveau testen $\rightarrow$ Expliciete Integratie) die een black-box coderingsopdracht transformeert in een transparant, auditeerbaar proces.
Onderscheid tussen Constructie en Validatie: Het artikel stelt dat constructie en validatie binnen dit framework gelijktijdige handelingen zijn. Dezelfde decompositie die het instrument bouwt, is wat de validiteit inspecteerbaar maakt.

Resultaten en Claims
Het artikel presenteert geen nieuwe empirische data of een specifieke casestudy met nieuwe resultaten; in plaats daarvan synthetiseert het bestaande literatuur om de faalmodi van huidige LLM-coderingspraktijken aan te tonen (bijv. het "robot in de grot" gedachte-experiment, fouten in de codering van morele fundamenten, en standpuntdetectie).

De primaire claim is dat grain calibration de noodzakelijke procedure is om valide meting te onderscheiden van spuriële correlatie. Het artikel beargumenteert dat:

Een instrument dat alle drie de opaakheden sluit, de componenten, het bewijs en de integratieregel blootlegt.
De "gewichten" van de integratieregel dienen als diagnostisch instrument. Als een gewicht toegekend aan een theoretisch essentiële clausule nabij nul ligt, of als een enkele clausule gebaseerd op een oppervlakkig kenmerk de beslissing domineert, is het instrument theorie-naïef.
De methode onderzoekers toelaat te itereren: als de gewichten of residuen (de kloof tussen de opaak geprompte tekst en de expliciete decompositie) wijzen op een mismatch met de theorie, kan de onderzoeker de clausules of de decompositie herzien totdat het gedrag van het instrument overeenkomt met de theoretische eisen van het construct.

Betekenis
Het artikel claimt een bescheiden maar fundamentele betekenis. Het stelt geen nieuwe theorie van betekenis voor of claimt dat LLM's wel of geen begrip bezitten. In plaats daarvan adresseert het een methodologische blinde vlek: het veld heeft acceptatie van betrouwbaarheid (overeenstemming) als proxy voor validiteit geaccepteerd omdat een procedure om het proces van codering te testen ontbrak.

Door een mechanisme te bieden om het inferentiële pad te auditeren, stelt grain calibration het veld in staat om niet alleen de vraag te stellen "Komt de LLM overeen met de mens?", maar ook "Komt de LLM overeen met de mens om de redenen die het construct voorschrijft?". Het artikel concludeert dat deze procedure de grens definieert van oplosbare coderingsproblemen, waarbij onderscheid wordt gemaakt tussen constructen die valide geoperationaliseerd kunnen worden via deze methode en constructen die dat niet kunnen (bijv. constructen die puur uit data zijn gegenereerd zonder een voorafgaand theoretisch netwerk). Het positioneert het "substantiële aspect" van validiteit als het ontbrekende stuk in het huidige landschap van LLM-evaluatie.