📈 economics

Measuring What Cannot Be Surveyed: LLMs as Instruments for Latent Cognitive Variables in Labor Economics

Dit artikel introduceert een theoretisch en praktisch raamwerk voor het gebruik van Large Language Models als meetinstrumenten voor latente cognitieve variabelen in de arbeidsmarkt, wat resulteert in een gevalideerde Augmented Human Capital Index die meetfouten corrigeert en onderscheid maakt tussen versterking en vervanging door AI.

Oorspronkelijke auteurs: Cristian Espinal Maya

Gepubliceerd 2026-04-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Cristian Espinal Maya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel groot, ingewikkeld puzzelstuk probeert te meten, maar dat stuk is onzichtbaar. In de economie noemen we dit een "latente variabele". Denk aan vragen als: "Hoe makkelijk kan een AI het werk van een verpleegster verbeteren?" of "Hoeveel van het werk van een accountant is puur routine en hoeveel vraagt het om menselijk oordeel?"

Vroeger was het antwoord op deze vragen een droom. Je moest duizenden experts inhuren om elk beroep te beoordelen, wat maanden duurde en een fortuin kostte. Of je moest gokken op basis van simpele trefwoorden, wat vaak de nuance mist.

Dit nieuwe onderzoek, geschreven door Cristian Espinal Maya, stelt een revolutionaire oplossing voor: gebruik een slimme AI (een Large Language Model of LLM) als meetinstrument.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Onzichtbare Weegschaal

Stel je voor dat je wilt weten hoe "sterk" een brug is, maar je kunt hem niet aanraken of meten. Je kunt alleen kijken naar de beschrijvingen van de brug.

De oude manier: Je vraagt 50 ingenieurs om de beschrijving te lezen en een cijfer te geven. Dat is duur, langzaam en elke ingenieur heeft een iets andere mening.
De nieuwe manier: Je geeft de beschrijving aan een super-slimme computer (een LLM) en vraagt: "Hoe goed kan een robot dit werk helpen?"

2. De Grootste Vraag: Kan een Computer Betrouwbaar Zijn?

Natuurlijk is de vraag: "Is die computer niet gewoon aan het ratelen?"
De auteur zegt: "Ja, de computer maakt fouten, maar we kunnen die fouten meten en corrigeren." Hij heeft vier regels opgesteld om te bewijzen dat deze AI-metingen wetenschappelijk geldig zijn:

De "Blinde" Regel (Semantische Exogeniteit): De AI mag alleen kijken naar wat er geschreven staat over de baan. Hij mag niet weten wat het salaris is of hoeveel mensen er ontslagen worden. Als hij die antwoorden al zou kennen, zou hij de meting "vervals" maken. Het is alsof je een chef vraagt om een gerecht te beoordelen op smaak, maar je vertelt hem niet hoeveel geld het kostte.
De "Herkenbaarheid" Regel (Construct Relevance): De scores van de AI moeten overeenkomen met wat we al weten. Als de AI zegt dat "chirurgie" moeilijk te automatiseren is, en andere experts zeggen dat ook, dan klopt het.
De "Rangorde" Regel (Monotonie): Als de AI zegt dat baan A "veel" hulp nodig heeft en baan B "weinig", dan moet dat kloppen. De volgorde moet logisch zijn.
De "Dubbelcheck" Regel (Model Invariance): Dit is het slimste deel. De auteur laat twee verschillende AI's (noem ze "AI-Anna" en "AI-Bob") dezelfde taken beoordelen.
- Vergelijking: Stel je voor dat twee verschillende juryleden een zangwedstrijd beoordelen. Jurylid A geeft allemaal cijfers rond de 8, en Jurylid B geeft rond de 9. Ze zijn het niet helemaal eens over het exacte cijfer, maar ze zijn het wel eens over wie de winnaar is en wie de verliezer. Die volgorde is wat telt!

3. Het Experiment: De "Augmented Human Capital Index"

De auteur heeft 18.796 taken uit een beroependatabase (O*NET) laten beoordelen door een AI genaamd "Claude Haiku".

Het resultaat: De AI's waren het zeer eens over de volgorde van de beroepen.
De ontdekking: De AI kon twee dingen heel goed van elkaar onderscheiden:
1. Vervanging: Taken die de AI overneemt (de mens verdwijnt).
2. Versterking: Taken waar de AI de mens bij helpt (de mens wordt sterker).
  Veel eerdere studies verwarden deze twee, maar deze nieuwe metheling maakt ze duidelijk zichtbaar.

4. De "Rustige" Fouten en de Oplossing

De AI's maken fouten, maar het zijn "rustige" fouten.

Vergelijking: Stel je voor dat je twee verschillende thermometers gebruikt om de temperatuur te meten. Thermometer A is altijd 2 graden te hoog, en Thermometer B is altijd 3 graden te hoog. Maar ze stijgen en dalen precies even snel.
De oplossing: Omdat we weten dat ze beide een beetje "verkeerd" zijn, kunnen we wiskundige trucs gebruiken (zoals ORIV) om de echte temperatuur te berekenen. De auteur heeft bewezen dat als je deze AI-scores gebruikt in economische formules, je de echte effecten kunt vinden, mits je de "thermometer-fouten" corrigeert.

5. Waarom is dit een Game-Changer?

Vroeger kostte het het meten van deze vaardigheden maanden en duizenden euro's.

De nieuwe methode: Het kostte ongeveer $5 en 6 uur om 18.796 taken te beoordelen.
De impact: Dit opent de deur voor onderzoekers om nu dingen te meten die voorheen onmogelijk waren. Denk aan het beoordelen van miljoenen juridische documenten, overheidsbeleid of contracten om te zien of ze "mensvriendelijk" of "exploitatief" zijn.

Conclusie in één zin

Dit papier bewijst dat we slimme computers niet hoeven te zien als "zwakke" meetinstrumenten, maar als krachtige, goedkope en betrouwbare meetlaten voor de onzichtbare vaardigheden van de mens, mits we ze op de juiste manier gebruiken en dubbelchecken.

Het is alsof we eindelijk een bril hebben gekregen waarmee we de onzichtbare wereld van "menselijk denken" in banen eindelijk kunnen zien en meten.

Titel: Het Meten van Wat Niet Kan Worden Enquêtes: LLM's als Instrumenten voor Latente Cognitieve Variabelen in Arbeidseconomie

1. Het Onderzoeksprobleem

De economie staat voor een hardnekkig meetprobleem: veel centrale variabelen in de theorie zijn latente variabelen (niet direct waarneembaar), zoals de cognitieve inhoud van beroepstaken. Traditionele methoden om deze te meten hebben aanzienlijke beperkingen:

Expertpanels (bijv. O*NET): Zijn duur, traag en leiden tot subjectieve ratings met lage betrouwbaarheid tussen beoordelaars.
Crowdsourcing: Is sneller maar introduceert ruis door gebrek aan expertise.
Patent-matching: Biedt slechts een indirecte proxy via technologische capaciteit, niet via taakinhoud.
Trefwoordmatching: Kan semantische nuances niet vangen (bijv. het onderscheid tussen taken die door AI worden vervangen versus taken die door AI worden aangevuld/augmentatie).

Er is een behoefte aan een instrument dat in staat is om de semantische inhoud van documenten op een schaalbare, goedkope en economisch valide manier te kwantificeren.

2. Methodologie en Theoretisch Kader

De auteur stelt een systematisch kader voor waarbij Large Language Models (LLM's) worden gebruikt als meetinstrumenten voor latente economische variabelen. Het centrale idee is dat LLM's, getraind op enorme corpora van beroepsbeschrijvingen en taaktaxonomieën, voldoende semantische kennis bevatten om taakkenmerken te evalueren die anders dure expertpanels vereisen.

De Vier Validiteitsvoorwaarden:
Om een door een LLM gegenereerde score ( $\hat{H}_{LLM}$ ) te beschouwen als een geldig meetinstrument voor een latente variabele ( $H^*$ ), moeten vier voorwaarden gelden:

Semantische Exogeniteit: De prompt mag uitsluitend verwijzen naar de semantische inhoud van de taken (beschrijvingen, vaardigheden) en nooit naar arbeidsmarkte uitkomsten (lonen, werkgelegenheid). Dit garandeert dat de meetfout ( $\eta$ ) niet gecorreleerd is met de uitkomstvariabele.
Construct Relevantie: De LLM-score moet positief gecorreleerd zijn met de latente variabele. Dit wordt aangetoond via convergente validiteit (correlatie met bestaande maten) en voorspellende validiteit.
Monotonie: Hogere scores moeten corresponderen met een hogere mate van de latente variabele (het teken van regressiecoëfficiënten moet interpreteerbaar blijven).
Model-Invariantie: De rangschikking van beroepen moet consistent blijven over verschillende LLM-modellen heen, zelfs als er sprake is van een systematisch niveauverschil (level shift).

Toepassing: De Augmented Human Capital Index (AHCo)

Data: 18.796 unieke taakstellingen uit O*NET versie 30.2.
Instrument: Claude Haiku 4.5 scoort elke taak op "augmentatiepotentieel" (hoeveel kan AI helpen?) en "vervangingrisico".
Validatie: Een steekproef van 3.666 taken werd onafhankelijk herbeoordeeld door Claude Sonnet 4.
Validatie tegen externe indices: Vergelijking met zes bestaande AI-exposuure-indexen (o.a. Felten AIOE, Eloundou GPT exposure, Frey-Osborne).

3. Belangrijkste Resultaten

A. Validiteit en Betrouwbaarheid

Convergente Validiteit: De AHCo-index toont sterke correlaties met bestaande maatstaven ( $r = 0,85$ met Eloundou GPT- $\gamma$ , $r = 0,79$ met Felten AIOE).
Discriminante Validiteit: De index correleert zwak met directe automatiseringsrisico's ( $r = 0,17$ ), wat bevestigt dat "augmentatie" en "vervanging" twee verschillende constructen zijn.
Inter-beoordelaarsbetrouwbaarheid: Tussen Haiku en Sonnet is de correlatie hoog (Pearson $r = 0,76$ ; Krippendorff's $\alpha = 0,71$ na gemiddelde correctie).
Model-Invariantie: Hoewel Sonnet systematisch hogere scores geeft (+8,6 punten), blijft de rangschikking van beroepen behouden. Dit bevestigt dat niveauverschillen geen invloed hebben op regressiecoëfficiënten na standaardisatie.

B. Dimensionaliteit (PCA)
Een Principal Component Analysis (PCA) van 11 AI-exposuure-indexen onthult twee dominante dimensies:

PC1 (62% variatie): Algemene "cognitieve AI-relevantie".
PC2 (15% variatie): "Augmentatie versus Vervanging".
De AHCo-index laadt sterk negatief op PC2, wat bevestigt dat deze specifiek de augmentatie-dimensie meet, gescheiden van vervangingsrisico's.

C. Econometrische Eigenschappen en Meetfout

Meetfoutstructuur: De onenigheid tussen modellen volgt een klassiek meetfoutpatroon (attenuatiebias).
ORIV Schatting: Door gebruik te maken van Obviously Related Instrumental Variables (ORIV) (waarbij Sonnet dient als instrument voor Haiku), wordt de attenuatiebias gecorrigeerd.
- De OLS-schatting voor het effect van augmentatie op lonen was $+0,080$ .
- De ORIV-correctie leverde een coëfficiënt van $+0,100$ op (een toename van 25%), wat consistent is met de geschatte attenuatiefactor ( $\hat{\lambda} = 0,88$ ).
- Dit bewijst dat LLM-scores klassieke meetfouten bevatten die correctie toelaten, en dat de resultaten robuust zijn.

D. Prompt Sensitiviteit
Variatie in promptformulering (4 varianten) beïnvloedt de absolute schaal van de scores, maar de rangschikking van beroepen blijft robuust. De variantie door de taak zelf domineert de variantie veroorzaakt door de prompt.

4. Bijdragen en Significantie

Wetenschappelijke Bijdragen:

Formalisering: De eerste systematische formalisering van de voorwaarden waaronder LLM's als econometrische instrumenten kunnen worden gebruikt voor latente variabelen.
Empirisch Bewijs: Een uitgebreide validatie van een nieuwe index (AHCo) die aantoont dat LLM's in staat zijn om complexe cognitieve nuances (augmentatie vs. vervanging) te onderscheiden die traditionele methoden missen.
Methodologische Correctie: Demonstreert dat ORIV-technieken effectief kunnen worden toegepast om meetfouten in LLM-gegenereerde data te corrigeren, waardoor betrouwbare causale inferenties mogelijk worden.

Praktische en Economische Impact:

Kosten-Kwaliteit Frontlijn: Het scoren van 18.796 taken kostte ongeveer $5 en 6 uur, in vergelijking met maanden durend werk van expertpanels voor O*NET.
Generaliseerbaarheid: De methode is niet beperkt tot arbeidseconomie. Ze is toepasbaar op elk domein waar semantische inhoud van documenten, beleidsstukken of instituties moet worden gekwantificeerd (bijv. contractanalyse, juridische redenering, beleidsevaluatie).
Toekomstperspectief: Naarmate LLM's verbeteren, zal de betrouwbaarheid toenemen, maar de hier geformuleerde validiteitsvoorwaarden blijven de standaard voor economische validiteit.

Conclusie:
Dit paper levert het bewijs dat LLM's niet slechts "scoren" kunnen produceren, maar dat ze onder strikte voorwaarden geldige, econometrisch bruikbare instrumenten zijn voor het meten van latente cognitieve variabelen. Dit opent nieuwe wegen voor onderzoek in arbeidseconomie en daarbuiten, waarbij de barrière voor het meten van complexe concepten drastisch wordt verlaagd.