📊 statistics

Human- vs. AI-generated tests: dimensionality and information accuracy in latent trait evaluation

Deze studie toont aan dat hoewel door AI gegenereerde vragenlijsten qua woordkeuze lijken op menselijke versies, ze significant verschillen in dimensionaliteit en informatieverdeling, wat het belang van statistische validatie voor AI-gestuurde meetinstrumenten onderstreept.

Oorspronkelijke auteurs: Mario Angelelli, Morena Oliva, Serena Arima, Enrico Ciavolino

Gepubliceerd 2026-02-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mario Angelelli, Morena Oliva, Serena Arima, Enrico Ciavolino

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Mensen vs. Robots: Wie maakt de beste test?

Stel je voor dat je een zeer nauwkeurige weegschaal hebt om te meten hoe goed iemand op zijn eigen lichaam let (bijvoorbeeld: voelt hij/zij als hij/zij honger heeft, of merkt hij/zij als zijn hartslag versnelt?). Dit is wat de Body Awareness Questionnaire (BAQ) doet. Het is een test die door menselijke experts is ontworpen en jarenlang is getest.

Nu komen er nieuwe slimme computers, zoals ChatGPT, die ook tests kunnen schrijven. De onderzoekers van deze studie vroegen zich af: "Als we ChatGPT vragen om een nieuwe versie van deze test te maken, werkt die dan net zo goed als de originele menselijke versie?"

Ze lieten ChatGPT twee nieuwe versies maken:

Versie 1 (De precieze robot): Ze gaven ChatGPT heel specifieke instructies en voorbeelden, bijna alsof ze de robot handje-houdend door de test lieten lopen.
Versie 2 (De losse robot): Ze gaven ChatGPT een heel vaag commando: "Maak maar een test over lichaamsgevoel."

Hier is wat ze ontdekten, vertaald in begrijpelijke taal:

1. Het oppervlak ziet er hetzelfde uit (De "Verpakking")

Als je de vragen van de mens en de robot naast elkaar legt, lijken ze op elkaar. Ze gebruiken vergelijkbare woorden en de test voelt voor de deelnemers hetzelfde aan. Net als twee flessen cola die er precies hetzelfde uitzien en hetzelfde zoete gevoel geven.

2. Maar van binnen is er een groot verschil (De "Motor")

Hoewel de verpakking hetzelfde lijkt, werkt de motor eronder heel anders. De onderzoekers keken niet alleen naar de antwoorden, maar gebruikten een geavanceerde wiskundige methode (zoals een röntgenfoto voor de test) om te zien wat er echt gebeurt.

De menselijke test is als een strakke laserstraal: Hij meet precies waar hij moet meten. Als iemand een bepaalde eigenschap heeft, geeft de test daar een heel scherp en betrouwbaar signaal van.
De robot-test is als een mistige flitslamp: Hij schijnt ook, maar het licht is verspreid. De vragen van de robot lijken op de menselijke vragen, maar ze meten de eigenschap op een iets andere manier. De volgorde van de moeilijkheid van de vragen is anders, en de vragen geven informatie over een breder, minder scherp gebied.

3. De "Mistige" instructies maken het erger

De versie van ChatGPT die met de vage instructies was gemaakt (Versie 2), was nog minder betrouwbaar. Het was alsof je iemand vraagt "maak een huis" zonder te zeggen of het een kasteel of een hut moet zijn. Het resultaat was een test die qua structuur zelfs twee verschillende dingen tegelijk probeerde te meten, terwijl de menselijke test maar één ding meet.

4. Waarom maakt dit uit?

Stel je voor dat je een dokter bent die een diagnose moet stellen.

Met de menselijke test weet je precies: "Deze patiënt heeft een hoog niveau aan lichaamsbewustzijn."
Met de robot-test denk je misschien: "Deze patiënt heeft een hoog niveau," maar de test is eigenlijk een beetje wazig. Het kan zijn dat de robot de patiënt een hogere score geeft omdat de vragen anders geformuleerd zijn, niet omdat de patiënt echt beter is.

De Grote Les

De studie concludeert dat AI (zoals ChatGPT) geweldig is om snel tekst te genereren, maar dat we niet zomaar kunnen vertrouwen op wat de robot schrijft.

Mensen zijn de architecten: Ze bouwen de test op een stevige, theoretische basis.
AI is de timmerman: Hij kan snel planken zagen en een huis bouwen dat eruitziet als het origineel, maar de fundering kan anders zijn.

Als we AI willen gebruiken voor psychologische tests of belangrijke beslissingen, moeten we eerst heel goed controleren (met die "röntgenfoto's" van de wiskunde) of de robot de test wel echt goed heeft begrepen. Anders kunnen we op basis van de resultaten verkeerde conclusies trekken over mensen.

Kortom: ChatGPT kan een test schrijven die er op papier perfect uitziet, maar van binnen is het een andere dier. We moeten altijd een menselijke expert laten controleren of de robot niet in de war is geraakt door zijn eigen creatieve antwoorden.

Probleemstelling

Het gebruik van Kunstmatige Intelligentie (KI), en specifiek Large Language Models (LLMs) zoals ChatGPT, neemt snel toe in sociaal-wetenschappelijk en psychologisch onderzoek. Een veelbelovende toepassing is het genereren, aanpassen of personaliseren van meetinstrumenten (vragenlijsten). Echter, er bestaat een kritische onzekerheid over de validiteit van door AI gegenereerde instrumenten.

De kernproblemen zijn:

Gebrek aan theoretische onderbouwing: AI-outputs zijn niet het resultaat van een consistent, conceptueel gefundeerd modelleringsproces, wat de reproduceerbaarheid en generaliseerbaarheid kan beperken.
Bias en hallucinaties: Trainingsdata kunnen taalkundige biases bevatten die stereotypen versterken, en AI kan "hallucineren" (syntactisch correcte maar inhoudelijk onjuiste informatie genereren).
Validiteitskwesties: Het is onduidelijk of AI-gegenereerde vragenlijsten dezelfde latente constructen meten als door mensen ontwikkelde, gevalideerde tests, en of ze informatie op dezelfde manier overdragen over de latent trait (het onderliggende vermogen of kenmerk).

De studie onderzoekt of oppervlakkige gelijkenis in woordkeuze voldoende is, of dat er fundamentele verschillen bestaan in de dimensionale structuur en de informatieve nauwkeurigheid tussen menselijke en AI-gegenereerde tests.

Methodologie

De auteurs voerden een vergelijkende studie uit met de Body Awareness Questionnaire (BAQ) als referentiepunt.

Datacollectie:
- Drie versies van de vragenlijst werden gebruikt:
  - BAQ (Origineel): De gevalideerde menselijke versie (18 items, 7-punts Likert-schaal).
  - GPT.v1: Door ChatGPT gegenereerde versie met een zeer specifieke prompt (inclusief voorbeelden en instructies om de originele items één-op-één te herschrijven).
  - GPT.v2: Door ChatGPT gegenereerde versie met een generieke prompt (alleen de constructomschrijving en het aantal items).
- Steekproef: $N = 178$ respondenten, willekeurig toegewezen aan de drie groepen.
Statistische Analyse:
- Betrouwbaarheid: Berekening van Cronbach's $\alpha$ , ordinaal $\alpha$ , en $\omega$ -coëfficiënten (inclusief hiërarchisch en conditioneel $\omega$ ) en composite reliability ( $\rho_C$ ).
- Dimensionaliteit:
  - Exploratoire Factoranalyse (EFA): Gebruik van polychorische correlaties en het empirische Kaiser-criterium om het aantal factoren te bepalen.
  - Confirmatoire Analyse: Toetsing op essentiële unidimensionaliteit met behulp van de polyDETECT-methode (indices: DETECT, ASSI, RATIO).
- Item Response Theory (IRT): Toepassing van het Bayesian Graded Response Model (GRM).
  - Parameters: Discriminatie ( $\gamma$ ), moeilijkheid ( $\beta$ ) en drempels ( $\delta$ ).
  - Schatting via MCMC (Markov Chain Monte Carlo) met 20.000 iteraties.
- Informatiefuncties:
  - Berekening van de Item Information Function (IIF) en Test Information Function (TIF).
  - Vergelijking van de menselijke en AI-versies via twee indices:
    - Overlap ( $\cap$ ): Maat voor gelijkenis tussen de informatiefuncties.
    - Dominantie ( $D_m$ ): Maat voor het aandeel van de totale informatie waarbij de ene test nauwkeuriger is dan de andere.

Belangrijkste Bijdragen

Methodologische Innovatie: De studie introduceert een robuuste framework voor het evalueren van AI-generatie van psychometrische instrumenten, verdergaand dan simpele betrouwbaarheidsmetingen. Het combineert Bayesian IRT met specifieke overlap- en dominantie-maatstaven om "epistemische onzekerheid" in AI-outputs te kwantificeren.
Ontmaskering van "Black Box" Verschillen: Het toont aan dat AI-gegenereerde tests, zelfs bij zeer specifieke prompts, fundamenteel kunnen afwijken van menselijke tests in termen van de rangschikking van itemmoeilijkheid en discriminatie, ondanks oppervlakkige tekstuele gelijkenis.
Prompt-afhankelijkheid: Het benadrukt hoe kritisch de prompt-engineering is; een generieke prompt leidt tot een fundamenteel andere dimensionale structuur dan een specifieke prompt.

Resultaten

Betrouwbaarheid: Alle drie de tests vertoonden vergelijkbare interne consistentie (geen significante verschillen in Cronbach's $\alpha$ of $\omega$ ). Dit suggereert dat AI-gegenereerde tests op het eerste gezicht even betrouwbaar lijken.
Dimensionaliteit:
- De originele BAQ en de specifieke AI-versie (GPT.v1) toonden een eendimensionale structuur in de EFA.
- De generieke AI-versie (GPT.v2) vereiste echter twee factoren, wat wijst op een gebrek aan coherentie in de constructmeting bij minder specifieke prompts.
Essentiële Unidimensionaliteit:
- Bij gebruik van een naïeve score (mediaan van antwoorden) faalde GPT.v1 de toets op essentiële unidimensionaliteit.
- Echter, bij gebruik van de geschatte latente trait-waarden ( $\hat{\vartheta}$ ) uit het Bayesian GRM, werden alle tests als essentieel unidimensionaal bevonden.
Gebrek aan Co-monotonie:
- Er was geen co-monotonie tussen de originele BAQ en GPT.v1. De rangschikking van items op basis van moeilijkheid ( $\beta$ ) en discriminatie ( $\gamma$ ) verschilde significant. De moeilijkste items in de originele test waren niet noodzakelijk de moeilijkste in de AI-versie.
Informatie en Dominantie:
- Overlap: Er was een hoge overlap (minimaal 72,8%) in de informatiefuncties, wat suggereert dat de items vergelijkbare informatie overdragen.
- Dominantie: De originele BAQ was echter concentratiever en nauwkeuriger in het meten van de latente trait in het centrale bereik. De AI-versie (GPT.v1) verspreidde de informatie over een breder bereik, wat wijst op minder specifieke meting.
- Item 15 (met de laagste discriminatie in de originele test) was een uitzondering waar de AI-versie relatief meer informatie leverde.
Drempels: De AI-versies vertoonden lagere drempelwaarden ( $\delta$ ) voor het bereiken van hogere responsniveaus, wat suggereert dat de AI-items makkelijker te "beantwoorden" waren in de richting van extreme scores, mogelijk door ambiguïteit in de formulering.

Betekenis en Conclusie

De studie concludeert dat hoewel AI-gegenereerde vragenlijsten hoge betrouwbaarheidsscores kunnen behalen, ze niet direct equivalent zijn aan menselijk ontwikkelde instrumenten.

Validiteitsrisico: De afwijkingen in dimensionale structuur, itemrangschikking en de spreiding van informatiefuncties wijzen op een vorm van epistemische onzekerheid. AI-tools kunnen constructen meten die subtiel verschillen van de bedoelde constructen, wat de validiteit van sociale indicatoren kan ondermijnen.
Rol van de Prompt: De kwaliteit en specificiteit van de prompt zijn cruciaal. Een generieke prompt leidt tot onbetrouwbare dimensionale structuren.
Toekomstperspectief: De auteurs pleiten voor het gebruik van geavanceerde psychometrische methoden (zoals IRT en Bayesian schatting) om AI-outputs te valideren voordat deze in de praktijk worden ingezet. Toekomstig onderzoek moet zich richten op het uitbreiden van steekproeven, het incorporeren van covariaten (DIF-analyse) en het gebruik van divergentie-maatstaven (zoals Kullback-Leibler) om de verschillen tussen mens en machine verder te kwantificeren.

Kortom: AI is een krachtig hulpmiddel voor het genereren van testprototypen, maar menselijke supervisie en strikte psychometrische validatie zijn onmisbaar om de interpretatie en geldigheid van de resultaten te waarborgen.