Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

In de uitgestrekte wereld van het onderwijsonderzoek vertrouwen wetenschappers vaak op enorme enquêtes om te begrijpen hoe leerlingen leren, wat hen motiveert en waar ongelijkheden liggen. Een van de meest beroemde van deze enquêtes is de Programme for International Student Assessment, of PISA, die elke paar jaar leerlingen uit tientallen landen test. Naast de reken- en leesvaardigheidstests vullen leerlingen lange vragenlijsten in over hun leven, hun gewoonten en hoe ze studeren. Deze vragenlijsten zijn cruciaal omdat ze de context bieden die nodig is om de testscores te duiden. Echter, een hardnekkig probleem bij dergelijke lange enquêtes is dat leerlingen soms stoppen met antwoorden. Ze kunnen de laatste vragen overslaan, of ze kunnen stoppen met het geven van nuttige antwoorden lang voordat ze officieel stoppen. Traditioneel hebben onderzoekers deze ontbrekende informatie behandeld als een plotselinge gebeurtenis: een leerling beantwoordt een vraag, en dan stopt hij plotseling met antwoorden. Maar dit standpunt gaat ervan uit dat het moment waarop een leerling stopt met antwoorden ook het moment is waarop hij niet meer om geeft, waarbij voorbij wordt gegaan aan de mogelijkheid dat het gedrag van de leerling al veel langer stilzwijgend aan het veranderen was voordat het eerste lege vakje verscheen.

Een nieuwe studie door Jorge Eliécer Villarreal-Fernández daagt deze aanname uit door te kijken naar het gedrag van leerlingen in dertien Latijns-Amerikaanse landen tijdens de cyclus van PISA in 2025. In plaats van te wachten tot een leerling stopt met antwoorden, observeerde de onderzoeker hoe snel zij de vragenlijsten invulden terwijl ze zich door de vragen bewogen. De studie richt zich op een specifiek gedrag genaamd "rapid responding" (snel antwoorden), waarbij een leerling zo snel door de vragen gaat dat dit suggereert dat hij de vragen niet meer zorgvuldig leest, maar simpelweg doorklikt om klaar te zijn. De centrale vraag was of deze haast naar de finishlijn plaatsvindt voordat een leerling daadwerkelijk stopt met antwoorden, en zo ja, welke factoren dit voorspellen. De onderzoeker wilde ook weten of dit gedrag de resultaten van de enquête veranderde. Specifiek keek de studie naar twee belangrijke schalen die zich bijna aan het einde van de vragenlijst bevonden: één die meet hoe goed leerlingen hun eigen studieproces plannen en monitoren, en een andere die meet hoe vaak zij hulp vragen aan docenten en klasgenoten. Door de timinggegevens van meer dan 116.000 leerlingen te analyseren, onthult de studie dat het verlies van de stem van een leerling in een enquête zelden een plotselinge stilte is, maar eerder het einde van een geleidelijk proces dat lang voor het verdwijnen van de gegevens kan worden gezien en gemeten.

Het onderzoek begon door de vragenlijst niet alleen als een lijst met vragen te beschouwen, maar als een tijdlijn van gedrag. De onderzoeker onderzocht de tijd die elke leerling nodig had om kleine blokken vragen te voltooien. Als een leerling aanzienlijk sneller antwoordde dan het typische tempo voor dat blok, werd dit gemarkeerd als "rapid responding". Om te garanderen dat dit niet slechts een gelukkige gok of een momentane versnelling was, vereiste de studie dat dit snelle gedrag aanhield over een opeenvolging van meerdere blokken. Pas wanneer een leerling dit gehaaste tempo gedurende een langere periode handhaafde, werd deze beschouwd als overgegaan naar een staat van desinteresse. Dit onderscheid is essentieel omdat het leerlingen die simpelweg snel zijn scheidt van leerlingen die gestopt zijn met proberen. De analyse toonde aan dat deze overgang niet willekeurig is. Ongeveer drie kwart van de leerlingen die uiteindelijk geen score leverden voor de schalen voor studieplanning of hulpzoeken, bevond zich al in deze aanhoudende fase van snel antwoorden voordat zij zelfs de sectie bereikten die die specifieke vragen bevatte. Met andere woorden, de waarschuwingssignalen waren zichtbaar lang voordat de gegevens daadwerkelijk verloren gingen.

Wat drijft een leerling om een vragenlijst door te spoelen? De studie vond dat het antwoord deels ligt in hoe het tempo van een leerling zich verhoudt tot de leerlingen die naast hen zitten in dezelfde school. De onderzoeker berekende een "relatieve vertraging", die meet hoeveel trager of sneller een leerling is in vergelijking met hun leeftijdsgenoten in dezelfde klas of school. De resultaten waren opmerkelijk: voor elke vijf minuten die een leerling achterliep op het gemiddelde tempo van hun schoolgenoten, nam de kans dat zij de staat van aanhoudend snel antwoorden zouden betreden met ongeveer 41 procent toe. Dit suggereert dat de sociale omgeving van de testruimte ertoe doet. Een leerling die het gevoel heeft achter te lopen op zijn klasgenoten, kan druk voelen om in te halen, wat leidt tot het opgeven van zorgvuldig lezen ten gunste van snelheid. Dit effect varieerde sterk per land, maar het patroon bleef overal overeind. Interessant genoeg voorspelde de sociaaleconomische achtergrond van de leerling zelf dit gedrag niet wanneer deze werd vergeleken met hun directe klasgenoten. In plaats daarvan was de sociaaleconomische samenstelling van de school zelf de sterkere factor. Leerlingen op scholen met een hogere gemiddelde sociaaleconomische status waren minder geneigd om de vragen door te spoelen, ongeacht hun eigen rijkdom. Dit wijst op het idee dat de institutionele omgeving — misschien de beschikbare middelen, de testatmosfeer of de manier waarop de enquête wordt afgenomen — een grotere rol speelt in de betrokkenheid van leerlingen dan individuele omstandigheden.

De studie stelde vervolgens een kritische vraag: verandert dit gedrag daadwerkelijk de resultaten die we uit de enquête halen? Als de leerlingen die door de vragen spoelen anders zijn dan de leerlingen die de tijd nemen, dan kunnen de gemiddelde scores die we berekenen onjuist zijn. Om dit te achterhalen, vergeleek de onderzoeker de antwoorden van leerlingen die betrokken bleven met die van leerlingen die waren overgegaan op snel antwoorden, maar nog wel in staat waren de specifieke schalen te voltooien. Het goede nieuws was dat voor de leerlingen die de vragenlijst afmaakten, de manier waarop zij de vragen beantwoordden zeer vergelijkbaar was. De vragen over studieplanning en het vragen om hulp leken voor beide groepen hetzelfde te meten. Het slechte nieuws was echter dat de groep leerlingen die observeerbaar bleef, geen perfecte spiegel was van de gehele populatie. Omdat de leerlingen die door de vragen spoelden een grotere kans hadden om volledig uit te vallen voordat ze het einde bereikten, was de uiteindelijke groep respondenten iets anders dan de oorspronkelijke groep van alle leerlingen.

Toen de onderzoeker de gegevens aanpaste om rekening te houden met deze ontbrekende groep, veranderden de resultaten op een specifieke en verrassende manier. De geschatte gemiddelde score voor de schaal voor studieplanning daalde licht. Dit betekent dat de leerlingen die de vragen bleven beantwoorden, gemiddeld genomen iets beter waren in het plannen van hun studie dan de volledige populatie leerlingen, omdat de leerlingen die door de vragen spoelden en uitvielen, minder waarschijnlijk goede planners waren. De schatting voor de schaal voor hulpzoeken veranderde echter nauwelijks. Hoewel beide schalen zich aan het uiterste einde van de vragenlijst bevonden en even kwetsbaar waren voor uitval door leerlingen, was de impact van de ontbrekende gegevens verschillend voor elk onderwerp. Dit bewijst dat de gevolgen van ontbrekende gegevens niet uniform zijn; ze hangen volledig af van wat er gemeten wordt. Een enquête kan een specifiek type leerling verliezen zonder het gemiddelde voor één onderwerp te veranderen, terwijl het gemiddelde voor een ander onderwerp aanzienlijk vertekent.

De bevindingen van deze studie bieden een nieuwe manier om naar enquêtegegevens te kijken. Het suggereert dat wanneer een leerling stopt met het beantwoorden van een lange vragenlijst, dit vaak de culminatie is van een proces dat veel eerder begon. De overgang van zorgvuldig antwoorden naar snel antwoorden, en uiteindelijk naar stilte, is een zichtbaar pad dat getraceerd kan worden met behulp van de door de computer verzamelde timinggegevens. Dit verandert de manier waarop onderzoekers ontbrekende informatie moeten interpreteren. In plaats van aan te nemen dat ontbrekende gegevens slechts een willekeurige leemte zijn, kunnen zij zoeken naar de gedragssignalen die eraan voorafgaan. Voor de ontwerpers van toekomstige enquêtes betekent dit dat timinginformatie gebruikt zou kunnen worden als een vroeg waarschuwingssysteem. Als een leerling begint achter te lopen op de snelheid van hun klasgenoten, zou het mogelijk zijn om in te grijpen of de enquête aan te passen voordat de leerling helemaal stopt met antwoorden. De studie beweert niet het probleem van ontbrekende gegevens te hebben opgelost, noch suggereert het dat elke enquête precies deze resultaten zal laten zien. Maar het laat wel zien dat het verlies van de stem van een leerling vaak een geleidelijk vervagen is, en geen plotselinge breuk, en dat het begrijpen van dit proces essentieel is om een waarheidsgetrouw beeld te krijgen van de leerlingen die we proberen te bestuderen.