Sequential generalized kernel equating: Providing comparable scores across multiple test forms with nonequivalent groups and differently measured covariates

Technische Samenvatting: Sequentiële Generalized Kernel Equating

Probleemstelling
Testequating is essentieel om eerlijkheid te waarborgen bij het vergelijken van scores van meerdere testvormen die aan verschillende groepen zijn afgenomen. In situaties waarin groepen niet-equivalent zijn en er geen anker-test (gemeenschappelijke items) beschikbaar is, wordt vaak het NEC-ontwerp (Nonequivalent Groups with Covariates) toegepast. Dit ontwerp rust op de cruciale aanname van populatie-invariante conditionele verdelingen: dat, zodra covariaten (bijvoorbeeld schoolcijfers, eerdere testscores) zijn meegenomen, de verdeling van testscores identiek is tussen groepen.

Deze aanname wordt echter bedreigd wanneer de covariaten zelf worden gemeten met verschillende testvormen met variërende moeilijkheidsgraden of schalen tussen groepen. In dergelijke gevallen vertegenwoordigt de covariate geen zuivere pre-behandeling baseline, maar wordt deze beïnvloed door de specifieke testvorm die is afgenomen. Conditioneren op dergelijke "post-behandeling" of niet-invariante covariaten kan bias introduceren in de equating-resultaten, aangezien de relatie tussen de covariate en de doelscores per groep kan verschillen. Het artikel adresseert het ontbreken van een robuuste methode om deze specifieke schendingen binnen het kernel equating-kader te behandelen.

Methodologie
De auteurs stellen Sequentiële Generalized Kernel Equating (Sequentiële GKE) voor, een tweestapsuitbreiding van de standaard Generalized Kernel Equating (GKE)-methode die is ontworpen voor het NEC-ontwerp.

1. Standaard GKE-context: Het artikel maakt gebruik van het standaard GKE-kader, dat vijf stappen omvat: presmoothing (met log-lineaire modellen), schatting van scoreswahrscheinlijkheden, continuïsering (met Gaussische kernen), definiëren van de equating-functie en berekenen van standaardfouten. Standaard GKE gaat ervan uit dat covariaten over populaties heen op dezelfde schaal worden gemeten.
2. De sequentiële aanpak: Om schaalverschillen in covariaten aan te pakken, introduceert de voorgestelde methode een tussenliggende equating-stap:
   • Stap 1 (Covariate-equating): De covariate $C$ (specifiek die welke wordt gemeten door verschillende vormen) wordt eerst geëquateerd tussen de twee niet-equivalente populaties ($P$ en $Q$). Dit transformeert de waargenomen covariatewaarden in populatie $Q$ ($C$) naar geëquateerde waarden ($C^*$) die vergelijkbaar zijn met de verdeling in populatie $P$. Deze stap verwijdert effectief vormeffecten uit de covariate voordat deze wordt gebruikt om de hoofdscores aan te passen.
   • Stap 2 (Equating van hoofdscores): Vervolgens wordt de standaard GKE-procedure toegepast om de hoofdscores van de test ($X$ en $Y$) te equateren. Cruciaal is dat de gezamenlijke waarschijnlijkheidsverdelingen die in deze stap worden gebruikt, de getransformeerde, geëquateerde covariatewaarden ($C^*$) incorporeren in plaats van de ruwe waargenomen waarden. Dit zorgt ervoor dat de aanname van de conditionele verdeling waarschijnlijker geldt, aangezien de covariate nu op een gemeenschappelijke schaal staat.

Simulatiestudie en Resultaten
De auteurs evalueerden de voorgestelde methode via een simulatiestudie met het NEC-ontwerp, waarbij variatie werd aangebracht in de moeilijkheidsgraden van testvormen, de sterkte van de correlatie tussen de covariate en de testscore, en de steekproefomvang.

• Schending van aanname: Wanneer de covariate met verschillende moeilijkheidsgraden werd gemeten tussen groepen (wat de aanname van invariante conditionele verdelingen schendt), produceerde standaard GKE significante bias in de geëquateerde scores. Deze bias was vooral uitgesproken wanneer de correlatie tussen de covariate en de testscore sterk was.
• Prestaties van Sequentiële GKE: Het toepassen van de sequentiële aanpak verminderde deze bias aanzienlijk. Door eerst de covariate te equateren, herstelde de methode de vergelijkbaarheid, wat leidde tot nauwkeurigere equating-resultaten.
• Afwegingen: Hoewel het equateren van de covariate een lichte toename van de Standaardfout van Equating (SEE) introduceerde door extra variabiliteit uit de transformatiestap, verbeterde de totale Root Mean Squared Error (RMSE). Dit duidt op een gunstige afweging waarbij de reductie in bias de marginale toename in variantie weegt, vooral bij grotere steekproefomvang.
• Zwakke correlatie: Wanneer de relatie tussen de covariate en de testscore zwak was, was de bias door de schending van de aanname minder ernstig, maar bood de sequentiële methode toch verbeteringen zonder substantiële SEE-inflatie.

Toepassing op Real Data
De methode werd toegepast op data van een nationaal eindexamen (Engelse taaltest) dat in het voorjaar en najaar over drie jaar werd afgenomen. De score van de Moedertaal (MT)-test werd gebruikt als covariate.

• Context: De MT-test is verplicht, maar de Engelse test is optioneel. De auteurs merkten op dat MT-scores licht kunnen variëren in moeilijkheid tussen termijnen/jaren.
• Vondsten: In deze specifieke dataset leken de MT-testvormen relatief stabiel in de tijd. Bijgevolg was het verschil tussen het gebruik van ruwe MT-scores en geëquateerde MT-scores in het sequentiële GKE-model minimaal. De geëquateerde Engelse scores waren zeer vergelijkbaar tussen de standaard- en sequentiële aanpakken.
• Implicatie: Dit suggereert dat wanneer covariaten stabiel zijn, de extra stap mogelijk niet nodig is. De auteurs benadrukken echter dat de sequentiële methode een veiligheidsnet is tegen de aanzienlijke bias die in de simulatie werd waargenomen wanneer covariate-invariantie wordt geschonden.

Betekenis en Claims
Het artikel claimt dat Sequentiële GKE een methodologische oplossing biedt voor hoog-risico educatieve beoordelingen waarbij:

1. Geen anker-test beschikbaar is.
2. Groepen niet-equivalent zijn.
3. Achtergrondcovariaten worden gemeten met verschillende instrumenten of vormen die mogelijk niet direct vergelijkbaar zijn.

De auteurs stellen dat deze aanpak het risico op bias in equating-resultaten door schendingen van de aanname van populatie-invariante conditionele verdelingen mitigeert. Zij benadrukken dat, hoewel standaard GKE gevoelig is voor dergelijke schendingen, de sequentiële aanpak de schalen van covariatenmeting voorafgaand aan de hoofd-equating aligneert, waardoor eerlijkheid en scorevergelijkbaarheid worden versterkt. De studie concludeert dat beoefenaars de stabiliteit van covariaten empirisch moeten verifiëren; als wordt vermoed dat invariantie wordt geschonden, biedt sequentiële GKE een robuust mechanisme om deze discrepanties te corrigeren, zelfs als de toepassing in de echte wereld slechts geringe afwijkingen toonde vanwege de stabiliteit van de specifieke gebruikte data.