Refining Effect-Size Measures and Classification for Differential Item Functioning: Toward Unified Guidelines Across Methods

Technische Samenvatting: Verfijning van Effectgrootte-maten en Classificatie voor Differentieel Itemfunctioneren

Probleemstelling
Analyse van Differentieel Itemfunctioneren (DIF) is cruciaal voor het identificeren van bias in multi-item metingen, waarbij wordt gewaarborgd dat individuen uit verschillende groepen met hetzelfde niveau van de latente eigenschap een gelijke kans hebben op het beantwoorden van een item. Hoewel statistische significantietoetsing de standaard is, is dit op zichzelf onvoldoende omdat de Type I-foutpercentages en de statistische power sterk afhankelijk zijn van de steekproefomvang. Daarom is het evalueren van de praktische significantie van DIF via effectgrootte-maten en classificatie (typisch ingedeeld in categorieën "verwaarloosbaar", "matig" en "groot") essentieel.

De sector ontbeert echter momenteel verenigde richtlijnen. Bestaande effectgrootte-maten (bijv. Mantel-Haenszel $\Delta MH$, SIBTEST $\hat{\beta}$, Logistische Regressie $\Delta R^2$ en op oppervlakte gebaseerde maten) leveren vaak inconsistente classificaties voor hetzelfde item op. Veel bestaande afkapwaarden zijn afgeleid van kleinschalige simulatiestudies of missen systematische validatie over verschillende detectiemethoden heen. Deze inconsistentie bemoeilijkt besluitvorming over het behouden of verwijderen van items, met name in grote datasets waar triviale verschillen als statistisch significant kunnen worden gemarkeerd.

Methodologie
De auteurs voerden een uitgebreide simulatiestudie uit om de eigenschappen van bestaande effectgrootte-maten voor DIF te evalueren en om verenigde classificatierichtlijnen voor te stellen. De studie richtte zich op dichotomische items en binaire groepslidmaatschap, waarbij zowel uniforme als niet-uniforme DIF werden behandeld.

• Simulatieontwerp: De studie manipuleerde zes ontwerpfactoren: steekproefomvang (variërend van 100 tot 10.000 per groep), testlengte (20 en 40 items), proportie DIF-items (5% en 10%), verschuivingen in de bekwaamheidsdistributie, de magnitude van de onderliggende DIF (gedefinieerd door de Ongesigneerde Oppervlakte, UA, tussen de Item Karakteristieke Curves), en het type DIF (uniform versus niet-uniform). Dit resulteerde in 1.008 unieke instellingen, elk gerepliceerd 1.000 keer (totaal meer dan 1 miljoen datasets).
• Geëvalueerde methoden: De studie beoordeelde traditionele methoden (Mantel-Haenszel, SIBTEST, Crossing SIBTEST) en modelgebaseerde benaderingen (Logistische Regressie, IRT-gebaseerde 2PL/3PL/4PL modellen).
• Effectgrootte-maten: Een breed scala aan maten werd geanalyseerd, waaronder:
  • Op odds-ratio gebaseerd: $|\Delta MH|$, $\Delta LR$.
  • Op waarschijnlijkheid gebaseerd: $LR-P-DIF$, $LR-STD-P-DIF$ (met diverse weegschema's).
  • Op variantie gebaseerd: $\Delta R^2$.
  • Op oppervlakte gebaseerd: Gesigneerde Oppervlakte (SA), Ongesigneerde Oppervlakte (UA), Gesigneerde/Ongesigneerde Gesloten Oppervlaktes (CSA, CUA), Gewogen Gesigneerde/Ongesigneerde Oppervlaktes (WSA, WUA), en nieuw voorgestelde gestandaardiseerde versies ($SA^{STD}$, $UA^{STD}$).
• Analytische benadering: De auteurs gebruikten lineaire en cubische regressiemodellen om verschillende effectgrootte-maten te koppelen aan een gemeenschappelijke anker (de onderliggende UA of $|\Delta MH|$). Zij onderzochten de afhankelijkheid van deze maten van ontwerpfactoren (bijv. steekproefomvang) en leidde nieuwe afkapwaarden af die de classificaties over verschillende methoden heen afstemmen.

Belangrijkste Bijdragen

1. Verenigde Classificatierichtlijnen: Het artikel stelt herziene afkapwaarden voor voor meerdere effectg Grootte-maten om consistente classificatie (Verwaarloosbaar, Matig, Groot) over verschillende DIF-detectiemethoden heen te waarborgen.
   • Voor Uniforme DIF: Nieuwe drempelwaarden worden voorgesteld voor SIBTEST ($|\hat{\beta}|$), Logistische Regressie ($\Delta R^2$, $LR-STD-P-DIF$) en op oppervlakte gebaseerde maten. Opvallend genoeg introduceren de auteurs gestandaardiseerde oppervlaktematen ($UA^{STD}$) met drempels van 0,426 (verwaarloosbaar/matig) en 0,638 (matig/groot), die analytisch gekoppeld zijn aan de conventionele $|\Delta MH|$-drempels van 1 en 1,5.
   • Voor Niet-Uniforme DIF: Nieuwe drempelwaarden worden voorgesteld voor Crossing SIBTEST, Logistische Regressie ($\Delta R^2$) en op oppervlakte gebaseerde maten, met specifieke beperkingen op de steekproefomvang.
2. Gestandaardiseerde Oppervlaktematen: De auteurs introduceren $SA^{STD}$ en $UA^{STD}$, die de oppervlakte tussen de ICC's schalen door de itemdiscriminatieparameter ($a_i$). Dit maakt het mogelijk om op oppervlakte gebaseerde maten direct te vergelijken met odds-ratio-gebaseerde metrieken en levert een schaalinvariante effectgrootte op.
3. Gebruiksbeperkingen: De studie identificeert specifieke beperkingen van bestaande maten en adviseert gebruiksbeperkingen:
   • De $|\hat{\beta}|$ van SIBTEST en op oppervlakte gebaseerde maten moeten worden beperkt tot steekproefomvang $N \ge 500$ (uniform) of $N \ge 1.000$ (niet-uniform) vanwege instabiliteit in kleinere steekproeven.
   • Voor maten die steunen op distributie-aannames (bijv. $LR-P-DIF$, $WUA$) moet men voorzichtig zijn wanneer de bekwaamheidsdistributie afwijkt van het aangenomen model.
4. Empirische Validatie: De voorgestelde richtlijnen werden getest op twee real-world datasets: de Health Behaviour in School-aged Children (HBSC) studie (grote steekproef, $N \approx 180.000$) en de Medical School Admission Test in Biology (MSATB) dataset (kleinere steekproef, $N \approx 1.400$).

Resultaten

• Inconsistentie van huidige richtlijnen: De simulatie toonde aan dat bestaande afkapwaarden vaak leiden tot inconsistente classificaties. Bijvoorbeeld, $\Delta R^2$ onderschatte de magnitude van DIF regelmatig, waarbij items als "verwaarloosbaar" werden geclassificeerd terwijl andere maten "matig" of "groot" aangaven. Omgekeerd vertoonden p-metrieken zoals $LR-P-DIF$ een hoge sensitiviteit voor steekproefomvang en verschuivingen in de bekwaamheidsdistributie.
• Prestaties van nieuwe richtlijnen: De nieuw voorgestelde afkapwaarden verbeterden de classificatienauwkeurigheid aanzienlijk. Voor uniforme DIF verbeterde de correcte classificatieratio voor $\Delta R^2$ van 27,41% (met oude drempels) naar 63,12% (met nieuwe drempels). De gestandaardiseerde oppervlaktematen ($UA^{STD}$) vertoonden een sterke overeenkomst met odds-ratio-gebaseerde maten ($|\Delta MH|$, $\Delta LR$), met een algehele overeenkomst van meer dan 60%.
• Effecten van Steekproefomvang: Kleine steekproefomvang ($N \le 200$) resulteerde in een hoge variantie en zwakke correlaties tussen effectgrootte-maten, wat de aanbeveling valideert om bepaalde methoden te beperken tot grotere steekproeven.
• Toepassing op Real-world Data: In de HBSC-dataset losten de nieuwe richtlijnen conflicten op waarbij verschillende methoden tegenstrijdige classificaties suggereerden (bijv. een item geclassificeerd als "matig" door één maat en "verwaarloosbaar" door een andere). In de MSATB-dataset zorgden de nieuwe drempelwaarden voor meer consistente conclusies over de magnitude van DIF voor items die door verschillende methoden werden gemarkeerd.

Betekenis en Claims
De auteurs beweren dat dit werk een kritiek onderzoeksgat vult door het bieden van analytisch afgeleide en door simulatie gevalideerde classificatierichtlijnen voor op oppervlakte gebaseerde DIF-effectgrootte-maten, die voorheen geen gestandaardiseerde drempelwaarden hadden. Door deze maten te koppelen aan de breed geaccepteerde Mantel-Haenszel-metriek, biedt de studie een "verenigd kader" dat de interpreteerbaarheid en vergelijkbaarheid van DIF-resultaten over traditionele en modelgebaseerde methoden heen vergroot.

Het artikel benadrukt dat hoewel volledige uitlijning van alle maten niet haalbaar is vanwege de benaderende aard van de gemodelleerde relaties, het voorgestelde kader de ambiguïteit in het markeren van items vermindert. De auteurs merken bescheiden op dat hun richtlijnen primair zijn gevalideerd voor 2PL-modellen en binaire items; de toepasbaarheid ervan op 3PL/4PL-modellen of polytome items vereist verder onderzoek. Desalniettemin draagt de studie bij aan de standaardisatie van DIF-analyse, door onderzoekers een transparanter en betrouwbaarder fundament te bieden voor het evalueren van de praktische significantie van item-bias.