📊 statistics

Weighted Extensions of the Kolmogorov-Smirnov, Cramer-von Mises, and Anderson-Darling Tests for Assessing Covariate Balance

Dit artikel breidt de Kolmogorov-Smirnov-, Cramér-von Mises- en Anderson-Darling-toetsen uit om gewogen gegevens te accommoderen voor de beoordeling van covariaatbalans in causale inferentie, waarbij via simulaties wordt aangetoond dat deze gewogen versies een geldige controle over de Type I-fout behouden en hun respectieve krachtvoordelen tegen verschillende discrepantietypen behouden, waarbij de Anderson-Darling-toets wordt aanbevolen als een robuuste algemene standaard.

Oorspronkelijke auteurs: Ariel Linden

Gepubliceerd 2026-07-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ariel Linden

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: heeft een nieuw medicijn echt gewerkt, of waren de patiënten simpelweg al gezonder van begin af aan? In de wereld van de wetenschap wordt dit "causale inferentie" genoemd. Om het zeker te weten, moet je twee groepen mensen vergelijken: zij die de behandeling kregen en zij die dat niet deden. Als de groepen perfect gematcht zijn — zoals tweelingen in lengte, gewicht en leeftijd — kan elk verschil in hun gezondheid later worden toegeschreven aan het medicijn. Maar in het echte leven kunnen we niet altijd perfecte experimenten uitvoeren waarbij mensen willekeurig worden toegewezen. In plaats daarvan gebruiken wetenschappers vaak een slimme truc genaamd "weging". Denk aan een digitale weegschaal in een supermarkt. Als de "behandelde" groep te veel zware mensen heeft en de "onbehandelde" groep te veel lichte mensen, wijst de wetenschapper een "gewicht" toe aan elke persoon. Een licht persoon in de zware groep krijgt een groot gewicht (zoals een zwaar contragewicht), terwijl een zware persoon in de lichte groep een piepklein gewicht krijgt. Dit dwingt de twee groepen mathematisch om er hetzelfde uit te zien als een gebalanceerde schaal.

Maar hier komt het lastige deel bij: alleen omdat het gemiddelde gewicht hetzelfde lijkt, betekent dit niet dat de groepen ook echt identiek zijn. Stel je twee zakken knikkers voor. De ene zak heeft tien knikkers van 1 pond. De andere zak heeft vijf knikkers van 1 pond en vijf knikkers van 2 pond. Als je alleen naar het gemiddelde kijkt, lijken ze misschien vergelijkbaar, maar de verdeling van de gewichten is totaal verschillend. Wetenschappers moeten controleren of de volledige vorm van de data overeenkomt, en niet alleen het gemiddelde. Jarenlang hadden ze instrumenten om dit te controleren, maar die instrumenten gingen kapot wanneer je ze op deze "gewogen" zakken met knikkers probeerde te gebruiken. Ze konden niet omgaan met de digitale contragewichten. Dit artikel gaat over het repareren van die instrumenten, zodat ze perfect werken, zelfs wanneer de data is aangepast met gewichten.

Het artikel introduceert drie nieuwe, geüpgradede versies van klassieke "balanstests" die met deze gewogen data kunnen omgaan. De auteurs, onder leiding van Ariel Linden, hebben drie beroemde statistische methoden — de Kolmogorov–Smirnov (KS), de Anderson–Darling (AD) en de Cramér–von Mises (CVM) — geleerd hoe ze de gewichten moeten lezen. Ze hebben dit niet simpelweg geraden; ze hebben een nieuwe, universele "shuffling"-methode ontwikkeld. Stel je een kaartspel voor waarbij sommige kaarten zware stickers hebben. In plaats van te proberen uit te zoeken waarom de stickers daar zitten, husselt de nieuwe methode simpelweg de labels (wie bij welke groep hoort) terwijl de kaarten en hun stickers precies op hun plek blijven. Door dit duizenden keren te doen, kunnen ze zien of de verschillen die ze zien echt zijn of slechts een toevalstreffer.

De onderzoekers hebben deze nieuwe instrumenten getest in een enorme computersimulatie. Ze creëerden vier verschillende scenario's om te zien hoe de instrumenten presteerden. Eerst controleerden ze of de instrumenten vals alarm sloegen (Type I-fout) wanneer de groepen daadwerkelijk identiek waren. De resultaten waren uitstekend: alle drie de instrumenten bleven zeer dicht bij de correcte foutmarge van 5%, wat betekent dat ze niet voor niets "wolf riepen" als er geen wolf was.

Vervolgens testten ze de instrumenten tegenover drie verschillende soorten "mismatches" tussen de groepen:

De Centrale Mismatch: Stel je voor dat de groepen overal identiek zijn, behalve precies in het midden, zoals twee menigtes waarbij iedereen in het midden een rood shirt draagt in de ene groep en een blauw shirt in de andere. Hier was de Kolmogorov–Smirnov (KS) test de duidelijke winnaar. Het is als een detective die alleen naar de grootste enkele kloof kijkt; hij vond de centrale mismatch sneller dan wie dan ook.
De Staart Mismatch: Stel je voor dat de groepen in het midden identiek zijn, maar dat de "extreme" mensen (de zeer lange of zeer korte) verschillend zijn. Dit is alsoals de ene groep een paar reuzen heeft en de andere groep een paar dwergen. Hier was de Anderson–Darling (AD) test overweldigend de beste. Het is als een detective die extra aandacht besteedt aan de randen van de kamer. De KS-test merkte dit probleem nauwelijks op.
De Diffuse Mismatch: Stel je voor dat de groepen overal een beetje verschillend zijn, zoals wanneer één groep over de hele linie net iets langer is dan de andere. In dit geval presteerden zowel de AD als de CVM tests erg goed en lagen ze bijna gelijk, terwijl de KS-test achterbleef.

Het artikel keek ook naar wat er gebeurt als de "gewichten" zelf erg rommelig zijn en sterk variëren (om de chaotische real-world data te simuleren waarbij sommige mensen enorme gewichten krijgen en anderen minuscule). Zelfs met deze chaos hielden de instrumenten stand. De AD-test bleef de beste in het opsporen van problemen in de staarten, en de KS-test bleef de beste voor centrale problemen.

Dus, wat is de les voor een wetenschapper? Als je vermoedt dat de groepen in het midden verschillen, gebruik dan de KS-test. Als je je zorgen maakt over de extremen (de staarten), dan is de AD-test je beste vriend. Als je niet zeker weet waar het verschil zit, of als je denkt dat het verschil overal verspreid is, dan is de AD-test een veilige, betrouwbare "standaardkeuze" die in bijna elke situatie goed werkt en vaak de anderen verslaat. De auteurs hebben deze instrumenten zelfs verwerkt in softwarecommando's (voor een programma genaamd Stata), zodat andere onderzoekers ze direct kunnen gebruiken.

Kortom, dit artikel heeft niet alleen nieuwe instrumenten uitgevonden; het heeft oude, kapotte instrumenten gerepareerd zodat ze de rommelige, gewogen data kunnen verwerken die de echte wetenschap produceert. Het bevestigde dat hoewel geen enkel instrument perfect is voor elke taak, de Anderson–Darling-test de meest veelzijdige "allrounder" is voor het controleren of twee groepen werkelijk in balans zijn, vooral wanneer je je zorgen maakt over de extremen.

Technische Samenvatting: Gewogen Extensies van Distributionele Goedheid-van-passing Toetsen voor Covariaatbalans

Probleemstelling
Het beoordelen van covariaatbalans is een fundamentele diagnostische stap in causale inferentie, vereist om de aanname te ondersteunen dat niet-gemeten kenmerken de geschatte behandelingseffecten niet betekenisvol verstoren. Hoewel balans vaak wordt bereikt door post-hoc aanpassingen zoals propensity score-weging, entropy balancing of stratificatie, vertrouiken huidige diagnostische praktijken zwaar op samenvattende maten zoals het gestandaardiseerde gemiddelde verschil (SMD) en variantieratio's. Deze samenvattende statistieken hebben een kritieke beperking: ze richten zich slechts op specifieke punten in de distributie van een covariaat (bijv. het gemiddelde of de variantie) en zijn inherent niet in staat om distributionele verschillen in scheefheid, massalocatie of staartgedrag te detecteren die deze specifieke momenten niet beïnvloeden.

Distributionele goedheid-van-passing toetsen gebaseerd op de empirische cumulatieve distributiefunctie (ECDF)—specifiek de Kolmogorov–Smirnov (KS), Cramér–von Mises (CVM) en Anderson–Darling (AD) toetsen—bieden een completer alternatief door volledige distributies te vergelijken. Echter, tot dit werk waren deze toetsen alleen beschikbaar voor ongewogen data. Deze kloof verhinderde hun toepassing in precies de settings waar distributionele balans het meest cruciaal is: gewogen analyses bedoeld om behandelde en vergelijkingsgroepen gelijk te maken.

Methodologie
Dit artikel breidt de KS, CVM en AD toetsen uit om gewichten van elke oorsprong te accommoderen. De kern van de methodologische innovatie is een verenigde label-permutatie procedure die de weging van een observatie behandelt als een vast attribuut in plaats van een hoeveelheid die verbonden is aan een specifiek schattingsmechanisme. Deze aanpak vereist geen aannames over hoe de gewichten zijn gegenereerd, waardoor de toetsen kunnen worden toegepast op elk wegingsschema (bijv. inverse probability of treatment weighting, entropy balancing) zonder modificatie.

De gewogen statistieken worden als volgt gedefinieerd:

Gewogen KS ( $D^w$ ): De maximale absolute verticale afstand tussen de gewogen ECDF's van de twee groepen.
Gewijchte CVM ( $CVM^w$ ): De som van de gekwadrateerde discrepanties tussen de gewogen ECDF's over verschillende waarden, zonder variantiestandaardisatie.
Gewogen AD ( $AD^w$ ): De som van de gekwadrateerde discrepanties, gestandaardiseerd door de variantie onder de nulhypothese. Cruciaal is dat de steekproefomvang $N$ in de term voor variantie wordt vervangen door de Kish effectieve steekproefomvang ( $n_e$ ) om rekening te houden met de informatie-inhoud van de gewogen steekproef. De tie-multiplier blijft het ruwe aantal observaties dat een waarde deelt.

Inference wordt uitgevoerd via label-permutatie: groepslabels worden willekeurig herverdeeld over $N$ observaties, waarbij de waarde en het gewicht van elke observatie vast blijven. De $p$ -waarde wordt afgeleid uit de proportie van gepermuteerde statistieken die de geobserveerde statistiek overtreft.

Simulatiestudie Ontwerp
Een simulatiestudie werd uitgevoerd om te evalueren of de bekende comparatieve voordelen van de ongewogen toetsen standhouden onder weging. Vier scenario's werden geconstrueerd:

Nul (Null): Geen discrepantie (om Type I-fout te beoordelen).
Centraal Gelegen Discrepantie: Een verschuiving beperkt tot de interkwartielafstand.
Staart-Gelegen Discrepantie: Een verschuiving beperkt tot de uiterste staarten.
Diffuse Discrepantie: Een uniforme verschuiving over de gehele distributie.

De studie varieerde de steekproefomvang ( $n = 1.000$ tot $4.000$) en de variabiliteit van de gewichten (doelstelling Kish effectieve steekproefomvang ratio $r_e = 0,6$ , met sensitiviteitscontroles van $0,2$ tot $0,9$).

Belangrijkste Resultaten

Type I-fout Controle: Over alle steekproefgroottes en onder aanzienlijke variabiliteit van de gewichten, controleerden alle drie de gewogen toetsen de Type I-fout dicht bij het nominale niveau van 5%. Dit bevestigt dat de gedeelde label-permutatie procedure de nulverdeling effectief kalibreert zonder aannames te vereisen over de generatie van de gewichten.
Centraal Gelegen Discrepantie: De KS-toets vertoonde de hoogste power, waarbij deze de AD en CVM significant overtrof. Dit komt overeen met de theoretische verwachting dat KS het meest gevoelig is voor een enkele, grote gelokaliseerde divergentie.
Staart-Gelegen Discrepantie: De AD-toets was overweldigend de krachtigste, waarbij deze zowel KS als CVM significant overtrof. KS en CVM bleven dicht bij hun Type I-foutpercentages, waardoor ze de staartdiscrepantie niet detecteerden. Dit bevestigt de sensitiviteit van AD voor staartafwijkingen vanwege de variantiestandaardisatie-term.
Diffuse Discrepantie: Zowel AD als CVM presteerden vergelijkbaar en overtroffen beide significant de KS. In tegenstelling tot de theoretische verwachting dat CVM uniek superieur zou zijn aan diffuse discrepanties, behield AD een bescheiden maar statistisch significante voorsprong op CVM bij matige tot grote steekproeven.
Sensitiviteit voor Gewichtvariabiliteit: De comparatieve ordening van de toetsen bleef stabiel over een breed bereik van gewichtvariabiliteit ( $r_e$ van $0,2$ tot $0,9$). Bij de meest extreme variabiliteit ( $r_e = 0,2$ ) vertoonden alle drie de toetsen een bescheiden opwaartse afwijking in de Type I-fout (ongeveer 6,4–6,7%), hoewel de relatieve prestatie-rangschikking consistent bleef.

Toegepast Voorbeeld
De methoden werden toegepast op een quasi-experimentele evaluatie van een coaching-interventie voor de gezondheid met behulp van inverse-probability-of-treatment weights. De beoordeling van de balans in de Body Mass Index (BMI) onthulde uiteenlopende conclusies: de AD-toets detecteerde een significante residuele discrepantie ( $p = ,018$ ), terwijl CVM suggestief was ( $p = ,079$ ) en KS niet-significant was ( $p = ,123$ ). Visuele inspectie van de gewogen ECDF's toonde een geleidelijke, persistente divergentie over een reeks BMI-waarden in plaats van één enkele scherpe kloof, wat illustreert waarom AD (gevoelig voor verschuivingen in de gehele distributie) de onbalans detecteerde terwijl KS dat niet deed.

Betekenis en Claims
Het artikel levert twee primaire bijdragen:

Methodologische Extensie: Het biedt de eerste gewogen generalisaties van de KS, CVM en AD toetsen, waardoor ze beschikbaar komen voor routinematige covariaatbalans-beoordeling in gewogen causale inferentie-studies.
Inference Framework: Het vestigt een enkele, aannamevrije label-permutatie procedure die toepasbaar is op elk wegingsschema.

De auteurs concluderen dat de bekende ongewogen comparatieve voordelen van deze toetsen behouden blijven onder weging. Daarom bevelen zij Anderson–Darling aan als een redelijke general-purpose standaard voor routinematige covariaatbalans-beoordeling, aangezien deze robuust presteert over verschillende typen discrepanties en overweldigend superieur is voor staart-gelegen discrepanties (een veelvoorkomend probleem bij propensity score-weging). Zij merken echter op dat Kolmogorov–Smirnov een duidelijk voordeel behoudt als er specifiek een centraal geconcentreerde onbalans wordt vermoed. Het artikel suggereert dat het rapporteren van meerdere toetsen (bijv. zowel AD als KS) een verstandige strategie is om de blinde vlekken van een enkele statistiek te ondervangen.

De auteurs blijven bescheiden over de reikwijdte van hun bevindingen, waarbij zij opmerken dat de gebruikte simulaties een normale basisdistributie gebruikten en dat de vergelijkbare ordening voor diffuse discrepanties (waarbij AD en CVM vergelijkbaar waren) verdere investigatie naar de onderliggende mechanismen rechtvaardigt. Zij beweren niet dat zij de geldigheid van deze toetsen onder elke mogelijke weging of distributionele vorm hebben bewezen, maar demonstreren consistentie onder de specifieke gesimuleerde condities.

Meer zoals dit