📊 statistics

Weighted k-Sample Kolmogorov-Smirnov, Cramer-von Mises, and Anderson-Darling Tests for Assessing Covariate Balance

Dit artikel breidt gewogen Kolmogorov-Smirnov-, Cramér-von Mises- en Anderson-Darling-toetsen uit om de balans van covariaten over een arbitraal aantal groepen (k ≥ 2) te beoordelen, waarbij wordt aangetoond dat hoewel de omnibuskracht afneemt bij meer groepen, de bijbehorende post-hoc paarwijze procedure een gevoelig instrument blijft voor het detecteren van specifieke onbalansen, waarbij alle methoden zijn geïmplementeerd in Stata.

Oorspronkelijke auteurs: Ariel Linden

Gepubliceerd 2026-08-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ariel Linden

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: wie heeft het echt gedaan? In de wereld van de wetenschap, specif으로 wanneer onderzoekers proberen uit te zoeken of een nieuw medicijn of beleid daadwerkelijk werkt, spelen ze een vergelijkbaar spel. Ze vergelijken een groep mensen die de behandeling heeft gekregen met een groep die dat niet heeft gekregen. Maar hier komt de crux: voor een eerlijke vergelijking moeten de twee groepen op elk belangrijk punt tweelingen zijn—dezelfde leeftijd, dezelfde medische geschiedenis, dezelfde gewoontes. Als ze dat niet zijn, zijn de resultaten een chaos van verwarring. Dit wordt "covariaatbalans" genoemd.

Meestal controleren wetenschappers alleen of de gemiddelde leeftijd of het gemiddelde inkomen hetzelfde is. Maar gemiddelden kunnen verraderlijk zijn. Stel je twee groepen voor waar de gemiddelde leeftijd in beide gevallen 30 is. In de ene groep is iedereen precies 30. In de andere groep zijn de helft 10 en de helft 50. De gemiddelden komen overeen, maar de groepen zijn totaal verschillend! Om deze sluipende verschillen te vangen, gebruiken wetenschappers speciale "distributietesten". Denk aan deze als hightech scanners die niet alleen naar de gemiddelde lengte van een menigte kijken, maar de gehele vorm van de menigte scannen om te zien of de groepen werkelijk identiek zijn. Lange tijd werkten deze scanners alleen wanneer ze twee groepen tegelijk vergeleken. Maar wat als je drie, vier of meer groepen hebt om te vergelijken? Dat is de puzzel die dit artikel aanpakt.

Het artikel, geschreven door Ariel Linden, introduceert een nieuwe manier om drie beroemde statistische scanners—de Kolmogorov–Smirnov, Anderson–Darling en Cramér–von Mises testen—te gebruiken om een aantal groepen (twee of meer) tegelijk te vergelijken, zelfs wanneer de data gewogen is (zoals wanneer bepaalde mensen meer belang wordt toegekend). De auteur voegt ook een slimme "post-hoc" tool toe, die werkt als een vergrootglas dat je helpt precies aan te wijzen welke groepen verschillend zijn als de grote scan aangeeft dat er iets mis is.

Hier is het verhaal van wat zij hebben gevonden. Eerst bouwde de auteur deze nieuwe multi-groep scanners en testte deze in een virtuele wereld met behulp van computer-simulaties. Ze creëerden duizenden nepscenario's met drie groepen om te zien of de scanners fouten zouden maken. Het goede nieuws? De scanners waren zeer eerlijk. Wanneer de groepen daadwerkelijk identiek waren, riepen de scanners zelden "fout!", waarbij ze hun foutmarge precies op het juiste niveau hielden (rond de 5%).

De simulaties onthulden echter een verrassende wending. Wanneer de wetenschappers drie groepen vergeleken in plaats van twee, werd de grote "omnibus"-scanner (de scanner die alle groepen tegelijk controleert) iets minder gevoelig. Het werd moeilijker voor de scanner om een enkele vreemde groep te ontdekken die zich tussen twee normale groepen verschool. De auteur legt uit dat dit niet komt omdat de vreemde groep minder vreemd werd; het komt omdat de scanner naar meer groepen moest kijken, wat het "normale" bereik van wat hij verwacht te zien, veel breder maakte. Het is also kind als je probeert een fluistering te horen in een stille kamer versus een fluistering in een luidruchtig stadion; de fluistering is hetzelfde, maar het achtergrondgeluid van het stadion maakt het moeilend om de fluistering te detecteren.

Vanwege dit suggereert het artikel een slimme strategie: als je vermoedt dat één specifieke groep anders is, vertrouw dan niet alleen op de grote groeps-scan. Gebruik in plaats daarvan de nieuwe "post-hoc" tool om de groepen twee-om-twee te vergelijken. Deze paarwijze tool lijdt niet onder de "ruis" van de extra groepen en is veel beter in het vangen van de specifieke boosdoener.

Het artikel bevestigde ook dat de drie verschillende scanners nog steeds hun eigen speciale superkrachten hebben, net zoals ze dat doen bij het vergelijken van twee groepen. De Kolmogorov–Smirnov test is het best in het opsporen van verschillen midden in de data (zoals als iedereen in de ene groep iets langer is dan de anderen). De Anderson–Darling test is de kampioen in het opsporen van verschillen aan de uiterste randen of "staarten" (zoals als een groep een paar extreem zieke mensen heeft die de anderen niet hebben). De Cramér–von Mises test is een solide allrounder die vergelijkbaar presteert als Anderson–Darling wanneer verschillen overal verspreid zijn.

Om te laten zien dat dit in de echte wereld werkt, paste de auteur deze methoden toe op data van een programma voor het beheer van hartfalen. Ze hadden drie groepen: mensen die niet meededen, mensen die telefoontjes kregen, en mensen die monitoring op afstand kregen. Voordat de data werd aangepast, schreeuwden de scanners dat de groepen totaal verschillend waren. Maar nadat een speciale weegmethode werd toegepast om ze in balans te brengen, zeiden de scanners: "Alles is in orde!" De groepen waren nu statistische tweelingen.

Kortom, dit artikel geeft wetenschappers een nieuwe toolkit om meerdere groepen eerlijk te vergelijken. Het waarschuwt dat het controleren van alle groepen tegelijkertijd een enkele afwijking kan missen, maar het biedt een specifieke vervolgtool om die afwijking te vinden. Het bevestigt dat verschillende testen beter zijn voor verschillende soorten verschillen, en het bewijst dat deze methoden goed werken, zelfs wanneer de data complex en gewogen is. De auteur is zelfvertrouwen over deze bevindingen op basis van hun simulaties, hoewel zij opmerken dat toekomstig werk nog complexere groepsopstellingen kan verkennen.

Technische Samenvatting: Gewogen $k$ -steekproef Verdelingsproeven voor Covariaatbalans

Probleemstelling
Covariaatbalans is een vereiste voor geldige causale inferentie in observationele studies en multi-arm gerandomiseerde trials. Hoewel klassieke verdelingsproeven (Kolmogorov–Smirnov, Anderson–Darling, Cramér–von Mises) recentelijk zijn uitgebreid om gewogen twee-groepenvergelijkingen te faciliteren, blijft er een gat bestaan voor scenario's met drie of meer groepen ( $k \ge 2$ ). Bestaande benaderingen voor $k > 2$ dwingen onderzoekers tot onbevredigende keuzes: het uitvoeren van ongecorrigeerde paarwijze vergelijkingen (waarbij rekening wordt gehouden met problemen met meervoudige toetsing) of het vertrouwen op samenvattende maten (bijv. gestandaardiseerde gemiddelde verschillen) die verdelingsinformatie negeren. Bovendien biedt geen enkel bestaand framework dat gelijktijdig willekeurige casegewichten, $k$ -steekproefgeneralisaties en een verenigde permutatie-inferentieprocedure accommodeert die exact terugvalt op de gevestigde twee-groepen tegenhangers.

Methodologie
Dit artikel breidt het gewogen twee-groepenframework uit naar een arbitraal aantal groepen ( $k \ge 2$ ) door bestaande $k$ -steekproefgeneralisaties uit de ongewogen literatuur te integreren met een gedeelde, gewichts-agnostische permutatie-inferentieprocedure.

Toetstatistieken:
- Kolmogorov–Smirnov (KS): Maakt gebruik van de generalisatie van Kiefer (1959), waarbij de gekwadrateerde discrepanties tussen de gewogen empirische cumulatieve distributiefunctie (ECDF) van elke groep en de gewogen gepoolde ECDF worden opgeteld.
- Cramér–von Mises (CVM): Past de generalisatie van Kiefer (1959) toe door de gekwadrateerde discrepanties over alle afzonderlijke waarden in de gecombineerde steekproef op te tellen.
- Anderson–Darling (AD): Gebruikt de discrete $k$ -steekproefgeneralisatie van Scholz en Stephens (1987), waarbij een variantie-wegingsfactor wordt geïntegreerd die de nadruk legt op discrepanties in de staarten van de verdeling.
Weging en Inferentie: Alle statistieken maken gebruik van gewogen ECDFs en effectieve steekproefomvang (Kish, 1965) om casegewichten te verwerken. Significantie wordt beoordeeld via een label-permutatieprocedure waarbij groepslabels worden gehusseld terwijl de groepsgroottes en observatiegewichten behouden blijven.
Achterwaartse Compatibiliteit: Een kritieke ontwerpbeperking zorgt ervoor dat wanneer $k=2$ , de $k$ -steekproefstatistieken exact (algebraïsch en numeriek) reduceren naar de specifieke twee-groepenstatistieken gedefinieerd in eerder werk (Linden, 2026b), en niet slechts asymptotisch.
Post-Hoc Procedure: Om de beperking van omnibus-testen aan te pakken bij het identificeren van specifieke bronnen van onbalans, introduceert het artikel een paarwijze vergelijkingsprocedure. Deze voert de exacte twee-groepen test uit op alle $\binom{k}{2}$ paren met gebruik van dezelfde permutatiemachinerie. Om foutenmarges te controleren, worden vier aanpassingsmethoden geboden: Bonferroni, Šidák, Holm's step-down en Benjamini–Hochberg.

Belangrijkste Bijdragen

Extensie naar $k$ Groepen: De formele uitbreiding van gewogen KS-, AD- en CVM-testen naar $k \ge 2$ groepen, waarbij de exacte reductie naar twee-groepenvormen bij $k=2$ wordt gewaarborgd.
Verenigd Post-Hoc Framework: Een systematische procedure voor het lokaliseren van onbalans tussen specifieke groepen na een omnibus-afwijzing, geïntegreerd binnen hetzelfde permutatieframework.
Implementatie: De methoden zijn geïmplementeerd in vrij beschikbare Stata-commando's (kstest, adtest, cvmtest).

Resultaten
Een simulatiestudie met $k=3$ groepen en vier discrepantiescenario's (Type I-fout, centraal, staart, en diffuse discrepanties) leverde de volgende bevindingen op:

Type I-fout: Alle drie de testen handhaafden afwijzingspercentages die dicht bij het nominale niveau van 5% lagen over verschillende steekproefomvang en variabiliteitsniveaus van gewichten, wat overeenkomt met de prestaties in de twee-groepen setting.
Power Characteristics (Krachtkenmerken): De relatieve sensitiviteitspatronen die voor twee groepen waren vastgesteld, werden behouden:
- KS was het krachtigst tegen centraal gelegen discrepanties.
- AD was overweldigend het krachtigst tegen staart-gelegen discrepanties.
- AD en CVM presteerden vergelijkbaar tegen diffuse discrepanties, waarbij AD een lichte, consistente voorsprong behield.
Reductie van Power in Omnibus-testen: Een systematische bevinding was dat de omnibus-kracht bij $k=3$ uniform lager was dan in de gematchte twee-groepen setting. Het artikel schrijft dit niet toe aan signaalverwatering (aangezien de populatiebrede discrepantie constant blijft), maar aan de expansie van de vrijheidsgraden ( $k-1$ ) van de nulverdeling, wat een hogere kritieke waarde vereist voor afwijzing.
Post-Hoc Sensitiviteit: Omdat paarwijze statistieken de power-penalty van de omnibus-test niet dragen, is de post-hoc procedure vaak gevoeliger voor het detecteren van specifieke groepsonbalans dan de omnibus-test zelf.
Toegepaste Voorbeeld: In een studie naar een ziektebeheersprogramma met drie groepen (Controle, Telefoon, Remote Monitoring), detecteerden de testen een significante onbalans vóór het wegen. Na het toepassen van marginale gemiddelde gewichten via stratificatie (MMWS), gaven zowel de omnibus- als de post-hoc testen aan dat er succesvolle balans was bereikt, zonder significante residuele verschillen.

Betekenis en Claims
Het artikel claimt dat deze extensies onderzoekers in staat stellen om covariaatbalans over meerdere groepen te beoordelen zonder verlies van verdelingsinformatie of statistische rigor. De primaire betekenis ligt in de mogelijkheid om van een globale beoordeling van homogeniteit naar specifieke, aangepaste paarwijze conclusies te gaan binnen één consistent framework.

De auteur merkt expliciet op dat de reductie in omnibus-kracht naarmate $k$ toeneemt, een structurele eigenschap is van de constructie van de test (toegenomen vrijheidsgraden in de nulverdeling) en geen gebrek aan de wegings- of discrepantietypes. Daarom adviseert het artikel dat wanneer specifieke groepsonbalansen worden vermoed, onderzoekers moeten vertrouwen op de post-hoc paarwijze resultaten in plaats van alleen op de omnibus-test. De studie concludeert bescheiden dat hoewel de $k=3$ resultaten de preservatie van twee-groepen eigenschappen bevestigen, de schaling van de reductie in power en de post-hoc prestaties voor $k > 3$ en niet-normale verdelingen een open vraag blijft voor toekomstig werk.

Meer zoals dit