📊 statistics

Detection coherence of tests

Dit artikel introduceert een raamwerk voor het beoordelen van "detectiecoherentie" om aan te tonen dat veel veelgebruikte statistische toetsen "blinde vlekken" bezitten waarin ze ware effecten niet detecteren, waarbij wordt geargumenteerd dat dergelijke detectie-incoherente toetsen verlaten moeten worden ten gunste van universeel coherente alternatieven.

Oorspronkelijke auteurs: Marian Grendar

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marian Grendar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Dilemma van de Detective: Wanneer je Aanwijzingen Liegen

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. In de wereld van de statistiek gaat dit mysterie vaak over het uitzoeken of twee groepen dingen echt verschillend zijn, of dat ze toevallig alleen maar verschillend lijken door toeval. Wetenschappers gebruiken instrumenten die "statistische toetsen" worden genoemd om als hun vergrootglazen te fungeren. Deze toetsen kijken naar data — zoals de hoogtes van planten in twee verschillende tuinen of de overlevingstijden van patiënten in twee verschillende behandelingen — en vragen: "Is hier een echt signaal, of is het gewoon ruis?"

Voor een test om een goede detective te zijn, moet deze correct gekalibreerd zijn. Dit betekent dat de regels voor wat als een "aanwijzing" telt, exact moeten overeenkomen met waar de test naar op zoek is. Als een test is ontworpen om een specifiek type verschil te spotten, maar het accidenteel andere soorten verschillen negeert die even reëel zijn, dan heeft het een "blinde vlek". Het is als een metaaldetector die piept voor munten, maar stil blijft voor goudstaven. Als je niet op de hoogte bent van dit gebrek, loop je misschien een schatkist voorbij terwijl je denkt dat de grond leeg is, of denk je dat je een munt hebt gevonden terwijl je eigenlijk iets heel anders hebt gevonden. Dit artikel duikt in de verborgen blinde vlekken van enkele van de beroemdste detective-instrumenten die vandaag de dag in de wetenschap worden gebruikt.

De Grote Ontdekking van het Papier: Het "Blinde Vlek"-probleem

Dit artikel, geschreven door M. Grendár, introduceert een nieuwe manier om te controleren of deze statistische detectives daadwerkelijk hun werk goed doen. De auteur noemt dit concept "detectie-coherentie" (detection coherence). In eenvoudige termen is een toets "coherent" als de blinde vlek leeg is — wat betekent dat de toets elk enkel type verschil kan zien dat het claimt te kunnen zien. Als een toets een blinde vlek heeft, is deze "incoherent", en het artikel stelt dat dit een serieus probleem is dat niet genegeerd mag worden.

De auteur bewijst dat vier van de meest populaire non-parametrische toetsen (instrumenten die worden gebruikt wanneer data niet een netjes, klokvormig patroon volgt) eigenlijk detectie-incoherent zijn wanneer ze zonder strikte beperkingen worden gebruikt. Dit zijn de vier toetsen:

De Wilcoxon–Mann–Whitney (WMW) toets: Gebruikt om twee groepen te vergelijken.
De Kruskal–Wallis (KW) toets: Gebruikt om drie of meer groepen te vergelijken.
De Friedman-toets: Gebruikt voor het vergelijken van behandelingen in een blokontwerp (zoals het testen van verschillende meststoffen op hetzelfde stuk land in de loop van de tijd).
De Logrank-toets: Gebruikt voor het vergelijken van overlevingspercentages, vaak in medische studies.

Het artikel demonstreert dat deze toetsen een "blinde vlek" hebben. Deze blinde vlek is een specifieke reeks situaties waarin de groepen daadwerkelijk verschillen, maar de interne logica van de toets zegt dat ze hetzelfde zijn. Hierdoor slaagt de toets er niet in om het alarm te laten afgaan.

Het "Aha!"-moment: De Variantie-valstrik
Om de blinde vlek van de WMW-toets te begrijpen, stel je voor dat je de hoogtes van twee groepen mensen vergelijkt.

Groep A heeft iedereen exact 170 cm lang.
Groep B heeft een mix van zeer kleine en zeer grote mensen, maar hun gemiddelde lengte is ook 170 cm.

De WMW-toets is ontworpen om te zien of één groep over het algemeen groter is dan de andere. In dit scenario, omdat de gemiddelden gelijk zijn, denkt de toets: "Hé, deze groepen zijn identiek!" en zegt: "Geen verschil gevonden." Maar wacht! Groep B is duidelijk gevarieerder dan Groep A. Het zijn verschillende distributies. De toets is blind voor het verschil in spreiding of variantie omdat de interne "detector" alleen geeft om de volgorde van de getallen, niet om hoe ver ze uit elkaar liggen.

Het artikel laat zien dat voor de WMW-toets, als je twee groepen hebt met hetzelfde gemiddelde maar verschillende spreidingen (zoals een normale verdeling met een standaarddeviatie van 1 versus een met een standaarddeviatie van 10), de "power" (het vermogen om het verschil te vinden) van de toets vastloopt. Het wordt niet beter, zelfs niet als je steeds meer data verzamelt. Het blijft op een laag niveau hangen, waardoor het verschil voor eeuwig wordt genegeerd. De auteur noemt dit een "gemiste ontdekking".

De "Spuria" (Schijn) Valstrik
Het probleem werkt ook de andere kant op. Het artikel legt ook uit dat als een toets de suggestie verwerpt dat de groepen hetzelfde zijn, het een "spuria ontdekking" kan zijn. Stel je voor dat de toets het alarm laat afgaan omdat het een verschil in de spreiding heeft gevonden, terwijl de onderzoeker dacht dat hij alleen op zoek was naar een verschil in het gemiddelde. De toets heeft technisch gezien gelijk dat de groepen verschillend zijn, maar geeft de verkeerde reden. Het artikel betoogt dat door deze blinde v vlekken, deze toetsen ertoe kunnen leiden dat wetenschappers echte effecten missen of beweren effecten te hebben gevonden die niet zijn wat ze denken dat ze zijn, ongeacht hoeveel data ze verzamelen.

De "Oplossing" die geen Oplossing is
Je zou kunnen denken: "Oké, dus deze toetsen hebben blinde vlekken. Kunnen we ze niet gewoon vertellen om alleen naar specifieke soorten data te kijken waar de blinde vlek niet bestaat?" Het artikel zegt: "Ja, maar wees voorzichtig."

De auteur laat zien dat als je de WMW-toets beperkt tot alleen data waarbij de vormen van de distributies gelijk zijn (slechts verschoven naar links of rechts), de blinde vlek verdwijnt. Echter, het artikel betoogt dat het vertrouwen op deze beperkingen gevaarlijk is in de echte wereld. Waarom? Omdat je in het echte leven zelden zeker weet of je data aan die strikte regels voldoet. Als je ervan uitgaat dat je data aan de regel voldoet, maar dat is het in werkelijkheid niet, dan ben je weer bij af met een blinde vlek. Het artikel concludeert dat het proberen te "redden" van deze toetsen met beperkingen onbetrouwbaar is.

De Goed Partijen
Niet alle toetsen zijn kapot. Het artikel belicht drie toetsen die "universeel detectie-coherent" zijn, wat betekent dat ze helemaal geen blinde vlekken hebben. Dit zijn:

De Kolmogorov–Smirnov (KS) toets: Deze kijkt naar de volledige vorm van de distributie, niet alleen naar de volgorde, dus ziet het alles.
De Zaremba-toets: Een slimme herformulering van de WMW-toets die de regels verandert om te zoeken naar een ander soort "nul" (AUC = 1/2) in plaats van alleen "identieke distributies".
De Maximum Mean Discrepancy (MMD) toets: Een modern instrument dat een speciale "kernel" gebruikt om distributies te vergelijken, waarvan bewezen is dat het elk mogelijk verschil ziet.

Het Eindvonnis
De belangrijkste conclusie van het artikel is gedurfd: omdat deze vier belangrijke toetsen (WMW, KW, Friedman en Logrank) deze permanente blinde vlekken hebben, zouden ze moeten worden afgeschaft wanneer ze als "onbeperkte" toetsen worden gebruikt (toetsen die worden gebruikt zonder vooraf de specifieke vorm van de data te kennen). De auteur suggereert dat het gebruiken ervan is als het gebruiken van een metaaldetector die goud negeert; je kunt er maar beter mee stoppen. In plaats daarvan zouden wetenschappers moeten overstappen op de coherente alternatieven zoals de KS-toets of de Zaremba-toets, die deze verborgen gebreken niet hebben.

Het artikel suggereert dit niet alleen; het biedt een wiskundig kader om het te bewijzen, waarbij precies wordt aangetoond waar de blinde vlekken zitten en hoe de toetsen zich in die blinde vlekken gedragen. Het is een wake-up call voor de wetenschappelijke gemeenschap om hun instrumenten te controleren en ervoor te zorgen dat ze niet de belangrijkste ontdekkingen direct onder hun neus missen.

Technische Samenvatting: Detectiecoherentie van Toetsen

Probleemstelling
Het artikel behandelt een fundamenteel gebrek in de kalibratie van verschillende veelgebruikte niet-parametrische statistische toetsen. Specifiek identificeert het dat bepaalde toetsen gekalibreerd zijn onder een nulhypothese ( $\mathcal{H}_0$ ) die strikter is dan de verzameling verdelingen die wordt geïmpliceerd door het asymptotische gedrag van hun toetsstatistiek. Deze discrepantie creëert een "blind vlek" ( $\mathcal{SP}$ ): een verzameling alternatieve verdelingen waarbij de toetsstatistiek zich gedraagt alsof de nulhypothese waar is (d.w.z. de detectiefunctie is gelijk aan de nulwaarde), ook al behoren deze verdelingen niet tot $\mathcal{H}_0$ .

Wanneer een toets een niet-lege blinde vlek bezit, wordt deze een detectie-incoherent toets genoemd. De gevolgen van deze incoherentie zijn ernstig en hardnekkig, ongeacht de steekproefomvang:

Gemiste ontdekkingen: Wanneer de toets niet verwerpt, kan dit resultaat voortkomen uit een verdeling in de blinde vlek (een fout-negatief ten opzichte van de alternatieve hypothese), in plaats van uit de werkelijke nulhypothese.
Spurieuze ontdekkingen: Wanneer de toets wel verwerpt, kan dit resultaat voortkomen uit een verdeling in de blinde vlek (een ware positieve ten opzichte van de blinde vlek, maar een spurieuze ontdekking ten opzichte van de beoogde nulhypothese).

De auteur betoogt dat de standaard niet-parametrische theorie dit gat vaak over het hoofd ziet, waarbij de nulhypothese en de detectie-nulverzameling als equivalent worden behandeld terwijl ze dat niet zijn.

Methodologie en Raamwerk
Het artikel introduceert een formeel raamwerk voor het beoordelen van detectiecoherentie, gebouwd op verschillende nieuwe definities:

Detector ( $\hat{D}_n$ ): Het component van een kalibratiestatistiek ( $T_n$ ) dat in waarschijnlijkheid convergeert naar een detectiefunctie ( $\theta(P)$ ). De extractie van de detector geschiedt door het verwijderen van schalingsequenties, variantienormalisaties en nuisance-schatters uit de asymptotische expansie van $T_n$ .
Detectiefunctie ( $\theta(P)$ ): De waarschijnlijkheidslimiet van de detector.
Detectie-nulverzameling ( $\mathcal{D}_0$ ): De verzameling van alle verdelingen $P$ waar de detectiefunctie gelijk is aan de nulwaarde ( $\theta^*$ ).
Blinde vlek ( $\mathcal{SP}$ ): Het verschil tussen de verzamelingen $\mathcal{D}_0 \setminus \mathcal{H}_0$ .
Detectiecoherentie: Een toets is detectiecoherent met betrekking tot een domein $\mathcal{R}$ als de blinde vlek binnen dat domein leeg is ( $\mathcal{SP} \cap \mathcal{R} = \emptyset$ ). Dit is equivalent aan de conditie dat de alternatieve hypothese ( $\mathcal{H}_0^c$ ) samenvalt met de detectieverzameling ( $\mathcal{D}$ ) over het domein.

Het artikel stelt een systematische procedure voor (Procedure 1) om coherentie te beoordelen: identificeer de detector en de functie, bepaal de detectie-nulwaarde, construeer de detectie-nulverzameling en verifieer of deze samenvalt met de nulhypothese over het domein van interesse.

Belangrijkste Resultaten
Het artikel past dit raamwerk toe op vier belangrijke niet-parametrische toetsen en drie coherente alternatieven:

Detectie-incoherentie van onbeperkte toetsen:
De volgende toetsen worden aangetoond detectie-incoherent te zijn wanneer ze worden toegepast als onbeperkte toetsen (over de volledige verdelingsruimte $\mathcal{P}$ ):
- Wilcoxon–Mann–Whitney (WMW): Gekalibreerd onder $F_1 = F_2$ , maar de detector (eAUC) impliceert een detectie-nulverzameling waar $AUC = 1/2$. De blinde vlek omvat verdelingen met gelijke gemiddelden maar verschillende varianties (bijv. $N(0,1)$ versus $N(0, \sigma^2)$ voor $\sigma \neq 1$ ).
- Kruskal–Wallis (KW): Gekalibreerd onder $F_1 = \dots = F_K$ , maar de detectie-nulverzameling omvat verdelingen met verschillende varianties of vormen die identieke ranggemiddelden opleveren.
- Friedman: Gekalibreerd onder gelijke verdelingen binnen blokken, maar de blinde vlek omvat scenario's waarin effecten van behandelingen elkaar opheffen (bijv. alternerende tekens van behandelings-effecten over blokken).
- Logrank: Gekalibreerd onder gelijke overlevingsfuncties ( $S_1 = S_2$ ), maar de blinde vlek omvat kruisende hazardfuncties waarbij het gewogen integraal van het verschil in hazard nul is.
Voor deze toetsen groeit de kracht tegen alternatieven in de blinde vlek niet met de steekproefomvang; het convergeert naar een vaste waarde (vaak het significantieniveau $\alpha$ of iets daarboven), waardoor het ononderscheidbaar is van Type I-fout inflatie indien de blinde vlek niet wordt herkend.
Coherentie onder domeinrestricties:
Het artikel identificeert specifieke domeinrestricties waaronder deze toetsen coherentie kunnen bereiken, hoewel het benadrukt dat dit voldoende voorwaarden zijn, en geen betrouwbare praktische oplossingen:
- WMW: Coherent onder Monotone Likelihood Ratio (MLR) families (inclusief locatie-shift families).
- Logrank: Coherent onder Ordered Hazards families (een bredere klasse dan Proportional Hazards).
- KW en Friedman: Coherent onder locatie-shift en blok-consistente stochastische ordening, respectievelijk.
Universeel detectiecoherente toetsen:
Het artikel demonstreert dat de volgende toetsen universeel detectiecoherent zijn (de blinde vlek is leeg over de gehele verdelingsruimte):
- Kolmogorov–Smirnov (KS): De detectie-nulverzameling ( $\sup |F-G|=0$ ) valt exact samen met de nulhypothese ( $F=G$ ).
- Zaremba-toets: Deze toets herkalibreert de WMW-statistiek onder de hypothese $AUC = 1/2$ in plaats van $F_1 = F_2$ , waardoor de nulhypothese wordt afgestemd op de detectie-nulverzameling.
- Maximum Mean Discrepancy (MMD): Met een karakteristieke kernel geldt $MMD^2(F, G) = 0$ dan en slechts dan als $F=G$ , wat coherentie garandeert.

Significantie en Claims
Het artikel claimt dat detectie-incoherentie een structureel gebrek is dat leidt tot permanente inferentiële fouten (gemiste en spurieuze ontdekkingen) die niet kunnen worden opgelost door de steekproefomvang te vergroten. Daarom stelt de auteur dat de vier belangrijke incoherente toetsen (WMW, KW, Friedman, Logrank) als onbeperkte toetsen "moeten worden verlaten".

Het raamwerk biedt een theoretische basis voor het begrijpen waarom kalibratie onder de detectie-nulverzameling een noodzakelijke voorwaarde is voor coherente inferentie. Het onderscheidt detectiecoherentie van robuustheid: terwijl robuustheid betrekking heeft op de controle van de Type I-fout onder geschonden assumpties, gaat detectiecoherentie over de vraag of de toets daadwerkelijk alle schendingen van de nulhypothese kan detecteren. Het artikel suggereert dat toekomstig werk gericht moet zijn op het beoordelen van alle huidige niet-parametrische toetsen op detectiecoherentie en pleit voor het gebruik van coherente alternatieven (zoals de Zaremba-herformulering van WMW of MMD) boven traditionele ranggebaseerde toetsen wanneer onbeperkte inferentie vereist is.

Het Dilemma van de Detective: Wanneer je Aanwijzingen Liegen

De Grote Ontdekking van het Papier: Het "Blinde Vlek"-probleem

Meer zoals dit