📊 statistics

Hash-augmented adaptive multilevel splitting Monte Carlo algorithm for accurate estimation of two-sample permutation test p-values

Dit artikel introduceert een met een hash versterkt adaptief multilevel splitting Monte Carlo-algoritme, geïmplementeerd in het Python-pakket `hamstest`, om willekeurig kleine p-waarden accuraat te schatten voor twee-steekproef permutatietesten met complexe statistieken, terwijl uitdagingen met betrekking tot de discretisering van distributies worden aangepakt en geldige betrouwbaarheidsintervallen worden gewaarborgd.

Oorspronkelijke auteurs: Nikita Golikov, Vladimir Sukhov, Gennady Korotkevich, Alexey Sergushichev

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikita Golikov, Vladimir Sukhov, Gennady Korotkevich, Alexey Sergushichev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een zeer zeldzame crimineel probeert te vangen in een stad met miljoenen inwoners. Je hebt een lijst met verdachten (je data) en je wilt weten: "Hoe waarschijnlijk is het dat dit specifieke patroon van aanwijzingen puur door geluk is ontstaan?" In de wereld van de statistiek wordt dit een permutatietoets genoemd. Je schudt de aanwijzingen miljoenen keren door elkaar om te zien hoe vaak een "gelukkig" patroon voorkomt.

Normaal gesproken, als het patroon veel voorkomt, kun je gewoon tellen hoe vaak er gelukkige schuddingen zijn. Maar wat als het patroon zo zeldzaam is dat het slechts één keer in een biljoen pogingen voorkomt? Dat is also als zoeken naar één specifiek zandkorreltje op een strand zo groot als een planeet. Als je probeert dat korreltje door willekeurig steeds één korreltje te pakken (de oude Monte Carlo-methode), zou je je hele leven kunnen doorbrengen met zand pikken en nog steeds nooit dat ene korreltje vinden. Je zou $10^{10}$ korrels moeten pakken om zelfs maar een redelijke schatting te krijgen voor een piepkleine waarschijnlijkheid zoals $10^{-10}$ , wat totaal onpraktisch is.

Het Probleem: De "Stuck" Lift

De auteurs van dit paper realiseerden zich dat standaardmethoden tegen een muur aanlopen bij het werken met deze minuscule waarschijnlijkheden, vooral omdat de "zandkorrels" (de datacombinaties) niet allemaal uniek zijn. Soms resulteren duizenden verschillende schuddingen in exact dezelfde score. Het is als een lift die alleen stopt op de 1e, 10e en 100e verdieping, maar de 2e tot en met de 99e verdieping overslaat. Als je naar de 99e verdieping wilt, kan de lift daar simpelweg niet stoppen omdat die er niet is. Deze "discretheid" zorgt ervoor dat de wiskunde vastloopt, waardoor het onmogelijk wordt om in te schatten hoe zeldzaam een gebeurtenis werkelijk is.

De Oplossing: De "Hash" Tag en de Splitting Ladder

Het team, onder leiding van Nikita Golikov en collega's, bouwde een nieuwe tool genaamd hamstest. Hun geheime ingrediënt is een slimme truc genaamd hash-augmented adaptive multilevel splitting.

Zo werkt het, met een leuke analogie:

De Ladder (Multilevel Splitting): In plaats van direct naar de top van de berg te springen (de zeldzame gebeurtenis), bouwen ze een ladder. Ze beginnen onderaan en vragen: "Hoeveel mensen kunnen de eerste sport bereiken?" Daarna: "Hoeveel van die mensen kunnen de tweede sport bereiken?" Ze blijven de groep steeds in kleinere en kleinere groepen splitsen terwijl ze hoger klimmen. Dit verandert één onmogelijke sprong in een reeks gemakkelijke, beheersbare stappen.
De "Hash" Tag (De Fix voor de Vastgelopen Lift): Het grote probleem was dat veel mensen op dezelfde sport stonden (dezelfde score), waardoor het onmogelijk was om de groep verder te splitsen. Om dit op te lossen, gaven de auteurs iedereen een unieke, onzichtbare hash tag (een willekeurig getal). Zelfs als twee mensen exact dezelfde score hebben, zijn hun hash tags verschillend. Hierdoor kan het algoritme zeggen: "Oké, we kunnen niet splitsen op score, maar we kunnen wel splitsen op hash tag." Dit verandert een platte, vastgelopen vloer in een gladde, continue trap waar het algoritme altijd de volgende stap kan vinden.

Wat Ze Vonden (en Wat Ze Niet Vonden)

De auteurs testten deze nieuwe methode op twee klassieke statistische toetsen: de Kolmogorov–Smirnov-toets en de Mann–Whitney U-toets.

De Resultaten: In hun simulaties was de nieuwe methode ongelooflijk nauwkeurig. Wanneer ze probeerden waarschijnlijkheden te schatten die zo klein zijn als $10^{-243}$ (dat is een 1 gevolgd door 243 nullen!), kwam de schatting van de methode precies uit op de ware waarde. Ze berekenden ook betrouwbaarheidsintervallen (een bereik waar de ware waarde waarschijnlijk verborgen zit), en in ongeveer 95% van hun testruns zat de ware waarde binnen dat bereik.
De "Full Resampling" Regel: Ze probeerden verschillende manieren uit om de simulatie uit te voeren. Ze ontdekten dat een methode genaamd "full resampling" (waarbij ze bij elke stap alle monsters opnieuw schudden) de meest betrouwbare en robuuste is. Ze suggereren om een specifieke instelling genaamd $\alpha = 1$ als de standaard te gebruiken, omdat deze het beste uit de test kwam.
Wat Ze Uitsloten: Ze lieten expliciet zien dat de oude manier van doen (het gebruik van de score zonder de hash tag) faalt wanneer de data "grote sprongen" vertoont of veel gelijke waarden (ties) heeft. Ze bewezen dat het algoritme zonder de hash tag vast kan lopen en foutieve antwoorden geeft. Ze merkten ook op dat hoewel hun methode goed werkt voor eenzijdige toetsen (kijken naar een patroon in één richting), de tweezijdige versie van de Kolmogorov–Smirnov-toets lastig is omdat de "lift" aan de absolute top ontkoppeld kan raken, wat speciale behandeling vereist.

Hoe Snel Is Het?

Het team mat hoe lang het algoritme erover deed op een moderne computer (een Apple M3 Pro). Ze ontdekten dat de tijd die nodig is vooral afhangt van hoe zeldzaam de gebeurtenis is. Als je op zoek bent naar iets extreem zeldzaams (zoals een p-waarde van $10^{-100}$ ), duurt het langer omdat je meer sporten op de ladder moet beklimmen. Echter, voor de Mann–Whitney U-toets hing de tijd niet veel af van de omvang van de dataset, omdat de wiskunde voor die specifieke toets erg efficiënt te updaten is.

De Kern van het Verhaal

De auteurs hebben niet "elke statistische oplossing in het universum opgelost", maar ze hebben een zeer krachtige, flexibele tool gebouwd die werkt voor elke aangepaste teststatistiek die een wetenschapper zou kunnen verzinnen. Ze hebben deze tool verpakt in een gratis Python-bibliotheek genaamd hamstest.

Ze suggereren dat voor de meeste mensen het gebruik van de full resampling methode met $\alpha = 1$ de beste optie is. Ze wijzen er ook op dat, hoewel hun methode snel is, de exacte tijd die het kost afhangt van de specifieke wiskunde van de toets die je uitvoert. Als je een onderzoeker bent die te maken heeft met minuscule waarschijnlijkheden en rommelige data, biedt deze tool een manier om nauwkeurige antwoorden te krijgen zonder te hoeven wachten tot de hitte dood van het universum.

Kortom: Ze hebben een kapotte, vastgelopen lift veranderand in een soepele, snelle roltrap die je naar de absolute top van de statistische berg kan brengen, zelfs wanneer het pad vol kuilen zit.

Technische Samenvatting: Hash-geaugmenteerde Adaptieve Multilevel Splitting voor Permutatietoets p-waarden

Probleemstelling
Niet-parametrische permutatietoetsen, zoals de Kolmogorov–Smirnov- en Mann–Whitney U-toetsen, zijn fundamenteel voor statistische hypothesetoetsing, met name bij het vergelijken van twee groepen zonder een specifieke datadistributie te veronderstellen. Hoewel exacte p-waarde berekening ideaal is, is dit vaak algoritmisch onhandelbaar voor complexe of aangepaste toetsstatistieken vanwege het exponentiële aantal mogelijke permutaties ( $\binom{n+m}{n}$ ). Bijgevolg vertrouwen onderzoekers op Monte Carlo-steekproeven. Standaard Monte Carlo-methoden lijden echter aan een slechte relatieve nauwkeurigheid bij het schatten van zeer kleine p-waarden (bijv. $10^{-10}$ of kleiner), wat een onpraktisch groot aantal steekproeven vereist om statistische kracht te bereiken na meerdere hypothesecorrecties.

Bovendien introduceert het toepassen van multilevel splitting—een techniek die ontworepen is voor het schatten van zeldzame gebeurtenis-waarschijnlijkheden door ze te ontbinden in een product van conditionele waarschijnlijkheden—specifieke uitdagingen voor permutatietoetsen. Permutatietoetsen opereren in discrete ruimtes waar de distributie van de toetsstatistiek vaak grote sprongen vertoont (discretie). In dergelijke gevallen kunnen veel verschillende combinaties van gegevens identieke statistiekwaarden opleveren. Deze discretie kan de adaptieve selectie van tussenliggende niveaus die nodig is voor multilevel splitting verhinderen, waardoor het algoritme faalt of bevooroordeelde schattingen produceert wanneer de conditionele waarschijnlijkheid om naar het volgende niveau te gaan niet gehandhaafd kan worden nabij een doelconstante (bijv. 0,5).

Methodologie
De auteurs stellen een hash-geaugmenteerd adaptief multilevel splitting Monte Carlo-algoritme voor om de discretieproblemen aan te pakken die inherent zijn aan permutatietoetsen. De kernmethodologie bestaat uit drie belangrijke componenten:

Hash-geaugmenteerde Ordening: Om het probleem op te lossen waarbij meerdere combinaties dezelfde statistiekwaarde delen, introduceren de auteurs een strikte totale ordening op de combinaties. In plaats van enkel te ordenen op basis van de toetsstatistiek $S(A)$ , definiëren zij een orde $A \succ_{S,h} B$ gebaseerd op de statistiekwaarde eerst, en vervolgens op een hashwaarde $h(A)$ indien de statistieken gelijk zijn.
- De hashfunctie $h(A)$ brengt combinaties in kaart naar gehele getallen. Een praktische implementatie gebruikt een som van onafhankelijke willekeurige gehele getallen toegewezen aan elk element, wat $O(1)$ updates mogelijk maakt tijdens Markov Chain Monte Carlo (MCMC) stappen.
- Deze augmentatie "vlakt" de discrete distributie effectief af, waardoor gegarandeerd wordt dat voor elke niveau grens een geldige volgende grens gevonden kan worden zodat de conditionele waarschijnlijkheid schatbaar blijft.
Adaptieve Multilevel Splitting met MCMC: Het algoritme schat de p-waarde $Pr(S \ge \gamma)$ door deze te ontbinden in een product van conditionele waarschijnlijkheden over een reeks geneste gebeurtenissen, gedefinieerd door de hash-geaugmenteerde ordening.
- Adaptieve Niveaus: Beginnend bij een triviaal niveau, neemt het algoritme combinaties steekproef en gebruikt de kwantielen (bijv. de mediaan) om de volgende niveau grens te definiëren.
- MCMC Steekproeftrekking: Om steekproeven voor het volgende niveau te genereren, gebruikt het algoritme een Metropolis-stijl MCMC-procedure. Het start met bestaande combinaties die aan de nieuwe grensvoorwaarde voldoen en perturbeert deze (door elementen te wisselen) om nieuwe onafhankelijke steekproeven te genereren.
- Resampling Strategieën: De paper evalueert "full resampling" (het dupliceren van bestaande geldige steekproeven en het perturberen van al deze steekproeven) versus "partial resampling" (het alleen perturberen van een subset). "Full resampling" wordt gevonden als robuuster tegen steekproefbias geïntroduceerd door de discrete aard van het probleem.
Log-ruimte Schatting: Het algoritme schat de logaritme van de p-waarde om extreme waarden te verwerken zonder numerieke onderloop (underflow). Het maakt gebruik van de digamma ( $\psi$ ) en trigamma ( $\psi_1$ ) functies om het gemiddelde en de variantie van de log-schattingen te berekenen, afgeleid van de eigenschappen van orde statistieken van uniforme verdelingen. Dit maakt de constructie van geldige betrouwbaarheidsintervallen mogelijk.

Belangrijkste Bijdragen

Algoritmische Innovatie: De introductie van een hash-geaugmenteerd ordeningsschema dat adaptive multilevel splitting in staat stelt correct te functioneren in discrete permutatieruimtes, waarbij het "grote sprong"-probleem wordt overwonnen waar standaard methoden falen.
Robuuste Implementatie: Een gedetailleerde analyse van resampling strategieën (full vs. partial) en MCMC stopcriteria, waarbij wordt aangetoond dat full resampling met een specifieke schaalparameter ( $\alpha=1$ ) de beste balans biedt tussen convergentiesnelheid en reductie van bias.
Software Release: De ontwikkeling en open-source release van de Python-package hamstest, die het voorgestelde algoritme implementeert. Het stelt gebruikers in staat om aangepaste toetsstatistieken te definiëren en biedt efficiënte interfaces (inclusief C++ backends) voor hoogwaardige p-waarde schatting.
Validatie: Rigoureuze vergelijking met exacte algoritmen voor Kolmogorov–Smirnov en Mann–Whitney U toetsen, waarmee wordt aangetoond dat de voorgestelde methode p-waarden tot $10^{-243}$ nauwkeurig schat met geldige betrouwbaarheidsintervallen.

Resultaten
De auteurs evalueerden het algoritme op zowel Kolmogorov–Smirnov als Mann–Whitney U toetsen over diverse steekproefgroottes ( $n+m$ tot 10.000) en doel-p-waarden (tot $10^{-100}$ ).

Nauwkeurigheid: De geschatte p-waarden kwamen nauw overeen met de ware waarden (berekend via exacte methoden waar beschikbaar), zonder zichtbare bias. De mediaan van de schattingen stemde over alle geteste parameters overeen met de ware p-waarde.
Betrouwbaarheidsintervallen: De geconstrueerde 95% betrouwbaarheidsintervallen (gebaseerd op $\log \hat{p} \pm 2\hat{\sigma}$ ) bevatten in het overgrote deel van de onafhankelijke runs de ware log p-waarde, wat de theoretische variantie-schattingen valideert.
Prestaties: De looptijden bleken primair afhankelijk te zijn van de magnitude van de p-waarde en de steekproefgrootte. Het algoritme vertoonde lineaire schaalbaarheid ten opzichte van het aantal vereiste niveaus, wat het geschikt maakt voor het schatten van extreem kleine p-waarden die voor standaard Monte Carlo computationeel onhaalbaar zijn.
Resampling Vergelijking: De "full-median" variant (full resampling met mediaan grensselectie) presteerde consequent beter dan de partial resampling varianten wat betreft convergentiesnelheid en robuustheid tegen bias, met name voor de Kolmogorov–Smirnov toets waar de discretie van de distributie prominenter is.

Significantie
De paper claimt dat dit werk een belangrijke verbetering vormt ten opzichte van klassieke Monte Carlo-benaderingen voor p-waarde schatting in permutatietoetsen. Door de specifieke valkuilen van discrete ruimtes aan te pakken—namelijk het onvermogen om tussenliggende niveaus te definiëren door gelijkheid van statistiekwaarden—stelt het voorgestelde algoritme de nauwkeurige en efficiënte schatting van willekeurig kleine p-waarden mogelijk. Deze capaciteit is cruciaal voor moderne high-throughput toepassingen (bijv. genomics, neurowetenschappen) waar duizenden toetsen simultaan worden uitgevoerd en precieze controle over false discovery rates een betrouwbare schatting van tail-waarschijnlijkheden vereist. De auteurs merken op dat een eerdere versie van dit algoritme (zonder de hash-augmentatie) reeds succesvol was in Gene Set Enrichment Analysis (GSEA); het huidige werk breidt deze bruikbaarheid uit naar een bredere klasse van twee-steekproef statistieken en lost de instabiliteitsproblemen op die optraden bij specifieke inputdistributies. De beschikbaarheid van de hamstest package zorgt ervoor dat deze geavanceerde statistische mogelijkheden toegankelijk zijn voor gebruikersgedefinieerde statistieken in praktische onderzoeks-workflows.

Het Probleem: De "Stuck" Lift

De Oplossing: De "Hash" Tag en de Splitting Ladder

Wat Ze Vonden (en Wat Ze Niet Vonden)

Hoe Snel Is Het?

De Kern van het Verhaal

Meer zoals dit