Using the rejection sampling for finding tests

Dit paper introduceert een intuïtieve en eenvoudig te implementeren methode op basis van afwijzingssteekproeven (rejection sampling) voor het vinden van statistische toetsen die in elke dimensie toepasbaar zijn en een vergelijkbare statistische power vertonen als de uniform meest krachtige toetsen.

De kern

Titel: De "Accepteer-Of-Weiger" Test: Een Nieuwe Manier om Statistiek te Begrijpen

Stel je voor dat je een detective bent die probeert uit te vinden of een verdachte (een dataset) wel echt is zoals hij zegt, of dat het een nep is. In de statistiek noemen we dit een hypothese-toets. De vraag is: "Komen deze data uit de wereld die we denken dat het is, of is er iets anders aan de hand?"

Markku Kuismin, een wiskundige uit Finland, heeft een nieuwe, slimme manier bedacht om dit te doen. Hij noemt het de Rejection Sampling-methode (of "Accepteer-Of-Weiger"). Laten we dit uitleggen met een paar simpele analogieën.

1. Het Concept: De "Ideale" vs. de "Realiteit"

Stel je voor dat je een ideale bakker hebt. Deze bakker maakt perfect ronde, gouden koekjes (dit is je theorie of je "verwachte" verdeling, bijvoorbeeld een normale verdeling).

Nu heb je een echte bakker (de echte data) die ook koekjes maakt. Je wilt weten: "Zijn deze echte koekjes gemaakt door de ideale bakker, of is het iemand anders?"

De oude methoden waren vaak ingewikkeld: ze maten de diameter van elke koek, keken naar de kleur, en deden ingewikkelde berekeningen om te zien of het verschil groot genoeg was om te twijfelen.

De nieuwe methode van Kuismin werkt als een spelletje:

1. Je neemt de ideale bakker (je theorie) en laat hem een "voorstel" doen.
2. Je kijkt naar de echte koekjes (je data).
3. Je gebruikt een trucje (het algoritme) om te checken: "Als ik deze echte koekjes zou proberen te maken met de recepten van de ideale bakker, zou ik ze dan accepteren of weigeren?"

Als de echte koekjes eruitzien alsof ze perfect in het recept van de ideale bakker passen, zal je ze bijna altijd accepteren.
Als ze er raar uitzien (bijvoorbeeld vierkant of verbrand), zal je ze vaak weigeren.

Het getal dat telt, is het percentage acceptaties.

• Hoog percentage acceptatie (bijna 100%): "Hé, deze data past perfect bij de theorie. Geen reden tot paniek."
• Laag percentage acceptatie: "Oeps, we hebben veel koekjes geweigerd. De theorie klopt niet met de werkelijkheid."

2. Waarom is dit zo slim?

In het verleden waren statistische tests vaak als een zwartkist: je stopte data erin, en er kwam een getal uit dat je niet echt begreep. Je moest vertrouwen op ingewikkelde formules.

Deze nieuwe methode is als een doorzichtige glazen doos. Je ziet precies wat er gebeurt:

• Het is intuïtief: Iedereen begrijpt het idee van "accepteren" of "afwijzen".
• Het werkt voor alles: Of je nu kijkt naar één cijfer, een lijst van cijfers, of een hele berg complexe data (zelfs in 3D of meer).
• Het is krachtig: Het is net zo goed als de beste, oudste methoden, maar soms zelfs beter, vooral als je kijkt of data uit een bepaalde verdeling komt (zoals de "Goedheid-van-Passing" test).

3. Drie Voorbeelden uit de Wereld

De auteur heeft deze methode getest op drie verschillende situaties:

A. De Groepsvergelijking (De Twee Teams)
Stel je hebt twee teams die een wedstrijd spelen. Team A en Team B.

• Vraag: Is Team A echt beter dan Team B, of was het gewoon geluk?
• De test: De nieuwe methode kijkt of de scores van Team A en Team B zo verschillend zijn dat ze niet uit dezelfde "ideale" verdeling kunnen komen. Het werkt net zo goed als de bekende t-test, maar is flexibeler.

B. De Gemiddelde Check (De Doelwit)
Stel je schiet met pijlen en boog op een doel. Je verwacht dat je pijlen precies in het midden (0,0) landen.

• Vraag: Landen mijn pijlen echt in het midden, of schiet ik allemaal een beetje naast?
• De test: De methode checkt of de hele groep pijlen (het gemiddelde) past bij het doelwit. Als je vaak naast het doel schiet, zal de "acceptatiekans" laag zijn en weet je: "Nee, mijn doelstelling klopt niet."

C. De Vorm-check (De Goede Pasvorm)
Stel je hebt een puzzelstukje en je denkt dat het een stukje van de zee is (golven).

• Vraag: Past dit stukje echt in de zee-puzzel, of is het misschien een stukje van een bos?
• De test: Hier is de nieuwe methode supersterk. Hij kan heel goed zien of data (zoals reactietijden of ziektegegevens) echt de vorm heeft van wat je denkt (bijvoorbeeld een normale verdeling) of dat het een rare, scheve vorm heeft. In tests bleek deze methode vaak beter te zijn dan de oude, standaard methoden.

4. Wat betekent dit voor jou?

Deze paper zegt eigenlijk: "We hebben een nieuwe, makkelijkere en krachtigere manier om statistische vragen te beantwoorden."

• Voor onderzoekers: Het is een nieuw gereedschap in de kist dat makkelijker te gebruiken is en minder fouten maakt bij complexe data.
• Voor de gewone man: Het betekent dat de conclusies die we trekken uit data (bijvoorbeeld in de geneeskunde of psychologie) nog betrouwbaarder kunnen worden. Of het nu gaat om het meten van Alzheimer-proteïnen of het analyseren van hoe snel mensen reageren op een scherm, deze methode helpt om de waarheid te vinden tussen de ruis.

Kortom: In plaats van ingewikkelde wiskunde te doen om te raden of data klopt, gebruiken we nu een slim spelletje van "accepteren of weigeren" om te zien of de data echt past bij het verhaal dat we vertellen. En tot nu toe werkt dat spelletje verrassend goed!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Using the rejection sampling for finding tests" van Markku Kuismin, in het Nederlands.

Titel: Het gebruik van rejection sampling voor het vinden van statistische toetsen

1. Probleemstelling

Statistische hypothetoetsing is een hoeksteen van statistische inferentie, maar het ontwikkelen van toetsen die zowel robuust zijn als hoge statistische power hebben, blijft een uitdaging. Bestaande methoden (zoals de Wald-toets, Score-toets en Likelihood Ratio-toets) zijn vaak afhankelijk van specifieke aannames over de onderliggende verdeling of kunnen complex zijn om te implementeren in hoge dimensies. Er is behoefte aan een universele, intuïtieve methode die:

• Toepasbaar is op willekeurige dimensies (univariaat en multivariaat).
• Geschikt is voor zowel parametrische als niet-parametrische problemen.
• Hoge statistische power biedt, vergelijkbaar met de best beschikbare methoden (state-of-the-art).
• Een directe interpretatie heeft van de teststatistiek.

2. Methodologie: Het AR-Framework

De auteur introduceert een nieuwe methode gebaseerd op rejection sampling (ook wel het accept-reject algoritme genoemd). In plaats van rejection sampling te gebruiken om stochastische variabelen te genereren, wordt het gebruikt om een teststatistiek te construeren.

Het kernprincipe:
Stel dat we een hypothese $H_0$ toetsen waarbij de data afkomstig zou moeten zijn uit een theoretische verdeling $f_0$ (de doelverdeling), terwijl we een geschatte verdeling $\hat{f}$ hebben (de voorstelverdeling).
In het standaard accept-reject algoritme wordt een steekproef $X_i$ geaccepteerd als $U < f_0(X_i) / (D \cdot \hat{f}(X_i))$, waarbij $U \sim Unif(0,1)$.

De auteur definieert de teststatistiek als de acceptatiekans ($\rho$) van deze procedure, maar dan toegepast op de waargenomen data:

1. Teststatistiek: De verwachte waarde van het indicatorvariabele dat een steekproef wordt geaccepteerd.
2. Formule: De teststatistiek $\rho(X)$ wordt berekend als het gemiddelde van de minimale verhouding tussen de theoretische dichtheid en de geschatte dichtheid:
   $$\rho(X) = \frac{1}{n} \sum_{i=1}^{n} \min\left(1, \frac{f_0(X_i)}{\hat{f}(X_i)}\right)$$
   Hierbij is $f_0$ de dichtheid onder de nulhypothese en $\hat{f}$ een dichtheidsschatting (bijv. via Kernel Density Estimation of een parametrische schatter).

Theoretische eigenschappen:

• Verdeling: De verdeling van de teststatistiek (gebaseerd op $n$ observaties) volgt een Poisson-binomiale verdeling. Dit maakt het mogelijk om exacte betrouwbaarheidsintervallen en p-waarden te berekenen zonder zware simulaties, hoewel Monte Carlo-simulaties worden gebruikt om de drempelwaarden te bepalen.
• Consistentie: De test is consistent tegenover elke vaste alternatieve hypothese.
• Relatie met TVD: De asymptotische waarde van de teststatistiek hangt samen met de Totale Variatie Afstand (TVD) tussen de ware verdeling $f$ en de hypothetische verdeling $f_0$:
  $$\rho(X) \xrightarrow{P} 1 - \|f - f_0\|_{TV}$$
  Dit betekent dat als $H_0$ waar is, $\rho(X)$ naar 1 convergeert. Als $H_0$ onwaar is, convergeert de waarde naar iets lager dan 1, afhankelijk van hoe sterk de verdelingen verschillen.

Implementatie:
De methode wordt toegepast op drie soorten problemen:

1. Vergelijking van groepsgemiddelden (gecorreleerd of onafhankelijk).
2. Toetsen of een gemiddelde vector gelijk is aan een specifieke vector.
3. Goodness-of-fit toetsen (komt de steekproef uit een specifieke verdeling?).

3. Belangrijkste Bijdragen

• Conceptuele Innovatie: Het gebruik van de acceptatiekans van een generatief algoritme (rejection sampling) als een teststatistiek voor hypothetoetsing.
• Universele Toepasbaarheid: De methode werkt voor willekeurige dimensies en is niet beperkt tot specifieke verdelingen (zoals normaliteit), mits een goede dichtheidsschatting beschikbaar is.
• Interpretabiliteit: De teststatistiek heeft een directe betekenis: het meet hoe vaak de waargenomen data zou worden "geaccepteerd" als ze uit de hypothetische verdeling zouden komen.
• Flexibiliteit: De methode kan worden aangepast voor verschillende proposal-verdelingen (bijv. multivariate t-verdeling als voorstel voor een normale verdeling) om de power te optimaliseren.

4. Resultaten

De prestaties van de AR-toets (Accept-Reject test) werden geëvalueerd via uitgebreide Monte Carlo-simulaties en toegepast op twee reële datasets.

Simulatiestudies:

• Groepsvergelijkingen: Bij het vergelijken van gemiddelden (gepaarde en onafhankelijke steekproeven) had de AR-toets een power die vergelijkbaar was met de gepaarde t-toets en de Likelihood Ratio (LR) toets. De LR-toets is theoretisch de "Uniformly Most Powerful" (UMP) toets, maar de AR-toets benadert deze prestaties zeer nauwkeurig.
• Goodness-of-fit (Univariaat): Bij het toetsen op normaliteit en andere verdelingen (zoals t-verdelingen, logistieke verdelingen) presteerde de AR-toets vaak beter dan de Kolmogorov-Smirnov (KS), Cramér-von Mises (CVM) en Anderson-Darling (AD) toetsen, vooral bij kleinere steekproefgroottes en zware staarten.
• Goodness-of-fit (Multivariaat): Bij multivariate normaliteitstesten was de AR-toets over het algemeen de krachtigste toets, met uitzondering van het geval waarin de alternatieve verdeling een multivariate t-verdeling was (waarbij de Energy-test beter scoorde).
• Type I Fout: De AR-toets hield de Type I fout (falsch-positief) consistent onder het nominale significantieniveau (bijv. $\alpha = 0.05$).

Toepassingen op reële data:

1. Amyloid-beta (Alzheimer): De toets werd gebruikt om verschillen in eiwitniveaus tussen drie cognitieve groepen te analyseren. De AR-toets vond een significant verschil (p-waarde $\approx 0.005$), wat overeenkwam met de verwachte biologische patronen.
2. Reactietijden: Bij het toetsen of reactietijden een verschoven log-normale verdeling volgen versus een normale verdeling, gaf de AR-toets een zeer hoge p-waarde voor de log-normale verdeling (goede fit) en een lage p-waarde voor de normale verdeling (slechte fit), wat de visuele inspectie van de data bevestigde.

5. Betekenis en Conclusie

De paper presenteert een krachtige, nieuwe aanpak voor statistische toetsing die de brug slaat tussen generatieve modellen (rejection sampling) en inferentiële statistiek.

• Voordeel: De methode is conceptueel intuïtief, makkelijk te implementeren en zeer flexibel. Het vermijdt de noodzaak van complexe asymptotische afleidingen voor elke nieuwe toets.
• Power: De resultaten tonen aan dat de AR-toets niet alleen vergelijkbaar is met gevestigde methoden (zoals de LR-toets), maar in veel goodness-of-fit scenario's zelfs superieur is.
• Toekomstperspectief: De auteur stelt dat dit slechts het begin is. De methode kan worden uitgebreid naar meer complexe problemen zoals K-steekproefproblemen, categorische variabelen en gemengde data, wat een veelbelovend onderzoeksgebied opent.

Kortom, deze studie biedt een robuust alternatief voor traditionele toetsen, met name waar bestaande methoden tekortschieten in hoge dimensies of bij complexe, niet-normale verdelingen.