📊 statistics

Besag-Clifford e-values for unnormalized testing

Dit paper introduceert Besag-Clifford e-waarden voor het testen met niet-genormaliseerde verdelingen, een methode die geldige en log-optimale inferentie mogelijk maakt ondanks de onbekende normalisatieconstante door gebruik te maken van uitwisselbare steekproeven via Markov-ketens.

Oorspronkelijke auteurs: Alexander Dombowsky, Barbara E. Engelhardt, Aaditya Ramdas

Gepubliceerd 2026-03-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Dombowsky, Barbara E. Engelhardt, Aaditya Ramdas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt een verdachte (de hypothese) die beweert dat alles normaal verloopt. Je wilt bewijzen dat deze verdachte liegt, maar je hebt een groot probleem: je kunt de volledige feiten niet zien. Je hebt alleen stukjes informatie, maar je weet niet hoe groot het totale plaatje is. In de statistiek noemen we dit een "ongewone kansverdeling" waarbij de normaliseringsconstante (het totale plaatje) onbekend is.

Normaal gesproken zou je een wiskundige formule gebruiken om te zeggen: "De kans dat de verdachte liegt is X keer zo groot als dat hij de waarheid spreekt." Maar omdat je dat totale plaatje niet kent, kun je die formule niet precies berekenen. Het is alsof je een cake wilt bakken, maar je weet niet hoeveel meel er precies in de zak zit, dus je kunt niet zeggen of het recept perfect is.

De oplossing: De "Besag-Clifford e-waarde"

De auteurs van dit artikel (Dombowsky, Engelhardt en Ramdas) hebben een slimme truc bedacht om dit probleem op te lossen. Ze gebruiken een methode die lijkt op een simulatie-spel.

De Analogie: Het "Spiegel- en Gooi"-Spel

Stel je voor dat je een munt wilt testen om te zien of hij eerlijk is (50% kop, 50% munt). Maar je bent niet zeker of de munt eerlijk is, en je kunt de exacte kansen niet berekenen.

De Verdachte (Jouw Data): Je gooit de munt een keer en ziet "Kop".
De Simulatie (De MCMC): In plaats van te proberen de exacte wiskunde te doen, laten we een computer een spelletje spelen. De computer neemt jouw "Kop" en gooit de munt terug in de tijd (een stapje terug in het proces) en gooit hem daarna weer vooruit naar een nieuwe positie.
De Vrienden (De Samples): De computer doet dit niet één keer, maar honderden keren. Het creëert een groepje "vrienden" (simulaties) die allemaal net zo goed zouden kunnen zijn als jouw oorspronkelijke "Kop", als de munt eerlijk was.
De Vergelijking: Nu kijk je naar jouw oorspronkelijke "Kop" en vergelijk je deze met al die vrienden.
- Als jouw "Kop" er heel anders uitziet dan al die vrienden (bijvoorbeeld, als de vrienden allemaal "Munt" tonen en jij "Kop"), dan is er iets raars aan de hand. De verdachte liegt waarschijnlijk!
- Als jouw "Kop" er precies uit ziet als de rest van de groep, dan is er niets aan de hand.

De Besag-Clifford e-waarde is gewoon een score die aangeeft hoe "speciaal" jouw data is vergeleken met die groep gesimuleerde vrienden.

Score 1: Je bent precies zoals de rest. Geen verdachte.
Score 100: Je bent heel anders dan de rest. Grote kans dat de verdachte liegt!

Waarom is dit zo slim?

In het verleden hadden wetenschappers een probleem: als je een computer gebruikt om te simuleren, zijn de resultaten vaak niet perfect onafhankelijk (ze zijn "gecorrreleerd", alsof vrienden die elkaar hebben gezien, hetzelfde doen). Dit maakte de statistiek onbetrouwbaar.

De auteurs gebruiken een specifieke techniek (het parallelle methode van Besag en Clifford) die ervoor zorgt dat jouw data en de gesimuleerde data uitwisselbaar zijn. Dat betekent: als de verdachte de waarheid spreekt, maakt het niet uit welke van de groepen "jij" bent en welke de "vrienden". Ze zijn allemaal even waarschijnlijk.

Dit geeft hen twee grote voordelen:

Zekerheid: Je kunt op elk moment stoppen met tellen en zeggen: "Ik heb genoeg bewijs." Je hoeft niet te wachten tot het einde van het experiment. Dit is heel handig als data duur is om te verzamelen (bijvoorbeeld bij het bestuderen van sterrenstelsels).
Kracht: Hoe meer vrienden (simulaties) je toevoegt, hoe scherper je test wordt. Als je veel computers gebruikt die parallel werken, wordt je bewijs nog sterker.

Waarvoor wordt dit gebruikt?

De auteurs tonen dit aan met twee voorbeelden:

Sterrenstelsels: Ze kijken naar de snelheid van sterren in een enorm cluster (de Shapley Supercluster). Ze wilden weten of er één grote groep sterren is of meerdere groepen. Met hun methode konden ze bewijzen dat het simpelste model (één groep) het beste paste, zonder dat ze de complexe wiskunde van de sterrenhoeveelheden exact hoefden op te lossen.
AI en Machine Learning: Veel moderne AI-modellen werken met onbekende constanten. Deze methode helpt om te testen of die AI-modellen goed werken of niet, zonder dat je de hele wiskundige formule hoeft te kennen.

Samenvatting in één zin

De auteurs hebben een slimme manier bedacht om te testen of iets "raar" is, zelfs als je de volledige wiskundige regels niet kent, door simpelweg te kijken of jouw data eruit springt in een groepje van door de computer gegenereerde "vrienden".

Het is alsof je een verdachte in een rijtje met twintig identieke verdubbelingen zet; als de echte verdachte eruit springt, heb je je bewijs, en dat geldt zelfs als je niet precies weet hoe de rij is opgebouwd.

Titel: Besag-Clifford e-waarden voor ongebruikelijke toetsing

Auteurs: Alexander Dombowsky, Barbara E. Engelhardt, en Aaditya Ramdas.

1. Het Probleem

In het machine learning en de statistiek worden vaak ongenormaliseerde kansverdelingen gebruikt om complexe data-genererende processen te modelleren (bijv. Markov Random Fields, Restricted Boltzmann Machines, en Bayesiaanse modellen). Het centrale probleem is dat de normalisatieconstante ( $K = \int g(x)dx$ ) van deze verdelingen vaak onbekend of niet-berekenbaar is.

Dit leidt tot twee belangrijke beperkingen:

Onmogelijkheid van Likelihood Ratio Testing (LRT): De klassieke Neyman-Pearson toets vereist de likelihood ratio $E(X) = q(X)/p(X)$ . Omdat $p(x)$ (de nul-hypothese) slechts bekend is tot een constante ( $p(x) \propto g(x)$ ), kan de exacte likelihood ratio niet worden berekend.
Gevaren van ongebruikelijke toetsstatistieken: Als men probeert te toetsen met een ongebruikelijke ratio (bijv. $T(x) = h(x)/g(x)$ ), is de verwachting onder de nul-hypothese ( $E_P[T(X)]$ ) vaak onbekend of groter dan 1. Hierdoor is er geen garantie dat het verwerpen van de nul-hypothese bij een drempelwaarde $1/\alpha$ leidt tot een correct niveau- $\alpha$ toets (Type-I foutcontrole).

Hoewel Markov Chain Monte Carlo (MCMC) methoden kunnen worden gebruikt om te bemonsteren uit deze verdelingen, zijn standaard MCMC-uitkomsten niet uitwisselbaar (exchangeable) met de waarneming $X$ onder de nul-hypothese, wat essentieel is voor geldige p-waarden of e-waarden in niet-asymptotische settings.

2. Methodologie

De auteurs stellen een nieuwe methode voor die Besag-Clifford e-waarden combineert met ongebruikelijke toetsstatistieken om geldige inferentie mogelijk te maken zonder kennis van de normalisatieconstante.

A. Het Besag-Clifford Parallelle Methode

De kern van de methode is het genereren van steekproeven die uitwisselbaar zijn met de data $X$ onder de nul-hypothese $P$ , zelfs als $P$ niet direct te bemonsteren is. Dit wordt gedaan via een "backwards-forward" schema (Algorithm 1):

Start met de waarneming $X$ .
Evolueer de Markovketen achteruit in de tijd ( $J$ stappen) via de omgekeerde overgangskern $V^J(X, \cdot)$ om een startpunt $Y^{(0)}$ te genereren.
Evolueer de keten vooruit ( $J$ stappen) vanaf $Y^{(0)}$ via de voorwaartse kern $U^J$ om $M$ nieuwe steekproeven $Y^{(1)}, \dots, Y^{(M)}$ te genereren.
Onder de nul-hypothese zijn $(X, Y^{(1)}, \dots, Y^{(M)})$ uitwisselbaar.

B. Constructie van de Besag-Clifford e-waarde

Voor een gegeven toetsstatistiek $T(x)$ (bijv. een ongebruikelijke likelihood ratio), wordt de e-waarde gedefinieerd als:
$\hat{E}_M(X) = \frac{(M + 1)T(X)}{T(X) + \sum_{m=1}^M T(Y^{(m)})}$
Dit is een "soft-rank" e-waarde. Volgens Propositie 1 is dit een geldige e-waarde (verwachting $\leq 1$ onder $P$ ) voor elk $M$ , zolang de steekproeven uitwisselbaar zijn.

C. Asymptotische Optimaliteit en Mixing

De auteurs tonen aan dat als $M \to \infty$ , de Besag-Clifford e-waarde convergeert naar een geschaalde versie van de ware likelihood ratio:
$\hat{E}_M(X) \xrightarrow{P} \frac{E(X)}{\Delta_J(Y^{(0)})}$
waarbij $\Delta_J$ een multiplicatieve bias is die afhangt van de startpositie en het aantal stappen $J$ .

Log-optimaliteit: Als $J$ groot genoeg is (specifiek, groter dan de KL-mixing tijd van de keten), wordt $\Delta_J \approx 1$ . De e-waarde wordt dan log-optimaal (maximaliseert de e-power $E_Q[\log T]$ ).
Meerdere ketens: Om de impact van slechte mixing of een slechte startpositie te verminderen, wordt voorgesteld om de e-waarden te middelen over meerdere onafhankelijke ketens ( $S$ ketens). Dit verhoogt de e-power zonder de Type-I foutcontrole te schenden (Propositie 3).

D. Uitbreidingen

Composite Hypothesen: Voor samengestelde hypothesen (meerdere mogelijke $P$ 's) wordt de minimum e-waarde over alle nullen gebruikt om een geldige toets te bouwen.
Sequential Testing: De methode wordt uitgebreid tot e-processen voor sequentiële toetsing, waarbij data punt-voor-punt wordt verwerkt en de toets op elk moment kan stoppen (anytime-valid).

3. Belangrijkste Bijdragen

Validiteit voor Ongenuormaliseerde Distributions: De eerste methode die geldige e-waarden biedt voor toetsing met ongenormaliseerde verdelingen, zonder kennis van de normalisatieconstante, en geldig blijft voor elk aantal iteraties $M$ .
Log-Optimaliteit: Bewijs dat Besag-Clifford e-waarden asymptotisch log-optimaal zijn (benaderen de Kullback-Leibler divergentie) mits de MCMC-keten goed mixt.
Robuustheid via Meerdere Keten: Een strategie om e-power te verhogen door parallelle MCMC-runs te middelen, wat de gevoeligheid voor initiële condities verlaagt.
Toepassing op Complexe Modellen: Toepassing op AR(1) processen, Product of Experts (PoE), Restricted Boltzmann Machines (RBM) en Markov Random Fields (MRF).
Sequentiële Toetsing: Introductie van Besag-Clifford e-processen die geldige Type-I foutcontrole garanderen bij data-afhankelijke stopregels.

4. Resultaten

De auteurs valideren hun theorie via simulaties en een reële toepassing:

AR(1) Processen: In synthetische data voor autoregressieve processen wordt aangetoond dat de Besag-Clifford e-waarde convergeert naar de ware likelihood ratio naarmate $M$ toeneemt. De e-power verbetert aanzienlijk met het aantal stappen $J$ (mixing) en het aantal ketens $S$ .
Sequential Product of Experts: In een sequentiële setting groeit de e-waarde exponentieel onder het alternatief. Het gebruik van meerdere ketens ( $S>1$ ) versnelt de groei, hoewel er een afnemend rendement optreedt bij zeer grote $S$ .
Vergelijking met Universal Inference: Bij het toetsen van een samengestelde alternatieve hypothese (Gaussische parameters) presteert de Besag-Clifford e-process stabieler en bereikt sneller de stopdrempel dan een standaard "Universal Inference" e-process (LR e-process) in de vroege fasen van de datastroom.
Shapley Supercluster (Reële Data): De methode werd toegepast op de snelheidsdata van sterrenstelsels in de Shapley Supercluster. Het model met minder "experts" ( $W=5$ ) bleek beter te passen dan het complexere model ( $W=25$ ), wat werd aangetoond door een exponentiële daling van de e-waarde (wealth) voor het complexere model.

5. Betekenis en Impact

Dit werk is significant omdat het een brug slaat tussen twee belangrijke gebieden:

Ongebruikelijke Kansverdelingen: Het lost het fundamentele probleem op van het ontbreken van normalisatieconstanten in moderne generatieve modellen.
Rigoureuze Foutcontrole: Het biedt een alternatief voor p-waarden (die kwetsbaar zijn voor peeking en data-dredging) door gebruik te maken van e-waarden, die robuust zijn voor sequentiële analyse en post-hoc inferentie.

De methode maakt het mogelijk om complexe modellen (zoals RBM's en MRF's) te toetsen met dezelfde statistische garanties als traditionele modellen, zolang er maar een MCMC-sampler beschikbaar is die de stationaire verdeling bereikt. Dit opent de deur voor betrouwbaardere modelselectie en parameterinferentie in het domein van deep learning en Bayesiaanse statistiek waar normalisatie vaak onmogelijk is.