📊 statistics

Besag-Clifford e-values for unnormalized testing

Die Autoren stellen eine Methode vor, die auf dem Besag-Clifford-Parallelisierungsansatz basiert, um gültige E-Werte für unnormalisierte Wahrscheinlichkeitsverteilungen zu generieren, wodurch Likelihood-Ratio-Tests trotz unbekannter Normalisierungskonstanten möglich werden und asymptotische Optimalität erreicht wird.

Ursprüngliche Autoren: Alexander Dombowsky, Barbara E. Engelhardt, Aaditya Ramdas

Veröffentlicht 2026-03-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander Dombowsky, Barbara E. Engelhardt, Aaditya Ramdas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Wenn die Landkarte unvollständig ist

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, ob ein bestimmtes Ereignis (z. B. ein verdächtiges Verhalten) wirklich passiert ist oder nur ein Zufall war. In der Statistik nennen wir das Hypothesentestung.

Normalerweise braucht man dafür eine perfekte Landkarte der Wahrscheinlichkeiten, um zu berechnen, wie "seltsam" ein Ereignis ist. Aber in der modernen Welt (Maschinelles Lernen, komplexe Biologie) gibt es viele Situationen, in denen diese Landkarte unvollständig ist. Wir kennen die Form der Landschaft, aber wir wissen nicht, wie hoch der Berg genau ist oder wie tief das Tal. Die Mathematik sagt: "Das ist proportional zu X", aber der genaue Wert (die "Normierungskonstante") ist so kompliziert zu berechnen, dass es unmöglich ist.

Ohne diesen genauen Wert können die klassischen Werkzeuge der Detektive (wie der Likelihood-Quotient) nicht funktionieren. Es ist, als wollte man ein Schiff steuern, ohne zu wissen, wie viel Wasser im Tank ist.

Die Lösung: Der "Besag-Clifford"-Trick

Die Autoren schlagen einen cleveren Weg vor, um dieses Problem zu umgehen. Sie nutzen eine Methode, die auf Besag und Clifford zurückgeht, und nennen ihr neues Werkzeug Besag-Clifford-e-Werte.

Hier ist die Analogie:

1. Das Problem: Der einsame Detektiv

Stellen Sie sich vor, Sie haben einen Verdächtigen (die Daten) und wollen prüfen, ob er unschuldig ist (die "Nullhypothese"). Normalerweise würden Sie sagen: "Schauen wir uns an, wie oft ein unschuldiger Mensch so etwas macht." Aber da die Landkarte unvollständig ist, können Sie das nicht genau berechnen.

2. Die Idee: Die Zeitreise-Partei

Statt die Landkarte zu berechnen, machen wir etwas anderes: Wir laden Gäste ein.

Wir nehmen unseren Verdächtigen (die Daten).
Wir lassen eine Maschine (einen MCMC-Algorithmus) laufen, die zufällige "unschuldige" Szenarien generiert.
Das Besondere: Diese Maschine läuft nicht einfach nur vorwärts. Sie läuft erst rückwärts in die Zeit, um einen Startpunkt zu finden, und dann wieder vorwärts, um viele neue Szenarien zu erzeugen.

Stellen Sie sich das wie eine Party vor:

Sie nehmen Ihren Gast (die echten Daten) und schicken ihn kurz in eine andere Dimension (rückwärts), um einen neutralen Ort zu finden.
Von diesem neutralen Ort aus lassen Sie dann viele neue Gäste (die simulierten Daten) in die Welt entlassen.
Das Geniale: Wenn Ihr ursprünglicher Gast wirklich unschuldig war, dann ist er nicht mehr von den neuen Gästen zu unterscheiden. Alle sind gleichberechtigt (mathematisch: "austauschbar").

3. Der Test: Der "Soft-Rank"

Jetzt vergleichen wir den Verdächtigen mit der Menge der neuen Gäste.

Wir fragen: "Wie oft ist der Verdächtige 'schlimmer' (oder seltsamer) als die neuen Gäste?"
Wenn der Verdächtige wirklich unschuldig ist, sollte er nicht oft am oberen Ende der Liste stehen.
Wenn er aber schuldig ist (die Alternative), wird er sich deutlich von der Masse abheben.

Das Ergebnis dieses Vergleichs ist der e-Wert.

Ein e-Wert ist wie ein "Vertrauens-Indikator".
Wenn der Wert hoch ist (z. B. größer als 20), ist es sehr unwahrscheinlich, dass der Verdächtige unschuldig ist.
Der Trick: Dieser Wert ist immer gültig, auch wenn die Landkarte unvollständig ist, solange die "Partei" (die Simulation) fair abläuft.

Warum ist das so cool? (Die Vorteile)

1. Es funktioniert auch bei "schlechten" Maschinen
Normalerweise brauchen Computer, die solche Simulationen machen, sehr lange, um sich zu "entspannen" (das nennt man Mixing). Wenn sie zu schnell gestoppt werden, sind die Ergebnisse verzerrt.
Die Autoren zeigen: Selbst wenn die Maschine noch nicht perfekt läuft, ist unser e-Wert immer noch sicher. Er ist vielleicht nicht perfekt optimal, aber er ist sicher. Und je mehr Gäste wir einladen (mehr Simulationen), desto genauer wird er.

2. Mehrere Teams sind besser als eines
Stellen Sie sich vor, Sie haben nicht nur eine, sondern zehn verschiedene Maschinen, die alle gleichzeitig laufen.

Wenn eine Maschine zufällig einen "schlechten" Startpunkt hat, kann eine andere das ausgleichen.
Die Autoren zeigen: Wenn man die Ergebnisse mehrerer Maschinen mittelt, wird der Test noch stärker (höhere "Power"), ohne die Sicherheit zu verlieren. Es ist wie bei einer Jury: Mehr unabhängige Stimmen machen das Urteil robuster.

3. Es funktioniert in Echtzeit (Sequentielles Testen)
Statt am Ende eines Experiments zu schauen, ob man gewonnen hat, kann man diesen Test währenddessen machen.

Man sammelt Daten, macht einen Test, sammelt mehr, macht einen Test.
Man kann jederzeit aufhören, wenn der e-Wert hoch genug ist. Das ist besonders nützlich, wenn Daten teuer sind (z. B. in der Medizin oder Astronomie). Man muss nicht auf ein festes Ende warten.

Ein reales Beispiel: Die Galaxien im Shapley-Superhaufen

In dem Papier testen die Autoren ihre Methode an echten Daten von Galaxien im "Shapley-Superhaufen" (eine riesige Ansammlung von Galaxien).

Die Frage: Wie viele verschiedene "Gruppen" (Experten) von Galaxien gibt es in dieser Ansammlung? Sind es 5 Gruppen oder 25?
Das Problem: Die mathematische Beschreibung dieser Galaxien ist extrem komplex und unvollständig.
Das Ergebnis: Die Methode hat gezeigt, dass das Modell mit 5 Gruppen viel besser passt als das mit 25. Die Daten "schrien" förmlich danach, dass das komplexere Modell (25 Gruppen) übertrieben war.

Zusammenfassung in einem Satz

Die Autoren haben einen cleveren "Trick" entwickelt, bei dem man durch das Erzeugen von zufälligen, simulierten Szenarien (eine Art Zeitreise-Partei) komplexe mathematische Probleme umgeht, um sicher und effizient zu beweisen, ob ein Muster echt ist oder nur Zufall – selbst wenn die zugrundeliegende Mathematik unvollständig ist.

Es ist wie ein Detektiv, der nicht die genaue Höhe des Berges messen muss, um zu wissen, ob jemand dort oben war, sondern einfach vergleicht, wie oft andere Leute in ähnlichen Situationen dort oben waren.

Titel und Autoren

Titel: Besag-Clifford e-values for unnormalized testing (Besag-Clifford-e-Werte für unnormalisierte Tests)
Autoren: Alexander Dombowsky, Barbara E. Engelhardt, Aaditya Ramdas
Datum: März 2026 (Vorabdruck)

1. Problemstellung

In vielen Bereichen des maschinellen Lernens und der Statistik werden Wahrscheinlichkeitsverteilungen verwendet, die nur bis auf eine Normierungskonstante bekannt sind (unnormalisierte Verteilungen). Beispiele hierfür sind Markov-Zufallsfelder (MRFs), Restricted Boltzmann Machines (RBMs), Produkte von Experten (PoEs) und viele bayesianische Modelle, bei denen die marginale Likelihood nicht in geschlossener Form vorliegt.

Das zentrale Problem besteht darin, dass für solche Verteilungen der Likelihood-Quotient $E(X) = q(X)/p(X)$ nicht direkt berechnet werden kann, da die Normierungskonstanten $K$ (für die Nullhypothese $P$ ) und $L$ (für die Alternative $Q$ ) unbekannt sind.

Folge: Ein direkter Likelihood-Quotienten-Test ist unmöglich.
Herausforderung: Selbst wenn man einen unnormalisierten Teststatistik $T(x) = h(x)/g(x)$ verwendet, ist der Erwartungswert unter der Nullhypothese oft ungleich 1 ( $E_P[T(X)] = L/K \neq 1$ ). Daher ist $T(X)$ kein gültiger e-Wert (eine Teststatistik, deren Erwartungswert unter $H_0$ höchstens 1 ist), was die Kontrolle des Fehlers 1. Art (Typ-I-Fehler) bei sequentiellen oder nachträglichen Tests gefährdet.
Einschränkung bestehender Methoden: Herkömmliche MCMC-Methoden (Markov-Chain-Monte-Carlo) können zwar aus unnormalisierten Verteilungen approximativ sampeln, aber die Berechnung exakter p-Werte oder e-Werte erfordert oft unabhängige Stichproben oder exakte Kenntnis der Verteilung, was hier nicht gegeben ist.

2. Methodik: Besag-Clifford e-Werte

Die Autoren schlagen eine Methode vor, die auf dem parallelen Sampling-Verfahren von Besag und Clifford (1989) basiert, um aus unnormalisierten Verteilungen gültige e-Werte zu konstruieren.

Kernidee: Austauschbarkeit (Exchangeability)

Statt unabhängige Stichproben zu fordern, nutzt die Methode die Eigenschaft der Austauschbarkeit. Wenn $X$ die beobachteten Daten sind und $Y^{(1)}, \dots, Y^{(M)}$ so generiert werden, dass der Vektor $(X, Y^{(1)}, \dots, Y^{(M)})$ unter der Nullhypothese austauschbar ist, dann ist der folgende Quotient ein gültiger e-Wert:

$\hat{E}_M(X) = \frac{(M + 1)T(X)}{T(X) + \sum_{m=1}^M T(Y^{(m)})}$

Hierbei ist $T(x)$ eine beliebige nicht-negative Teststatistik (z. B. der unnormalisierte Likelihood-Quotient).

Algorithmus (Parallel Method)

Um die Austauschbarkeit auch bei unnormalisierten Verteilungen zu gewährleisten, wird ein spezielles Sampling-Verfahren verwendet:

Rückwärts-Schritt: Startend bei den beobachteten Daten $X$ , wird die Markov-Kette rückwärts für $J$ Schritte unter Verwendung des reversiblen Übergangskerns $V^J$ simuliert, um einen Zustand $Y^{(0)}$ zu erhalten.
Vorwärts-Schritt: Von $Y^{(0)}$ aus werden $M$ unabhängige Pfade vorwärts für $J$ Schritte unter Verwendung des Übergangskerns $U^J$ simuliert, um $Y^{(1)}, \dots, Y^{(M)}$ zu erhalten.
Ergebnis: Unter der Nullhypothese sind $X$ und die $Y^{(m)}$ bedingt unabhängig gegeben $Y^{(0)}$ und austauschbar. Dies garantiert die Gültigkeit des e-Werts für jede endliche Anzahl von Schritten $M$ und $J$ .

Theoretische Eigenschaften

Asymptotische Log-Optimalität: Wenn $M \to \infty$ konvergiert der Besag-Clifford e-Wert $\hat{E}_M(X)$ gegen den wahren Likelihood-Quotienten $E(X)$ , multipliziert mit einem skalaren Faktor $\Delta_J(Y^{(0)})$ .
Einfluss der Mischzeit: Der Faktor $\Delta_J$ hängt von der Mischzeit (mixing time) der Markov-Kette ab. Wenn die Anzahl der Schritte $J$ groß genug ist (insbesondere größer als die KL-Mischzeit), nähert sich $\Delta_J$ dem Wert 1 an, und der e-Wert wird asymptotisch log-optimal.
Multiple Chains: Durch das Mitteln über mehrere unabhängige Ketten (Parallel Runs) kann die e-Power (die Fähigkeit, die Nullhypothese abzulehnen, wenn sie falsch ist) erhöht werden, ohne die Gültigkeit (Typ-I-Fehler-Kontrolle) zu verletzen.

3. Hauptbeiträge und Erweiterungen

Log-Optimalität für unnormalisierte Verteilungen: Der Nachweis, dass Besag-Clifford e-Werte mit einem unnormalisierten Likelihood-Quotienten als Teststatistik asymptotisch log-optimal sind, bis auf einen durch die Mischzeit der Kette bedingten Faktor.
Robustheit durch Multiple Chains: Die Einführung einer Methode, die mehrere parallele MCMC-Ketten mittelt, um die e-Power zu steigern und die Sensitivität gegenüber dem Startzustand der Kette zu verringern.
Komposite Hypothesen:
- Komposite Nullhypothesen: Für endliche Mengen von Nullhypothesen wird ein e-Wert durch das Minimum der einzelnen Besag-Clifford e-Werte konstruiert.
- Konfidenzregionen: Es wird ein Algorithmus zur Konstruktion von Konfidenzregionen für Parameter in parametrischen Modellen vorgestellt.
- Komposite Alternativen: Die Methode erlaubt Tests gegen komplexe Alternativen, indem vortrainierte Modelle als $T(x)$ verwendet werden.
Sequentielle Tests (e-Prozesse): Die Autoren definieren Besag-Clifford e-Prozesse, die eine gültige Typ-I-Fehler-Kontrolle zu jedem beliebigen (auch datenabhängigen) Stoppzeitpunkt garantieren. Dies ist besonders wertvoll für sequentielle Analysen, bei denen Daten nach und nach eintreffen.
Anwendung auf AR(1)-Prozesse: Herleitung geschlossener Formeln für den Bias-Faktor $\Delta_J$ bei autoregressiven Prozessen, was die theoretischen Ergebnisse verifiziert.

4. Ergebnisse und Evaluation

Die Autoren validieren ihre Theorie durch Simulationen und eine reale Anwendung:

Simulationen (AR(1) Prozess):
- Es wurde gezeigt, dass der geschätzte e-Wert $\hat{E}_M(X)$ mit steigendem $M$ gegen den wahren Likelihood-Quotienten konvergiert.
- Die Power des Tests steigt signifikant mit der Anzahl der MCMC-Schritte $J$ (bis zur Mischzeit) und der Anzahl der Samples $M$ .
- Die Nutzung mehrerer Ketten ( $S > 1$ ) erhöht die e-Power im Vergleich zu einer einzelnen Kette.
Sequentielle Tests:
- Im Vergleich zu herkömmlichen e-Prozessen (z. B. basierend auf Universal Inference) zeigte der Besag-Clifford e-Prozess eine stabilere Entwicklung und erreichte in Simulationen oft früher die Signifikanzschwelle, insbesondere bei schwachen Signalen.
Anwendung: Shapley Supercluster (Galaxiengeschwindigkeiten):
- Die Methode wurde auf Daten von Galaxien im Shapley-Supercluster angewendet, um die Anzahl der "Experten" (Komponenten) in einem Produkt-von-Experten-Modell (PoE) zu testen.
- Ein Vergleich zwischen einem Modell mit 5 und einem mit 25 Experten führte zu einem e-Prozess, der exponentiell abfiel. Dies lieferte starke Evidenz für das einfachere Modell ( $W=5$ ) und demonstrierte die Anwendbarkeit auf komplexe, unnormalisierte Generativmodelle.

5. Signifikanz und Bedeutung

Dieses Paper ist ein wichtiger Fortschritt in der statistischen Inferenz für komplexe Modelle:

Lösung des Normalisierungsproblems: Es bietet einen rigorosen Weg, Hypothesentests für Verteilungen durchzuführen, bei denen die Normierungskonstante unbekannt ist, ohne auf asymptotische Approximationen (wie bei klassischen Likelihood-Tests) angewiesen zu sein.
Gültigkeit für endliche Stichproben: Im Gegensatz zu vielen MCMC-basierten Methoden, die nur asymptotisch gültig sind, garantieren Besag-Clifford e-Werte die Kontrolle des Fehlers 1. Art für jede endliche Anzahl von Iterationen $M$ .
Flexibilität für sequentielle Analyse: Die Erweiterung zu e-Prozessen ermöglicht datenabhängiges Stoppen (optional stopping) und Nachträgliches Analysieren (post-hoc testing) ohne Inflations des Fehlers 1. Art, was in der modernen Datenwissenschaft (z. B. A/B-Testing, klinische Studien) entscheidend ist.
Breite Anwendbarkeit: Die Methode ist nicht auf einfache Hypothesen beschränkt, sondern lässt sich auf komposite Hypothesen, Unsicherheitsquantifizierung und die Evaluation generativer Modelle erweitern.

Zusammenfassend etablieren die Autoren eine neue Klasse von Teststatistiken, die die Vorteile von MCMC-Sampling mit der strengen Fehlerkontrolle von e-Werten verbinden und somit die Grenzen des Testens bei unnormalisierten Verteilungen erweitern.