📊 statistics

Two-Sample Homogeneity Test via Entropic Optimal Transport

Dieses Paper führt einen Zwei-Stichproben-Homogenitätstest ein, der auf dem quadratischen $L^2$ -Abstand zwischen entropischen optimalen Transportabbildungen von einer gemeinsamen Referenzverteilung basiert, legt dessen theoretische Eigenschaften dar, schlägt einen gewichteten Multiplier-Bootstrap zur Kalibrierung vor und demonstriert dessen wettbewerbsfähige Leistungsfähigkeit sowie diagnostische Fähigkeiten durch Simulationen und Anwendungen an Realdaten.

Ursprüngliche Autoren: Yiming Ma, Hang Liu, Weiwei Zhuang

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Yiming Ma, Hang Liu, Weiwei Zhuang

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der herauszufinden versucht, ob zwei Gruppen von Menschen tatsächlich dieselbe Menge sind, die nur umverteilt wurde, oder ob es sich um grundlegend unterschiedliche Gruppen handelt.

In der Statistik nennt man das einen Zwei-Stichproben-Homogenitätstest. Normalerweise haben Sie einen Haufen Daten aus Gruppe A und einen Haufen aus Gruppe B. Sie wollen wissen: Kommen diese zwei Haufen aus derselben zugrunde liegenden Realität oder sind sie verschieden?

Die meisten bestehenden Methoden versuchen, diese Frage zu beantworten, indem sie die gesamte komplexe Form der Daten auf eine einzige Zahl reduzieren (einen Distanzwert). Wenn die Zahl groß ist, sagen sie: „Unterschiedlich!“ Wenn sie klein ist, sagen sie: „Gleich!“ Aber das ist so, als würde man zwei verschiedene Städte nur anhand ihrer Durchschnittstemperatur beurteilen. Man verliert alle interessanten Details darüber, wie sie sich unterscheiden.

Dieses Paper schlägt einen neuen, detaillierteren Weg vor, um dieses Rätsel mithilfe eines Konzepts namens Entropic Optimal Transport (EOT) zu lösen. So funktioniert es, einfach erklärt:

1. Die Analogie der „Universellen Karte“

Anstatt Gruppe A direkt mit Gruppe B zu vergleichen, führt die Autoren eine dritte Partei ein: eine Referenzkarte.

Das Setup: Stellen Sie sich eine perfekte, leere, runde Stadt namens „Unit Ball City“ vor. Sie hat ein standardisiertes Rastersystem.
Die Transformation: Die Autoren erstellen eine „Transportkarte“ für Gruppe A. Diese Karte zeigt genau auf, wie man jeden Bewohner der Unit Ball City in sein neues Zuhause in der Nachbarschaft von Gruppe A bewegt. Es ist wie eine GPS-Route für jede einzelne Person.
Die zweite Karte: Sie machen genau dasselbe für Gruppe B. Sie erstellen eine zweite GPS-Karte, die zeigt, wie man Bewohner aus derselben „Unit Ball City“ in die Nachbarschaft von Gruppe B bewegt.

Anstatt nun zwei unordentliche Nachbarschaften zu vergleichen, vergleichen die Autoren zwei GPS-Karten, die am exakt gleichen Ort starten.

2. Der „Differenzvektor“

Sobald sie diese beiden Karten haben, betrachten sie den Unterschied zwischen ihnen.

An einem spezifischen Punkt in der Unit Ball City sagt die Karte für Gruppe A vielleicht: „Gehe 5 Meilen nach Norden.“
Die Karte für Gruppe B sagt vielleicht: „Gehe 5 Meilen nach Osten.“
Die „Diskrepanz“ ist der Unterschied zwischen diesen beiden Richtungen.

Die Teststatistik ist im Wesentlichen der quadrierte Gesamtabstand zwischen diesen beiden GPS-Karten über die gesamte Stadt hinweg. Wenn die Karten identisch sind, sind die Gruppen gleich. Wenn die Karten in völlig unterschiedliche Richtungen zeigen, sind die Gruppen verschieden.

3. Warum dies besser ist (Die „diagnostische Kraft“)

Das Paper behauptet, dass diese Methode zwei Superkräfte besitzt:

Sie ist ein Detektiv, nicht nur ein Richter: Die meisten Tests liefern Ihnen nur eine „Ja/Nein“-Antwort. Diese Methode liefert Ihnen eine visuelle Karte der Unterschiede.
- Wenn Gruppe A nur leicht nach rechts verschoben ist im Vergleich zu Gruppe B, zeigt die Karte einen gleichmäßigen Pfeil nach rechts.
- Wenn Gruppe B stärker gestreut ist (größere Varianz), zeigt die Karte Pfeile, die wie ein Sternenbild nach außen fächern.
- Wenn die Beziehung zwischen den Variablen verdreht ist, zeigt sie ein Scherungs- oder Wirbelmuster.
- Analogie: Es ist wie der Blick auf eine Wetterkarte. Ein Standardtest sagt Ihnen nur: „Es regnet.“ Dieser Test zeigt Ihnen, wo es regnet, wie stark es fällt und in welche Richtung der Wind weht.
Sie bewältigt Komplexität gut: Die Autoren beweisen mathematisch, dass, wenn die Karten unterschiedlich sind, die Gruppen auch unterschiedlich sein müssen (Identifizierbarkeit). Sie zeigen auch, dass ihre Methode sehr gut darin ist, zu erkennen, wenn Gruppen leicht unterschiedlich sind (hohe Power), insbesondere wenn der Unterschied eine Verschiebung des Standorts ist (wie der Mittelwert).

4. Das „Bootstrap“-Sicherheitsnetz

Da die Berechnung der exakten mathematischen Wahrscheinlichkeit dieser Unterschiede unglaublich schwierig ist (als würde man versuchen, den exakten Pfad jedes einzelnen Regentropfens vorherzusagen), verwenden die Autoren einen cleveren Trick namens Weighted Multiplier Bootstrap.

Die Analogie: Stellen Sie sich vor, Sie haben ein Kartendeck, das Ihre Daten repräsentiert. Um zu sehen, ob Ihr Ergebnis ein Zufallsprodukt ist, mischen Sie das Deck durch, fügen etwas zufälliges Rauschen (Multiplikatoren) hinzu und führen den Test tausendfach neu durch.
Auf diese Weise erstellen sie eine „Konfidenzzone“, um zu entscheiden, ob der von Ihnen gefundene Unterschied real ist oder nur zufälliges Rauschen. Das Paper beweist, dass dieser Trick zuverlässig funktioniert.

5. Realwelt-Test: Die Radfahrer

Um die Funktionsweise zu beweisen, haben sie die Citi Bike Daten aus Jersey City getestet.

Die Frage: Starten „Member“-Fahrer und „Casual“-Fahrer ihre Fahrten von denselben Orten aus?
Das Ergebnis: Der Test sagte „Nein, sie sind unterschiedlich.“
Der Bonus: Die Karte sagte nicht nur „Nein“. Sie zeigte auf, wo der Unterschied lag. Sie enthüllte, dass beide Gruppen zwar im Downtown-Bereich fahren, sich aber die Intensität und die spezifischen Startpunkte in einer Weise unterschieden, die ein einfacher „Durchschnitts“-Test vielleicht übersehen hätte. Sie zeigte, dass Mitglieder und Gelegenheitsfahrer unterschiedliche Nutzungsmuster haben.

Zusammenfassung

Dieses Paper stellt ein neues statistisches Werkzeug vor, das zwei Gruppen vergleicht, indem es beide gegen eine gemeinsame, standardisierte Referenz abbildet.

Der alte Weg: Zwei unordentliche Datenhaufen mit einem Lineal vergleichen (erhält eine einzige Zahl).
Der neue Weg: Zwei detaillierte GPS-Karten vergleichen, die beschreiben, wie man zu diesen Datenhaufen gelangt (erhält eine visuelle, gerichtete Karte der Unterschiede).

Die Autoren zeigen, dass diese neue Methode mathematisch fundiert ist, gut mit Computern funktioniert und Ihnen viel reichhaltigere Informationen darüber liefert, wie zwei Datengruppen voneinander abweichen, und nicht nur, dass sie es tun.

Technische Zusammenfassung: Zweistichproben-Homogenitätstest mittels entropischer optimaler Transport-Verfahren

Problemstellung
Die Arbeit befasst sich mit dem grundlegenden statistischen Problem des Zweistichproben-Homogenitätstests in multivariaten Settings ( $d \ge 1$ ). Gegeben sind zwei unabhängige Stichproben aus unbekannten Verteilungen $P$ und $Q$ auf $\mathbb{R}^d$ . Das Ziel ist es, die Nullhypothese $H_0: P = Q$ gegen die Alternativhypothese $H_1: P \neq Q$ zu testen. Während univariate Tests von einer kanonischen Ordnung profitieren (z. B. Quantilsfunktionen), fehlt im multivariaten Kontext eine natürliche Ordnung, was die Konstruktion von Verteilungsreprsentationen, die die geometrische Struktur bewahren, erschwert. Bestehende Methoden, wie etwa Energy-Distanzen, kernbasierte Maximum Mean Discrepancy (MMD) oder graphbasierte Statistiken, fassen die Unterschiede zwischen Verteilungen typischerweise in einem einzigen Skalarwert zusammen. Diese Aggregation führt oft dazu, dass Informationen auf Map-Ebene darüber verloren gehen, wie eine Verteilung relativ zu einer anderen oder zu einer gemeinsamen Referenz organisiert ist. Zudem ist die Inferenz basierend auf empirischen Wasserstein-Distanzen in multivariaten Settings oft rechenintensiv und leidet unter nichtstandardmäßigen Asymptotiken.

Methodik
Die Autoren schlagen einen Homogenitätstest vor, der auf entropischen optimalen Transport-Abbildungen (EOT-Maps) von einer gemeinsamen Referenzverteilung basiert. Die Methodik gestaltet sich wie folgt:

Konstruktion der gemeinsamen Referenz: Sei $U_d$ die Gleichverteilung auf dem Einheitsball $B_d \subset \mathbb{R}^d$ . Für eine beliebige Zielverteilung $P$ definiert die Methode eine entropische Transport-Abbildung $T_{\varepsilon, P}: B_d \to \mathbb{R}^d$ . Diese Abbildung ist die baryzentrische Projektion der eindeutigen entropischen optimalen Kopplung $\pi_{\varepsilon, P}$ zwischen $U_d$ und $P$ , welche den Kostenfunktion $\int \frac{1}{2}\|u-x\|^2 d\pi + \varepsilon \text{KL}(\pi \| U_d \otimes P)$ minimiert.
Empirische Schätzung: Gegeben seien Stichproben $X_1, \dots, X_n \sim P$ und $Y_1, \dots, Y_m \sim Q$ . Die Populations-Abbildungen werden durch ihre empirischen Gegenstücke $\hat{T}_{\varepsilon, n}$ und $\hat{T}_{\varepsilon, m}$ geschätzt, wobei die Quellverteilung die feste $U_d$ bleibt (die numerisch durch eine Referenzstichprobe approximiert wird) und das Ziel durch die empirischen Maße $P_n$ und $Q_m$ ersetzt wird.
Teststatistik: Die Teststatistik $T_{n,m}$ ist der skalierte quadratische $L^2$ -Abstand zwischen den beiden empirischen Abbildungen über dem Referenzbereich:
$T_{n,m} = \frac{nm}{n+m} \int_{B_d} \| \hat{T}_{\varepsilon, n}(u) - \hat{T}_{\varepsilon, m}(u) \|^2 dU_d(u).$
Kalibrierung: Da die Nullverteilung von $T_{n,m}$ von der unbekannten Kovarianzstruktur des limitierenden Gauß-Prozesses abhängt (nicht-pivotale Statistik), schlagen die Autoren ein gewichtetes Multiplikator-Bootstrap-Verfahren vor. Dieses Verfahren gewichtet die empirischen Zielmaße separat um, während die Quelle fixiert bleibt, wodurch eine bedingte Verteilung zur Annäherung an die kritischen Werte generiert wird.

Wesentliche Beiträge
Die Arbeit etabliert die theoretischen und praktischen Grundlagen für diesen Map-basierten Testrahmen:

Identifizierbarkeit: Unter Annahme kompakter Unterstützung und fester Regularisierung beweisen die Autoren, dass die EOT-Abbildung der Population die zugrunde liegende Verteilung eindeutig bestimmt. Konkret gilt $T_{\varepsilon, P} = T_{\varepsilon, Q}$ fast überall bezüglich $U_d$ , falls und nur falls $P = Q$ . Dies stellt sicher, dass die Diskrepanz der Population unter der Nullhypothese exakt verschwindet.
Asymptotische Theorie:
- Null-Limit: Ein Funktionaler Zentraler Grenzwertsatz (FCLT) wird für die Differenz der empirischen Abbildungen unter $H_0$ hergeleitet. Die Statistik konvergiert gegen eine Gaußsche quadratische Form $\sum \omega_k Z_k^2$ , wobei $\omega_k$ die Eigenwerte des Kovarianzoperators des limitierenden Gauß-Feldes sind.
- Konsistenz: Der Test wird als konsistent gegenüber festen Alternativen ( $P \neq Q$ ) nachgewiesen, wobei die Statistik gegen Unendlich divergiert.
- Lokale Power: Die asymptotische Power unter kontinguen lokalen Alternativen wird charakterisiert und zeigt, dass der Test sensitiv gegenüber den Tangentenrichtungen der Verteilungen ist.
Validität des Bootstrap: Die Validität des gewichteten Multiplikator-Bootstraps wird etabliert, indem bewiesen wird, dass die bedingte Verteilung der Bootstrap-Statistik die Null-Limit-Verteilung konsistent schätzt.
Diagnostische Fähigkeit: Im Gegensatz zu skalaren Diskrepanztests liefert die Methode ein geschätztes Vektorfeld ( $\hat{T}_{\varepsilon, n} - \hat{T}_{\varepsilon, m}$ ), welches die Richtung und die Art der Verteilungsunterschiede (z. B. Translation, radiale Expansion, Scherung) visualisiert.

Ergebnisse
Umfangreiche numerische Experimente und eine Anwendung auf Realdaten stützen die theoretischen Erkenntnisse:

Endliche Stichproben-Kalibrierung: Das gewichtete Multiplikator-Bootstrap bietet eine zuverlässige Größenkontrolle über verschiedene Nullverteilungen (Gauß, Student-t, Gauß-Mischverteilungen) und Dimensionen ( $d=2, 5, 10$ ) hinweg, mit empirischen Ablehnungsraten nahe dem nominalen Niveau (0,05).
Power (Trennschärfe): Der Test zeigt eine konkurrenzfähige Power gegenüber bestehenden Methoden (Energy, MMD, Sinkhorn Divergence, k-NN, Wasserstein, OT-Rank). Er weist eine besonders starke Leistung unter Lage-Alternativen auf, bei denen die kohärente gerichtete Verschiebung zwischen den Maps leicht detektierbar ist. Er zeigt auch robuste Power unter Skalen-, Korrelations- und Mischungs-Alternativen, wobei die Leistung je nach spezifischer Alternative und Dimension im Vergleich zu anderen Methoden variiert.
Recheneffizienz: Obwohl der EOT-Map-Test langsamer als Energy oder MMD ist, ist er schneller als eine Permutations-kalibrierte Sinkhorn-Divergenz. Die Rechenkosten sind über die Anzahl der Referenzpunkte $N$ steuerbar: Moderate $N$ -Werte liefern stabile Power und Größe bei gleichzeitig signifikant reduzierter Laufzeit.
Realdaten-Anwendung: Angewendet auf Citi Bike Trip-Daten (Member vs. Casual Rider) detektierte der Test signifikante Unterschiede in den Startlokations-Verteilungen. Die Map-Level-Visualisierung zeigte, dass die Diskrepanz nicht bloß eine globale Verschiebung war, sondern komplexe räumliche Variationen beinhaltete, wobei die koordinatenweise Dekomposition Beiträge sowohl von Längengrad als auch Breitengrad aufzeigte.

Bedeutung und Ansprüche
Die vorliegende Arbeit positioniert den vorgeschlagenen EOT-Map-Test als kompetitives und interpretierbares Komplement zu bestehenden skalaren Diskrepanztests, statt als einen universell dominierenden Ersatz. Seine primäre Bedeutung liegt in:

Geometrischer Interpretierbarkeit: Er bewahrt die Richtungs- und Geometrieinformationen über Veränderungen der Verteilung und ermöglicht es Forschern zu diagnostizieren, wie sich Verteilungen unterscheiden (z. B. via Vektorfeld-Visualisierung), anstatt nur zu prüfen, ob sie sich unterscheiden.
Theoretischer Stringenz: Er liefert eine rigorose Limit-Theorie für EOT-Maps unter fester Regularisierung und überwindet so die nichtstandardmäßigen Asymptotiken, die oft mit unregulierten Wasserstein-Distanzen assoziiert sind.
Praktischem Nutzen: Die Methode bietet ein praktisches Gleichgewicht zwischen statistischer Power, rechnerischer Handhabbarkeit (via Sinkhorn-Algorithmen und Bootstrap) und diagnostischer Einsicht, was sie für Anwendungen geeignet macht, bei denen das Verständnis der Struktur von Verteilungsverschiebungen ebenso wichtig ist wie die Entscheidung des Tests selbst.