📊 statistics

Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics

Diese Arbeit erweitert den Maximum Mean Discrepancy (MMD) Zwei-Stichproben-Test auf ungleiche Stichprobengrößen unter Nutzung verallgemeinerter U-Statistiken, wodurch die Notwendigkeit der Datenverwerfung entfällt, neue asymptotische Charakterisierungen sowie Kriterien zur Leistungsoptimierung bereitgestellt werden und der Zusammenhang zwischen degenerierten Schätzern und von Null verschiedenen MMD-Werten geklärt wird.

Ursprüngliche Autoren: Aaron Wei, Milad Jalali, Danica J. Sutherland

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aaron Wei, Milad Jalali, Danica J. Sutherland

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Sind diese zwei Datenstapel tatsächlich unterschiedlich oder handelt es sich nur um zufälliges Rauschen aus derselben Quelle?

In der Welt des maschinellen Lernens nennt man dies einen „Zwei-Stichproben-Test“. Sie haben einen Stapel von Fotos aus einer Kontrollgruppe (nennen wir ihn Stapel A) und einen Stapel aus einer Behandlungsgruppe (Stapel B). Ihre Aufgabe ist es herauszufinden, ob die Behandlung etwas verändert hat. Um dies zu tun, nutzen Detektive ein Werkzeug namens Maximum Mean Discrepancy (MMD). Stellen Sie sich MMD als eine supersensible Waage vor, die die „Form“ der Datenwolken wiegt. Wenn die Wolken unterschiedlich aussehen, kippt die Waage, und Sie wissen, dass ein Unterschied besteht.

Das alte Problem: Die Regel der „gleichen Seiten“

Lange Zeit hatte diese Waage eine seltsame, nervige Regel: Sie funktionierte nur, wenn man exakt die gleiche Anzahl an Fotos in Stapel A und Stapel B hatte.

In der realen Welt ist das ein Albtraum. Vielleicht haben Sie 1.000 Fotos von einer seltenen Krankheit (Stapel A) und 10.000 gesunde Fotos (Stapel B). Die alten Methoden sagten: „Oh nein, das können wir nicht verwenden! Wir müssen 9.000 Ihrer gesunden Fotos wegwerfen, damit die Stapel übereinstimmen.“ Das ist so, als würde man 90 % seiner Beweise wegwerfen, nur weil die Boxen nicht die gleiche Größe haben. Das verschwendet Daten und macht Ihren Test schwächer.

Die neue Lösung: Die „verallgemeinerte“ Waage

Dieses Paper stellt eine neue Art vor, die MMD-Waage zu nutzen, die es nicht mit der Gleichheit der Stapelgrößen auf sich hat. Die Autoren Aaron Wei, Milad Jalali und Danica J. Sutherland haben herausgefunden, wie man die Mathematik so gestaltet, dass sie auch funktioniert, wenn ein Stapel winzig und der andere riesig ist.

Sie haben dies erreicht, indem sie die Mathematik von einem Standard-„U-Statistik“-Ansatz (der gleiche Seiten benötigt) auf eine „verallgemeinerte U-Statistik“ aufgerüstet haben.

Hier ist der magische Trick, den sie entdeckt haben:
Anstatt das Ergebnis basierend auf der Gesamtzahl der Fotos zu skalieren (was bei unterschiedlichen Größen kompliziert wird), fanden sie heraus, dass man es basierend auf dem kleineren Stapel skalieren sollte.

Alter Weg: Skalierung durch $n_A + n_B$ .
Neuer Weg: Skalierung durch $\min(n_A, n_B)$ .

Sie haben mathematisch bewiesen, dass das Ergebnis stabil und genau bleibt, egal wie unausgewogen die Daten sind, wenn man den kleineren Stapel als Maßstab verwendet. Sie zeigten sogar, dass man selbst dann ein sehr präzises Ergebnis erhält, wenn man einen winzigen Stapel von 100 Objekten und einen riesigen Stapel von 10.000 Objekten hat, sofern man die 100 als Anker nutzt.

Eine überraschende Wendung: Das „Degenerations“-Rätsel

Während sie das Problem der Größenunterschiede lösten, stießen die Autoren auf etwas, das andere Experten auf diesem Gebiet überraschen könnte: den Zusammenhang zwischen dem MMD-Wert und der „Degeneration“ der Mathematik.

Normalerweise denken die Leute: „Wenn der MMD-Wert Null ist, sind die beiden Stapel identisch und die Mathematik wird ‚degenerate‘ (das heißt, die Varianz ist Null).“
Aber die Autoren bewiesen, dass das Gegenteil nicht immer wahr ist. Sie zeigten, dass es manchmal möglich ist, einen degeneraten Schätzer (Null-Varianz) zu haben, obwohl der MMD-Wert NICHT Null ist.

Mit anderen Worten: Man kann eine Situation haben, in der die beiden Stapel tatsächlich unterschiedlich sind (also der MMD nicht Null ist), aber die Mathematik sich auf eine „degenerate“ Weise verhält, die normalerweise nur auftritt, wenn die Stapel identisch sind. Sie konstruierten ein spezifisches Beispiel, bei dem die Stapel verschieden sind, der Schätzer jedoch degenerate ist. Sie bewiesen jedoch auch, dass in den meisten gängigen, realen Situationen (wie bei der Verwendung von Standard-Gauß-Kerneln auf überlappenden Datenformen) dieses seltsame Szenario („degenerat, aber Nicht-Null-MMD“) nicht vorkommt. Für praktische Zwecke müssen Sie also nicht in Panik geraten, aber die Mathematik ist nun ehrlicher gegenüber diesen Randfällen.

Das „Power-Up“: Nutzen Sie alle Ihre Daten

Der beste Teil dieser neuen Methode ist, dass sie es Ihnen ermöglicht, jeden einzelnen Teil Ihrer Daten zu nutzen.

Der alte Weg: Wenn Sie 1.000 seltene Fälle und 10.000 häufige Fälle hatten, warfen Sie 9.000 häufige Fälle weg, um einen fairen Kampf zu führen.
Der neue Weg: Sie behalten alle 11.000.

Die Autoren führten Simulationen mit echten Bilddaten (CIFAR-10 und CIFAR-10.1) durch. Sie gestalteten einen Test, bei dem eine Gruppe 1.000 Bilder hatte und die andere Gruppe $r \times 1.000$ Bilder (wobei $r$ jeweils 1, 2, 4 oder 8 war).

Wenn sie die alte Methode (Wegwerfen von Daten) verwendeten, war die Teststärke (Power) akzeptabel.
Wenn sie die neue Methode verwendeten (Behalten aller Daten), wurde der Test signifikant leistungsfähiger.
In ihren Experimenten erkannte die neue Methode den Unterschied bei einem Verhältnis von 8 zu 1 in 99,9 % der Fälle, verglichen mit nur 82,1 % beim alten Verfahren.

Was sie nicht getan haben (Und was sie ausgeschlossen haben)

Es ist wichtig zu wissen, was dieses Paper nicht behauptet:

Sie haben keinen neuen Weg erfunden, um den besten Kernel (die „Linse“, durch die man schaut) auszuwählen. Sie haben lediglich gezeigt, wie man die bereits existierenden Best-Kernel-Methoden verwendet, wenn die Stichprobengrößen ungleich sind.
Sie haben nicht behauptet, dass dies für jede mögliche mathematische Kuriosität funktioniert. Sie haben bewiesen, dass es für „gängige Situationen“ (wie kontinuierliche Kernel mit überlappenden Daten) funktioniert. Wenn die Daten in zwei völlig separaten, disjunkten Welten liegen (wie Daten, die sich nie berühren), wird die Mathematik schwierig, und sie geben zu, dass sie diesen spezifischen Randfall noch nicht vollständig gelöst haben.
Sie haben nicht behauptet, das Problem des „Permutationstests“ (ein Weg, um die Bestehensgrenze für den Test festzulegen) gelöst zu haben. Sie verwenden weiterhin Permutationstests, um den Schwellenwert festzulegen, aber nun können sie dies mit ungleichen Stapeln tun.

Das Fazit

Die Autoren haben eine Brücke gebaut. Früher mussten Sie, wenn Ihre Datenstapel unterschiedliche Größen hatten, den Überschuss abschneiden und hoffen, dass es klappt. Jetzt können Sie den gesamten, unordentlichen, ungleichen Stapel in die MMD-Waage einspeisen. Die Mathematik hält stand, der Test wird stärker, und Sie müssen keine wertvollen Beweise mehr wegwerfen.

Sie haben dies mit strenger Mathematik (Theoreme über asymptotische Verteilungen) bewiesen und es durch Simulationen auf realen Datensätzen untermauert. Es ist ein solides, praktisches Upgrade für jeden, der zwei Datengruppen vergleichen möchte, die nicht dieselbe Größe haben.

Problemstellung
Der Zwei-Stichproben-Test ist ein grundlegendes Problem der statistischen Inferenz, das darauf abzielt, zu bestimmen, ob sich zwei Verteilungen, $P$ und $Q$ , basierend auf Stichproben aus jeder dieser Verteilungen unterscheiden. Während MMD-basierte Tests (Maximum Mean Discrepancy) aufgrund ihrer Flexibilität und ihrer theoretischen Eigenschaften an Popularität gewonnen haben, beruhen bestehende Techniken häufig auf der Annahme gleicher Stichprobengrößen ( $n_X = n_Y$ ). In der Praxis sind die Stichprobengrößen häufig ungleich. Die Anwendung standardmäßiger MMD-Schätzer in solchen Szenarien erfordert typischerweise das Verwerfen wertvoller Daten (z. B. durch Subsampling auf den kleineren Satz), um das theoretische Framework von U-Statistiken einzuhalten, was die Testleistung unnötigerweise reduziert. Darüber hinaus blieb das asymptotische Verhalten von MMD-Schätzern bei ungleichen Stichprobengrößen, insbesondere außerhalb proportionaler Regime (wo $n_X/n_Y$ gegen eine Konstante konvergiert), unterentwickelt.

Methodik
Die Autoren adressieren diese Einschränkung, indem sie die Theorie der verallgemeinerten U-Statistiken auf den MMD-Schätzer erweitieren.

Verallgemeinerte U-Statistiken: Der standardmäßige unverzerrte MMD-Schätzer ( $\widehat{\text{MMD}}^2$ ) wird als verallgemeinerte U-Statistik mit $c=2$ Stichproben und Kernel-Ordnung $m_1=m_2=2$ identifiziert. Im Gegensatz zu Standard-U-Statistiken, die gleiche Stichprobengrößen erfordern, können verallgemeinerte U-Statistiken $n_X \neq n_Y$ berücksichtigen.
Skalierung und Asymptotik: Das Paper leitet die asymptotischen Verteilungen des MMD-Schätzers sowohl unter der Nullhypothese ( $P=Q$ ) als auch unter der Alternativhypothese ( $P \neq Q$ ) her. Ein entscheidender methodischer Wandel ist die Identifizierung von $\min(n_X, n_Y)$ als der korrekte Skalierungsfaktor für die Konvergenz, anstelle der Summe $n_X + n_Y$ , die in früheren Ergebnissen für proportionale Regime verwendet wurde. Dies ermöglicht es, dass die Theorie auch in nicht-proportionalen Regimen (z. B. $n_Y = n_X^2$ ) Bestand hat.
Varianzcharakterisierung: Die Autoren liefern eine neue, präzisere Charakterisierung der Varianz des MMD-Schätzers bei ungleichen Stichprobengrößen. Dies beinhaltet die Zerlegung der Varianz in Terme, die die Mittelwert-Embeddings ( $\mu_P, \mu_Q$ ) und Kovarianzoperatoren ( $C_P, C_Q$ ) der Verteilungen involvieren.
Degenerationsanalyse: Das Paper analysiert rigoros die „Degeneration“ des Schätzers. Es klärt auf, dass während eine MMD von Null einen degenerierten Schätzer impliziert, dies für die Umkehrung nicht immer gilt: Ein degenerierter Schätzer kann unter spezifischen Bedingungen (z. B. disjunkten Trägerflächen mit bestimmten Kernels) mit einer von Null verschiedenen MMD existieren, obwohl dies in gängigen Settings (z. B. überlappende Trägerflächen mit kontinuierlichen Kernels) unmöglich ist.
Optimierung der Testleistung: Unter Ausnutzung der abgeleiteten asymptotischen Normalität für nicht-degenerate Fälle schlagen die Autoren ein Kriterium zur Optimierung der Kernel-Selektion vor. Sie maximieren das Signal-Rausch-Verhältnis ( $\text{MMD}^2 / \sigma$ ) unter Verwendung von Plug-in-Schätzern für die Varianz $\sigma^2$ , was die Auswahl von Kernels ermöglicht, die die Testleistung für spezifische Stichproben-Größen-Verhältnisse maximieren.

Zentrale Beiträge

Theoretische Erweiterung: Das Paper erweitert die asymptotische Theorie der MMD auf ungleiche Stichprobengrößen durch die Anwendung verallgemeinerter U-Statistiken und hebt so die Notwendigkeit auf, Daten zu verwerfen.
Korrekter Skalierungsfaktor: Es etabliert, dass $\min(n_X, n_Y)$ der angemessene Skalierungsfaktor für die Konvergenz in sowohl proportionalen als auch nicht-proportionalen Regimen ist, und korrigiert damit frühere Annahmen, die auf $n_X + n_Y$ basierten.
Einblicke in Varianz und Degeneration: Die Autoren liefern explizite Varianzformeln für ungleiche Stichprobengrößen und bieten ein verfeinertes Verständnis der Degeneration des Schätzers. Sie beweisen, dass während eine MMD von Null Degeneration impliziert, Degeneration nicht zwangsläufig eine MMD von Null bedeutet – eine Nuance, die in der Literatur oft übersehen wird. Sie beweisen zudem, dass unter gängigen Bedingungen (Setting B: real-analytische Kerne, überlappende Trägerflächen) Degeneration genau dann auftritt, wenn $\mu_P = \mu_Q$ .
Optimierungsrahmen: Das Paper leitet eine praktische Methode zur Optimierung von Kernel-Parametern durch Maximierung eines geschätzten Signal-Rausch-Verhältnisses ab, welches gezeigt wird, dass es uniform gegen das Populationsoptimum konvergiert.
Empirische Validierung: Experimente auf CIFAR-10 und CIFAR-10.1 zeigen, dass die Nutzung aller verfügbaren Daten über den vorgeschlagenen $\widehat{\text{MMD}}^2$ -Schätzer und die varianzbasierte Optimierung signifikant höhere Testleistungen erzielt als Methoden, die durch Subsampling auf gleiche Größen reduzieren (Ratio/Equal) oder Standard-U-Statistiken verwenden.

Ergebnisse

Asymptotische Verteilungen: Unter der Nullhypothese ($MMD=0$) konvergiert der skalierte Schätzer $\min(n_X, n_Y)\widehat{\text{MMD}}^2$ gegen eine unendliche Mischung zentrierter Chi-Quadrat-Verteilungen. Unter der Alternativhypothese ($MMD > 0$), falls der Schätzer nicht-degenerate ist, konvergiert $\sqrt{\min(n_X, n_Y)}(\widehat{\text{MMD}}^2 - \text{MMD}^2)$ gegen eine Normalverteilung.
Varianzreduktion: Die theoretische Analyse zeigt, dass die Varianz des verallgemeinerten Schätzers $\widehat{\text{MMD}}^2$ strikt niedriger ist als die des Standard-U-Statistik-Schätzers $\widehat{\text{MMD}}^2_U$ , wenn die Stichprobengrößen ungleich sind, und kann bei einer asymptotisch dominanten Stichprobengröße um den Faktor zwei niedriger sein.
Experimentelle Leistung: In Experimenten zum Unterscheiden von CIFAR-10 von CIFAR-10.1 mit variierenden Stichproben-Größen-Verhältnissen ( $r$ ) übertraf die vorgeschlagene „Ratio/Ratio“ (RR)-Methode, welche alle Daten nutzt und das Signal-Rausch-Verhältnis optimiert, konsistent die „Ratio/Equal“ (RE)-Baseline. Mit zunehmender Imbalance ( $r=8$ ) näherte sich die Leistung der RR-Methode dem Wert 1.0 an, während die RE-Methode bei etwa 0.82 stagnierte.

Bedeutung
Das Paper beansprucht, eine langjährige Einschränkung im MMD-basierten Zwei-Stichproben-Test gelöst zu haben, indem es einen theoretisch fundierten Rahmen für ungleiche Stichprobengrößen bereitstellt. Durch die Beibehaltung aller verfügbaren Daten verbessert die vorgeschlagene Methode die Testgenauigkeit und Anwendbarkeit in realistischen Szenarien, in denen die Datenerhebung oft asymmetrisch erfolgt. Die Vereinheitlichung des Frameworks stellt sicher, dass der neue Ansatz zu bestehenden Methoden reduziert, wenn die Stichprobengrößen gleich sind, wodurch die theoretische Konsistenz gewahrt und gleichzeitig der Nutzen erweitert wird. Die Arbeit korrigiert zudem Missverständnisse bezüglich der Beziehung zwischen MMD-Werten und der Degeneration des Schätzers und bietet somit eine robustere Grundlage für die Kernel-Selektion und das Testdesign.