📊 statistics

Two-Sample Homogeneity Test via Entropic Optimal Transport

Dit artikel introduceert een twee-steekproef homogeniteitstoets gebaseerd op de gekwadrateerde $L^2$ -afstand tussen entropische optimale transportkaarten van een gemeenschappelijke referentieverdeling, waarbij de theoretische eigenschappen worden vastgesteld, een gewogen multiplier bootstrap wordt voorgesteld voor kalibratie, en de competitieve kracht en diagnostische vermogens worden gedemonstreerd door middel van simulaties en toepassingen op echte gegevens.

Oorspronkelijke auteurs: Yiming Ma, Hang Liu, Weiwei Zhuang

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Yiming Ma, Hang Liu, Weiwei Zhuang

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert te achterhalen of twee groepen mensen eigenlijk dezelfde menigte zijn, die alleen maar een beetje door elkaar zijn geschud, of dat het fundamenteel verschillende groepen zijn.

In de statistiek wordt dit een Two-Sample Homogeneity Test genoemd. Meestal heb je een stapel gegevens van Groep A en een stapel van Groep B. Je wilt weten: Komen deze twee stapels uit dezelfde onderliggende realiteit, of zijn ze verschillend?

De meeste bestaande methoden proberen dit antwoord te geven door de hele complexe vorm van de data samen te persen tot één enkel getal (zoals een afstandsscore). Als het getal groot is, zeggen ze: "Verschillend!" Als het klein is, zeggen ze: "Hetzelfde!" Maar dit is alsof je twee verschillende steden beoordeelt op basis van alleen hun gemiddelde temperatuur. Je verliest alle interessante details over hoe ze verschillen.

Dit artikel stelt een nieuwe, meer gedetailleerde manier voor om dit mysterie op te lossen met behulp van een concept genaamd Entropic Optimal Transport (EOT). Zo werkt het, eenvoudig uitgelegd:

1. De "Universele Kaart"-analogie

In plaats van Groep A direct met Groep B te vergelijken, introduceert de auteur een derde partij: een Referentiekaart.

De Opstelling: Stel je een perfecte, lege, ronde stad voor genaamd "Unit Ball City". Het heeft een standaard rasterindeling.
De Transformatie: De auteurs maken een "transportkaart" voor Groep A. Deze kaart laat precies zien hoe je elke bewoner van Unit Ball City naar hun nieuwe thuis in de buurt van Groep A moet verplaatsen. Het is als een GPS-route voor iedere persoon.
De Tweede Kaart: Ze doen precies hetzelfde voor Groep B. Ze maken een tweede GPS-kaart die laat zien hoe je bewoners van dezelfde Unit Ball City naar de buurt van Groep B moet verplaatsen.

Nu vergelijken de auteurs, in plaats van twee rommelige buurten, twee GPS-kaarten die vanaf exact dezelfde plek vertrekken.

2. De "Verschilvector"

Zodra ze deze twee kaarten hebben, kijken ze naar het verschil tussen hen.

Bij een specifiek punt in Unit Ball City kan de Kaart voor Groep A zeggen: "Ga 5 mijl naar het Noorden."
De Kaart voor Groep B kan zeggen: "Ga 5 mijl naar het Oosten."
De "discrepantie" is het verschil tussen die twee richtingen.

De teststatistiek is in essentie de totale kwadratische afstand tussen deze twee GPS-kaarten over de hele stad. Als de kaarten identiek zijn, zijn de groepen hetzelfde. Als de kaarten in totaal andere richtingen wijzen, zijn de groepen verschillend.

3. Waarom dit beter is (De "Diagnostische" Kracht)

Het artikel beweert dat deze methode twee superkrachten heeft:

Het is een Detective, niet alleen een Rechter: De meeste tests geven je alleen een "Ja/Nee"-antwoord. Deze methode geeft je een visuele kaart van het verschil.
- Als Groep A slechts iets naar rechts is verschoven ten opzichte van Groep B, toont de kaart een uniforme pijl naar rechts.
- Als Groep B meer verspreid is (grotere variantie), toont de kaart pijlen die als een sterrenexplosie naar buiten waaieren.
- Als de relatie tussen variabelen gedraaid is, toont de kaart een schuivend of draaiend patroon.
- Analogie: Het is als het kijken naar een weerkaart. Een standaard test vertelt je alleen "Het regent." Deze test laat je zien waar het regent, hoe hard het valt en in welke richting de wind waait.
Het Gaat Goed Om met Complexiteit: De auteurs bewijzen wiskundig dat als de kaarten verschillend zijn, de groepen ook moeten verschillen (identificeerbaarheid). Ze laten ook zien dat hun methode zeer goed is in het detecteren wanneer groepen licht van elkaar verschillen (hoge power), vooral wanneer het verschil een verschuiving in locatie is (zoals een gemiddelde).

4. Het "Bootstrap"-veiligheidsnet

Omdat het berekenen van de exacte wiskundige waarschijnlijkheid van deze verschillen ongelooflijk moeilijk is (het is alsof je de exacte baan van elke regendruppel probeert te voorspellen), gebruiken de auteurs een slimme truc genaamd Weighted Multiplier Bootstrap.

De Analogie: Stel je voor dat je een kaartspel hebt dat je gegevens vertegenwoordigt. Om te zien of je resultaat een toevalstreffer is, schud je het deck, voeg je willekeurige ruis toe (multipliers) en voer je de test duizenden keren opnieuw uit.
Door dit te doen, creëren ze een "betrouwbaarheidszone" om te beslissen of het verschil dat ze vonden echt is of gewoon willekeurige ruis. Het artikel bewijst dat deze truc betrouwbaar werkt.

5. Praktische Test: De Fietsers

Om te bewijzen dat het werkt, testten ze het op Citi Bike-gegevens uit Jersey City.

De Vraag: Starten "Members" (leden) en "Casuals" (incidentele rijders) hun ritten vanaf dezelfde plekken?
Het Resultaat: De test zei "Nee, ze zijn verschillend."
De Bonus: De kaart zei niet alleen "Nee." Het toonde aan waar het verschil zat. Het onthulde dat hoewel beide groepen in het centrum rijden, de intensiteit en de specifieke startpunten verschilden op een manier die een eenvoudige "gemiddelde"-test wellicht gemist zou hebben. Het toonde aan dat Members en Casuals verschillende gebruikspatronen hebben.

Samenvatting

Dit artikel introduceert een nieuw statistisch instrument dat twee groepen vergelijkt door ze beide tegen een gemeenschappelijke, standaard referentie te mappen.

De Oude Manier: Vergelijk twee rommelige stapels gegevens met een liniaal (krijg één getal).
De Nieuwe Manier: Vergelijk twee gedetailleerde GPS-kaarten van hoe je bij die stapels komt (krijg een visuele, directionele kaart van de verschillen).

De auteurs tonen aan dat deze nieuwe manier wiskundig solide is, goed werkt op computers en je veel rijkere informatie geeft over hoe twee groepen gegevens van elkaar verschillen, en niet alleen dat ze verschillen.

Technische Samenvatting: Tweestamige Homogeniteitstoets via Entropische Optimale Transport

Probleemstelling
Het artikel behandelt het fundamentele statistische probleem van de tweestamige homogeniteitstoets in multivariate omgevingen ( $d \ge 1$ ). Gegeven twee onafhankelijke staven uit onbekende distributies $P$ en $Q$ op $\mathbb{R}^d$ , is het doel om de nulhypothese $H_0: P = Q$ te toetsen tegen $H_1: P \neq Q$ . Terwijl univariate toetsing profiteert van canonieke ordening (bijv. kwantielfuncties), ontbreekt in multivariate settings een natuurlijke ordening, wat het moeilijk maakt om distributionele representaties te construeren die de geometrische structuur behouden. Bestaande methoden, zoals energy distances, kernel-gebaseerde Maximum Mean Discrepancy (MMD) en graaf-gebaseerde statistieken, aggregeren de verschillen tussen distributies doorgaans tot een enkele scalaire waarde. Deze aggregatie verwerpt vaak map-niveau informatie over hoe één distributie georganiseerd is ten opzichte van een andere of een gemeenschappelijke referentie. Bovendien is inferentie gebaseerd op empirische Wasserstein-afstanden in multivariate settings vaak computationeel duur en lijdt het onder niet-standaard asymptotica.

Methodologie
De auteurs stellen een homogeniteitstoets voor op basis van Entropische Optimale Transport (EOT)-kaarten van een gemeenschappelijke referentiedistributie. De methodologie verloopt als volgt:

Constructie van een Gemeenschappelijke Referentie: Laat $U_d$ de uniforme distributie zijn op de eenheidsbal $B_d \subset \mathbb{R}^d$ . Voor elke doelvoelende distributie $P$ definieert de methode een entropische transportkaart $T_{\varepsilon, P}: B_d \to \mathbb{R}^d$ . Deze kaart is de barycentrische projectie van de unieke entropische optimale koppeling $\pi_{\varepsilon, P}$ tussen $U_d$ en $P$ , die de kosten $\int \frac{1}{2}\|u-x\|^2 d\pi + \varepsilon \text{KL}(\pi \| U_d \otimes P)$ minimaliseert.
Empirische Schatting: Gegeven staven $X_1, \dots, X_n \sim P$ en $Y_1, \dots, Y_m \sim Q$ , worden de populatiekaarten geschat door hun empirische tegenhangers $\hat{T}_{\varepsilon, n}$ en $\hat{T}_{\varepsilon, m}$ , waarbij de bronverdeling de vaste $U_d$ blijft (genummeriek benaderd door een referentiestat) en de doelverdeling wordt vervangen door de empirische maten $P_n$ en $Q_m$ .
Toetsingsstatistiek: De toetsingsstatistiek $T_{n,m}$ is de geschaalde gekwadrateerde $L^2$ -afstand tussen de twee empirische kaarten over het referentiedomein:
$T_{n,m} = \frac{nm}{n+m} \int_{B_d} \| \hat{T}_{\varepsilon, n}(u) - \hat{T}_{\varepsilon, m}(u) \|^2 dU_d(u).$
Kalibratie: Omdat de nulverdeling van $T_{n,m}$ afhankelijk is van de onbekende covariantiestructuur van het limiterende Gaussische proces (niet-pivotaal), stellen de auteurs een weighted multiplier bootstrap voor. Deze procedure herweegt de empirische doelmaten afzonderlijk terwijl de bron vast blijft, waardoor een conditionele distributie wordt gegenereerd om kritieke waarden te benaderen.

Belangrijkste Bijdragen
Het artikel vestigt de theoretische en praktische fundamenten voor dit map-gebaseerde toetsingskader:

Identificeerbaarheid: Onder aannames van compact ondersteuning en vaste regularisatie bewijzen de auteurs dat de populatie EOT-kaart de onderliggende distributie uniek bepaalt. Specifiek geldt $T_{\varepsilon, P} = T_{\varepsilon, Q}$ $U_d$ -bijna overal als en slechts als $P = Q$ . Dit zorgt ervoor dat de populatie-discrepantie exact verdwijnt onder de nulhypothese.
Asymptotische Theorie:
- Nul-limiet: Een functionele centrale limietstelling (FCLT) wordt afgeleid voor het verschil in de empirische kaart onder $H_0$ . De statistiek convergeert naar een Gaussische kwadratische vorm $\sum \omega_k Z_k^2$ , waarbij $\omega_k$ de eigenwaarden zijn van de covariantie-operator van het limiterende Gaussische veld.
- Consistentie: De toets wordt aangetoond consistent te zijn tegen vaste alternatieven ( $P \neq Q$ ), waarbij de statistiek naar oneindig divergeert.
- Lokale Kracht: De asymptotische kracht onder contigue nabije alternatieven wordt gekarakteriseerd, waarbij wordt aangetoond dat de toets gevoelig is voor verschillen in de raakrichtingen van de distributies.
Validiteit van de Bootstrap: De validiteit van de weighted multiplier bootstrap wordt vastgesteld, waarbij wordt bewezen dat de conditionele distributie van de bootstrap-statistiek de nul-limietverdeling consistent schat.
Diagnostische Capaciteit: In tegenstelling tot scalaire discrepantietoetsen levert de methode een geschatte vectorveld ( $\hat{T}_{\varepsilon, n} - \hat{T}_{\varepsilon, m}$ ) dat de richting en aard van de distributionele verschillen visualiseert (bijv. translatie, radiale expansie, afschuiving).

Resultaten
Uitgebreide numerieke experimenten en een toepassing op echte gegevens ondersteunen de theoretische bevindingen:

Kalibratie bij Eindige Steken: De weighted multiplier bootstrap biedt betrouwbare controle over de omvang (size) over diverse nulverdelingen (Gaussisch, Student-t, Gaussische mengsels) en dimensies ( $d=2, 5, 10$ ), met empirische verwerpingspercentages die dicht bij het nominale niveau (0,05) liggen.
Kracht: De toets vertoont competitieve kracht tegenover bestaande methoden (Energy, MMD, Sinkhorn divergence, k-NN, Wasserstein, OT-rank). Het vertoont bijzonder sterke prestaties onder locatie-alternatieven, waar de coherente directionele verplaatsing tussen kaarten gemakkelijk gedetecteerd kan worden. Het toont ook robuuste kracht onder schaal-, correlatie- en mengelalternatieven, hoewel de prestaties variëren ten opzichte van andere methoden afhankelijk van het specifieke alternatief en de dimensie.
Computationele Efficiëntie: Hoewel de EOT-map toets trager is dan Energy of MMD, is deze sneller dan permutatie-gekalibreerde Sinkhorn divergence. De computationele kosten zijn instelbaar via het aantal referentiepunten $N$ ; gematigde $N$ -waarden leveren stabiele kracht en omvang terwijl de runtime aanzienlijk wordt verminderd.
Toepassing op Echte Gegevens: Toegepast op Citi Bike trip data (member vs. casual riders), detecteerde de toets significante verschillen in de distributies van startlocaties. De visualisatie op map-niveau onthulde dat de discrepantie niet louter een globale verschuiving was, maar betrokken bij complexe ruimtelijke variaties, waarbij de coördinaat-voor-coördinaat decompositie bijdragen toonde van zowel lengtegraad als breedtegraad.

Betekenis en Claims
Het artikel positioneert de voorgestelde EOT-map toets als een competitief en interpreteerbaar complement voor bestaande scalaire discrepantietoetsen, in plaats van een universeel superieure vervanging. De primaire betekenis ligt in:

Geometrische Interpreteerbaarheid: Het behoudt directionele en geometrische informatie over distributionele veranderingen, waardoor onderzoekers kunnen diagnosticeren hoe distributies verschillen (bijv. via vectorveldvisualisatie) in plaats van enkel of ze verschillen.
Theoretische Rigor: Het biedt een rigoureuze limiettheorie voor EOT-kaarten onder vaste regularisatie, waarmee de niet-standaard asymptotica die vaak geassocieerd worden met ongekalibreerde Wasserstein-afstanden worden overwonnen.
Praktisch Nut: De methode biedt een praktisch evenwicht tussen statistische kracht, computationele hanteerbaarheid (via Sinkhorn-algoritmen en bootstrap) en diagnostisch inzicht, waardoor het geschikt is voor toepassingen waar het begrijpen van de structuur van distributionele verschuivingen even belangrijk is als de beslissing van de toets zelf.