Maximum-of-Differences Test for Comparing Multivariate K-Sample Distributions

Probleemstelling

Het vergelijken van de verdelingen van $K$ steekproeven is een fundamenteel probleem in de datawetenschap, met toepassingen in bio-informatica, economie, financiën en machine learning. Bestaande methoden hebben echter beperkingen:

1. Hotelling-type tests: Deze zijn gebaseerd op parametrische aannames (zoals multivariate normaliteit) en testen voornamelijk gelijkheid van gemiddelden of covariantiematrices, niet de volledige verdeling.
2. Klassieke niet-parametrische tests: Methoden zoals de Kolmogorov-Smirnov test werken goed voor univariate data ($K=2$) maar presteren vaak slecht bij multivariate data.
3. Grafische methoden: Bestaande grafische benaderingen (zoals Minimum Spanning Trees) zijn ontwikkeld voor $K=2$ of specifieke $K>2$ scenario's, maar zijn vaak niet direct uitbreidbaar naar multivariate regressiemodellen of hebben beperkingen bij hoge dimensies.

De auteurs stellen een nieuw probleem: het ontwikkelen van een methode die geschikt is voor multivariate data (zowel in vaste als hoge dimensies $p$) met $K \geq 2$ steekproeven, en die direct kan worden toegepast op multivariate regressiemodellen om verdelingen van residuen te testen.

Methodologie

De auteurs introduceren de Maximum-of-Differences (MOD) test en een aangepaste versie, de Covariance-Adjusted MOD (CA-MOD) test. De methode verloopt in drie hoofdstappen:

1. Connectiviteit definiëren:

   • Bereken de onderlinge afstanden (L2-norm) tussen alle gepoolde observaties van de $K$ steekproeven.
   • Definieer twee observaties als "verbonden" als hun afstand kleiner is dan een vooraf gespecificeerde drempelwaarde $\tau$.

2. Binnen- en Tussen-kansen berekenen:

   • Voor elke observatie $i$ worden twee kansen berekend:
     • Within-kans ($\hat{p}_{in}^i$): De fractie van andere observaties binnen dezelfde steekproef die verbonden zijn met $i$.
     • Between-kans ($\hat{p}_{bet}^i$): De fractie van observaties uit andere steekproeven die verbonden zijn met $i$.
   • Onder de nulhypothese ($H_0$: alle $K$ verdelingen zijn gelijk) zouden deze kansen gelijk moeten zijn, dus het verschil $\hat{p}_{bet}^i - \hat{p}_{in}^i$ zou dicht bij nul moeten liggen.

3. Teststatistiek construeren:

   • De MOD-statistiek ($T_\tau$) is het maximum van de gestandaardiseerde kwadratische verschillen tussen de binnen- en tussen-kansen over alle observaties:
     $$T_\tau = \max_{1 \leq i \leq n} \frac{(\hat{p}_{bet}^i - \hat{p}_{in}^i)^2}{\text{Var}(\hat{p}_{bet}^i - \hat{p}_{in}^i)}$$
   • Omdat de teststatistieken voor verschillende observaties gecorreleerd zijn, is de asymptotische verdeling van $T_\tau$ complex (een mengsel van normale en extreme waarden verdelingen).

De CA-MOD Test:
Om de berekening van kritieke waarden te vereenvoudigen, stellen de auteurs de CA-MOD test voor. Hierbij wordt de covariantiestructuur van de teststatistieken "geprofileerd" (gecorrigeerd) door de inverse van de geschatte covariantiematrix ($\hat{\Sigma}^{-1/2}$) toe te passen vóór het maximaliseren.

• De CA-MOD statistiek ($T^{adj}_\tau$) convergeert onder de nulhypothese naar een Type I extreme waarde verdeling. Dit maakt het bepalen van kritieke waarden veel eenvoudiger dan bij de standaard MOD-test.

Regressie-uitbreiding:
De methode wordt uitgebreid naar multivariate regressiemodellen ($X_i = \beta W_i + \epsilon_i$). In plaats van de ruwe data te testen, worden de tests toegepast op de geschatte residuen ($\hat{\epsilon}_i$) om te controleren of de fouttermen over $K$ groepen dezelfde verdeling hebben.

Keuze van de parameter $\tau$:
De auteurs tonen aan dat de macht van de test optimaal is wanneer $\tau$ wordt gekozen als de mediaan van de onderlinge afstanden $\|X_i - X_j\|$.

Belangrijkste Bijdragen

1. Nieuwe Teststatistiek: Introductie van de MOD en CA-MOD tests die specifiek zijn ontworpen voor het vergelijken van volledige verdelingen (niet alleen gemiddelden) in $K$-steekproef scenario's.
2. Asymptotische Theorie:
   • Bewijs dat de MOD-test convergeert naar het maximum van $K$ gecorreleerde gewogen sommen van standaardnormale en Type I extreme waarde verdelingen.
   • Bewijs dat de CA-MOD-test convergeert naar een Type I extreme waarde verdeling, wat een analytische oplossing biedt voor kritieke waarden.
   • Toon consistentie onder alternatieve hypotheses aan (de tests detecteren verschillen in gemiddelden, covarianties en algemene verdelingen).
3. Flexibiliteit: De methoden zijn geldig voor zowel vaste als hoge dimensies ($p$ kan groter zijn dan $n$) en zijn robuust voor zware staarten (fat-tailed data) omdat ze alleen afhankelijk zijn van binaire indicatoren (verbonden/niet-verbonden) en niet van de onderliggende verdeling.
4. Regressie-uitbreiding: Eerste methode die $K$-steekproef vergelijkingen direct toepasbaar maakt in multivariate regressiecontexten.

Resultaten

De auteurs evalueren de prestaties via uitgebreide simulatiestudies en een echte data-analyse:

• Simulaties ($K=2$ en $K=6$):

  • Groottecontrole: Beide tests controleren de type I-fout (grootte) goed onder de nulhypothese.
  • Macht:
    • Bij gemiddeldeverschuivingen zijn de tests vergelijkbaar met of iets inferieur aan geavanceerde grafische methoden (zoals GEC en WEC) bij lage dimensies, maar presteren ze goed bij hoge dimensies.
    • Bij covariantieverschuivingen en verdelingsverschuivingen (bijv. normaal vs. t-verdeling) presteren CA-MOD en MOD aanzienlijk beter dan bestaande methoden (EC, GEC, WEC, GLP, MMCM).
    • CA-MOD is over het algemeen krachtiger dan MOD, vooral bij covariantie- en verdelingsverschillen.
  • Regressie: In regressiesettingen behouden de tests hun goede eigenschappen, terwijl veel concurrenten (zoals GEC) de grootte niet goed controleren.

• Real Data Analyse (Chinese Aandelenmarkt):

  • De tests werden gebruikt om het "dag van de week"-effect te testen (verschillen in rendementen tussen maandag t/m vrijdag).
  • Zowel zonder als met correctie voor marktfactoren (via regressie) werd de nulhypothese van gelijke verdelingen niet verworpen.
  • Conclusie: Er is geen bewijs voor een dag van de week-effect, wat suggereert dat de Chinese aandelenmarkt efficiënter is geworden.

Betekenis en Toekomstperspectief

Dit artikel biedt een krachtig en flexibel instrument voor statistische inferentie in complexe, multivariate settings. De belangrijkste voordelen zijn:

• Verdelingsonafhankelijkheid: Geen aannames nodig over de onderliggende verdeling (niet-parametrisch).
• Hoge Dimensie: Geschikt voor "fat" data ($p > n$).
• Regressie-integratie: Unieke mogelijkheid om verdelingsverschillen te testen terwijl covariaten worden gecontroleerd.

De auteurs identificeren vier richtingen voor toekomstig onderzoek:

1. Combinatie van maximum-type en som-type tests voor dichte alternatieven.
2. Onderzoek naar de optimale keuze van de afstandsmaat (nu L2 gebruikt).
3. Constructie van tests met een variërende drempelwaarde $\tau$.
4. Uitbreiding naar scenario's met gecorreleerde observaties.

Samenvattend vullen de MOD en CA-MOD tests een belangrijke leemte in de statistische literatuur door een robuuste, krachtige en theoretisch onderbouwde methode te bieden voor het vergelijken van multivariate verdelingen in zowel onafhankelijke steekproeven als regressiemodellen.