Technische Samenvatting: LOTTERY

Probleemstelling

Het artikel behandelt de uitdaging van data-adaptieve twee-steekproef toetsing onder condities van extreme asymmetrie in steekproefomvang. In veel real-world monitoring scenario's (bijv. detectie van dataset shift, adversariële detectie, model monitoring) beschikken beoefenaars over een overvloedige historische referentie-dataset ($X \sim P$) maar ontvangen zij slechts een handvol query-samples ($Y \sim Q$) om tegen de referentie te testen.

Bestaande learning-gebaseerde twee-steekproef toetsen vertrouwen doorgaans op een train-test split paradigma om het leren van representaties te ontkoppelen van de hypothese-toetsing, wat zorgt voor een valide controle van de Type I-fout. Echter, in few-shot settings waar $|Y|$ extreem klein is, is het splitsen van de query-data nadelig:

1. Leerinstabiliteit: Het gebruik van een minuscule subset van $Y$ voor training leidt tot hoog-variante, instabiele feature extractors.
2. Testruis: Het toewijzen van de resterende weinige punten voor testen resulteert in ruisachtige kalibratie en een lage statistische power.
3. Bottleneck: Het simpelweg vergroten van de referentie-steekproefomvang mitigeert de fundamentele schaarste aan query-punten niet.

De kernvraag die gesteld wordt is: Hoe kan men de adaptiviteit van learning-gebaseerde toetsing behouden terwijl men het leren van schaarse query-data vermijdt?

Methodologie: LOTTERY

De auteurs stellen LOTTERY voor (Learning from Reference-Only samples in Two-sample Testing under sizE asymmetRY), een framework dat het paradigma verschuift van "het leren van een discrepantie tussen $X$ en $Y$" naar "het leren van een collectie compatibiliteits-signalen van $X$ en het testen van $Y$ tegen deze signalen."

1. Reference-Only Learning (RDR)

In plaats van $Y$ te splitsen, leert LOTTERY Reference-Dependent Representations (RDRs) uitsluitend van de overvloedige referentie-data $X$. Een RDR is een functie $f: \mathcal{X} \to \mathbb{R}$ getraind op $X$, waarbij grotere waarden van $f(y)$ duiden op een lagere compatibiliteit met de referentieverdeling $P$.
Het framework maakt gebruik van een familie van complementaire RDRs om diverse structurele aspecten van $P$ te vangen:

• ME-RDR (Mean Embedding): Vangt lokale gelijkenispatronen met behulp van karakteristieke kernels en testlocaties. Theoretisch gegarandeerd consistent voor elke alternatieve $P \neq Q$.
• Mahalanobis-RDR: Vangt de globale structuur (gemiddelde en covariantie verschuivingen).
• kNN-RDR: Vangt lokale schaal en support-geometrie via nearest-neighbor afstanden.
• LOF-RDR: Vangt lokale relatieve dichtheids-onregelmatigheden.

2. Onzekerheid-gestuurde Aggregatie

Omdat geen enkele RDR uniform krachtig is tegen alle alternatieven, aggregeert LOTTERY bewijs uit de gehele familie. Om deze aggregatie te optimaliseren zonder query-data te gebruiken, introduceren de auteurs een onzekerheid-gestuurd weegschema:

• Stabiliteit: Gekwantificeerd door de variantie van het batch-gemiddelde van de RDR bij het her-samplen uit de referentie-kalibratieset. Instabiele RDRs (hoge variantie) worden lager gewogen.
• Sensitiviteit: Gekwantificeerd door de respons van de RDR op kleine, gecontroleerde perturbaties van de referentie-data.
• Weging: De uiteindelijke weging voor een RDR $f$ is $w_f = \hat{\delta}_f / \hat{\sigma}^2_f$, waarbij voorkeur wordt gegeven aan representaties die zowel stabiel zijn onder de nulhypothese als gevoelig voor afwijkingen.
• Teststatistiek: De uiteindelijke statistiek is een gewogen som van gekwadrateerde, gestandaardiseerde gemiddelde verschuivingen: $T_{weight}(Y) = \sum_{f \in \mathcal{F}} w_f T_f(Y)$.

3. Gepoolde Permutatietoets

Om een valide controle van de Type I-fout te garanderen zonder de query-data te splitsen, gebruikt LOTTERY een gepoolde permutatietoets.

• Een uitgesloten referentie-set $X_{hold}$ wordt gecombineerd met de query-batch $Y$ om een gepoolde steekproef $U$ te vormen.
• Onder de nulhypothese ($P=Q$) zijn alle punten in $U$ uitwisselbaar.
• De teststatistiek wordt berekend voor de geobserveerde $Y$ en vergeleken met een distributie gegenereerd door willekeurig subsets van grootte $|Y|$ te samplen uit $U$.
• Dit levert exacte Type I-foutcontrole op eindige steekproeven op niveau $\alpha$.

Belangrijkste Bijdragen

1. Reference-Only Framework: Introduceert een nieuw paradigma voor twee-steekproef toetsing in de few-shot, asymmetrische regime, waardoor de noodzaak om schaarse query-data te splitsen voor representatie-leren wordt geëlimineerd.
2. Onzekerheid-gestuurde Aggregatie: Stelt een mechanisme voor om meerdere referentie-afhankelijke representaties adaptief te wegen op basis van hun stabiliteit en sensitiviteit, afgeleid van louter de referentie-data.
3. Theoretische Garanties:
   • Type I-foutcontrole: Bewijst dat de gepoolde permutatieprocedure de Type I-fout controleert op niveau $\alpha$ voor eindige steekproeven.
   • Consistentie: Toont aan dat de testkracht (power) convergeert naar 1 naarmate de steekproefgroottes groeien, mits de representatie-familie ten minste één consistente representatie bevat (bijv. ME-RDR).
4. Empirische Prestaties: Demonstreert sterke prestaties over synthetische en real-world benchmarks, waarbij het met name beter presteert dan kernel-gebaseerde en split-gebaseerde learning methoden in extreme few-shot settings.

Experimentele Resultaten

De auteurs evalueren LOTTERY op synthetische data (BLOB) en real-world datasets (Higgs Boson, CIFAR-10 adversariële detectie).

• Variërende Referentie Grootte ($N$): Met een vaste kleine query-grootte vertoont LOTTERY een significant snellere groei van de power naarmate $N$ toeneemt vergeleken met baselines. Het presteert beter dan alle methoden wanneer $N$ voldoende groot is (bijv. $N \ge 300$ op BLOB).
• Variërende Query Grootte ($M$): In extreme few-shot regimes (bijv. $M=2$ tot $M=10$), bereikt LOTTERY een substantieel hogere power dan kernel-gebaseerde (MMD-FUSE, MMDAgg) en split-gebaseerde learning baselines (MMD-Deep, RL-TST), die vaak rond het niveau van toeval presteren.
• Ablatie Studies:
  • Het verwijderen van het onzekerheid-gestuurde selectiemechanisme leidt tot een consistente daling in power, wat de waarde bevestigt van het lager wegen van instabiele RDRs.
  • Het aggregeren van meerdere RDR-families levert betere resultaten op dan elke enkele RDR, wat de complementariteit bevestigt over verschillende typen distributieve verschuivingen (globale gemiddelde, variantie, lokale dichtheid).
• Type I-fout: Empirische controles bevestigen dat de test de Type I-fout dicht bij het significantieniveau $\alpha = 0.05$ houdt over alle configuraties.

Betekenis en Claims

Het artikel claimt dat LOTTERY een geprincieerde en effectieve aanpak biedt voor twee-steekproef toetsing onder extreme klasse-imbalans. De betekenis ligt in:

• Het Oplossen van de Few-Shot Bottleneck: Het omzeilt de instabiliteit die inherent is aan het splitsen van kleine query-batches, een beperking die bestaande data-adaptieve toetsen treft.
• Het Overbruggen van One-Class en Two-Sample Testing: Het past het succes van one-class classificatie (leren van één distributie) aan naar een rigoureus twee-steekproef toetsingsframework met formele Type I-fout garanties, wat het onderscheidt van standaard anomalie-detectie die vaak een gebrek heeft aan niveau-$\alpha$ garanties.
• Praktisch Nut: Het biedt een diagnostisch instrument voor high-stakes toepassingen zoals adversariële detectie en model monitoring, waar query-data schaars is maar referentie-data overvloedig aanwezig is, wat een meer betrouwbare detectie van distributieve verschuivingen en stille fouten mogelijk maakt.

De auteurs benadrukken dat de methode van nature statistisch is en bedoeld is als een diagnostisch onderdeel binnen een breder proces, in plaats van een op zichzelf staande beslissingsregel voor individuen.