How fine a change can moments see? A scale law for detecting distribution shift, with a kernel calibration rule

Technische Samenvatting: Een Schaalwet voor het Detecteren van Distributieverschuivingen

Probleemstelling
Het artikel behandelt de uitdaging van het detecteren van distributieverschuivingen in stromen van hoogdimensionale embeddings. Hoewel standaardbenaderingen dit formuleren als een keuze van statistiek (bijv. covariantiedrift, dichtheidsschatting of topologische samenvattingen zoals persistente homologie), betoogt de auteur dat de effectiviteit van elke moment-gebaseerde detector fundamenteel wordt beperkt door de ruimtelijke schaal ($\varepsilon$) van de verandering en het massa-fractie ($f$) dat deze draagt, in plaats van door het aantal kenmerken of de dimensionaliteit van de ruimte. Het werk onderzoekt specifiek of topologische methoden (Persistente Homologie) een onderscheidend voordeel bieden ten opzien van moment-gebaseerde statistieken, met name onder adversariële omstandigheden.

Methodologie en Theoretisch Kader
De kern van het artikel is de afleiding en empirische validatie van een schaalwet die de complexiteit regelt die nodig is om distributieveranderingen te detecteren.

1. De Schaalwet (Ondergrens):

   • De auteur bewijst dat het certificeren van een kenmerk met een ruimtelijke schaal $\varepsilon$ die een massa-fractie $f$ draagt, polynoomtesten van graad $N^*$ vereist die voldoen aan:
     $$N^* \ge \frac{\log(1/f)}{2\varepsilon}$$
   • Deze grens is afgeleid via het Chebyshev extremale probleem. Dit impliceert dat de kosten van detectie worden bepaald door de fijnheid van het kenmerk, niet door de telling van kenmerken.
   • Voor een topologie met complexiteit $b$ (bijv. $b$ lussen) wordt een ondergrens van $N^* \ge 4b - 1$ vastgesteld met behulp van Gauss-kwadratuur-argumenten.

2. De Bovengrens en Kalibratieregel:

   • Hoewel de ondergrens strikt is voor polynoomtesten, identificeert het artikel dat Gaussische testfuncties (de RKHS-getuige van een RBF-kernel) een snelheid kunnen bereiken van $N^* \propto \log(1/f)/\varepsilon$.
   • Dit leidt tot een praktische kalibratieregel: de bandbreedte ($\sigma$) van een Maximum Mean Discrepancy (MMD) test moet worden ingesteld om overeen te komen met de schaal van het kenmerk ($\sigma \approx \varepsilon$).

3. Tegenvoorbeelden en Beperkingen:

   • De wet is eenzijdig: het biedt een ondergrens op de benodigde orde, maar certificeert nooit de voldoendeheid.
   • Een specifiek tegenvoorbeeld is geconstrueerd: een annulus met een niet-nul dikte draagt een niet-triviale eerste homologie ($H_1 \neq 0$), maar deelt hetzelfde gemiddelde, covariantie en alle momenten tot orde vier met een gevulde schijf. Dit weerlegt het idee dat "vierde-orde informatie de canonieke topologische verandering bepaalt" in alle gevallen.

4. Empirische Evaluatie:

   • Datasets: Real-world embedding-stromen (MiniLM, bge-1024) van 20 Newsgroups en AG News corpora.
   • Adversary: Een gradiënt-gebaseerde adversary die geoptimaliseerd is om specifieke defender-statistieken ($\mu, \Sigma$, k-NN, kurtosis) te ontwijken terwijl de doel-topologie behouden blijft.
   • Baselines: Covariantiedrift, Mahalanobis-afstand, k-NN dichtheid, Mardia kurtosis en diverse topologische samenvattingen (First Persistence Landscape, Total Persistence, etc.).
   • Protocol: Verschuivende vensters ($W=200$), PCA-reductie naar intrinsieke dimensie, en evaluatie bij vaste False Positive Rates (FPR) en Average Run Lengths (ARL).

Belangrijkste Resultaten

1. Validatie van de Schaalwet:

   • Experimenten bevestigen dat de optimale MMD-bandbreedte $\sigma^*$ ongeveer gelijk is aan de kenmerk-schaal $\varepsilon$ (mediaan ratio $\sigma^*/\varepsilon = 1.12$, IQR $[1.01, 1.52]$).
   • Een datagedreven schatting van $\varepsilon$ stelt de MMD-test in staat om een AUC $\ge 0.95$ te bereiken.
   • Tegen een adaptieve adversary die geoptimaliseerd is tegen $\{\mu, \Sigma, \text{k-NN}, \text{kurtosis}\}$, worden al die statistieken omzeild. Alleen de bandbreedte-gematchte kerneltest (MMD-RBF) slaagt erin de verschuiving te detecteren.

2. Prestaties van Persistente Homologie (PH):

   • Keuze van de Samenvatting is Cruciaal: De prestaties van PH worden gedomineerd door de keuze van de samenvattende statistiek.
     • First Persistence Landscape: Presteert slecht (AUC $\approx 0.75$, recall 0.00 bij FPR=1%). De prestaties verslechteren met de ambient dimensie en zijn gevoelig voor de reductie-dimensie.
     • Total Persistence: Presteert aanzienlijk beter (AUC $\approx 0.99$, recall 0.75 bij FPR=1%), wat overeenkomt met de prestaties van kurtosis in niet-adversariële settings.
   • Redundantie: De "Total Persistence"-samenvatting gedraagt zich structureel als een lage-orde moment (een readout van het radiale profiel). In het regime van grove, enkelvoudige schaalveranderingen (het focuspunt van de studie), is het redundant met kurtosis, maar brengt het een enorme computationele kostenpost met zich mee (116$\times$ kurtosis).
   • Adversariële Falen: Tegen de adaptieve adversary falen zowel Total Persistence als kurtosis simultaan. De enige overlevende detector is de bandbreedte-gematchte kerneltest.

3. Kosten vs. Kracht:

   • Er is geen "power gap" waarbij PH detecteert wat momenten missen in deze specifieke taak; er is eerder een kosten-gap.
   • PH (zelfs met de beste samenvatting) kost ongeveer 116 keer meer dan kurtosis en faalt onder dezelfde adversariële omstandigheden.
   • De "degradatie met de ambient dimensie" die wordt waargenomen bij sommige metrieken, is een eigenschap van de landscape-samenvatting, niet van de persistente homologie zelf.

Betekenis en Claims
Het artikel concludeert met een bescheiden maar precieze set claims:

• De Schaalwet: Het stelt een theoretische ondergrens vast op de vereiste moment-orde om kenmerken van een bepaalde schaal te detecteren, waarmee wordt bewezen dat de detectiekosten een functie zijn van de fijnheid van het kenmerk, niet van het aantal kenmerken.
• Kalibratieregel: Het biedt een concrete, empirisch gevalideerde regel voor het instellen van de bandbreedte van kernel twee-steekproeftesten ($\sigma \approx \varepsilon$), wat cruciaal is voor hun succes tegen adaptieve adversaries.
• Oordeel over Topologie: Het artikel claimt niet dat topologische samenvattingen nutteloos zijn. Het concludeert echter dat voor grove, enkelvoudige-schaal monitoring (het regime van de experimenten), topologische samenvattingen gedomineerd worden door kerneltests op basis van kosten.
  • De samenvatting die werkt (Total Persistence) werkt in essentie als een moment, wat in lijn is met de voorspelling van de wet dat lage-orde momenten volstaan voor grove kenmerken.
  • Het artikel suggereert dat de werkelijke waarde van persistente homologie ligt in het detecteren van fijne of multi-schaal structuren waar de equivalente moment-orde prohibitief hoog zou zijn, een regime dat niet aanwezig is in de geteste embedding-verschuivingen.

Samenvattend stelt het werk dat voor de detectie van distributieverschuivingen in embeddings de keuze van de statistiek wordt beperkt door de schaal van de verschuiving. De optimale praktische aanpak is een kerneltest met een bandbreedte die gematcht is aan die schaal, terwijl topologische methoden geen voordeel bieden in kosten of kracht voor de specifieke klasse van grove vervormingen die zijn getest.