Technische Samenvatting: Signaal in de Ruis (SITN)

Probleemstelling

Diepe generatieve modellen, met name Continue Normaliserende Stromen (CNFs), bieden een theoretische basis voor Out-of-Distribution (OOD) detectie door expliciet data-distributies te modelleren. Echter, eerder onderzoek heeft vastgesteld dat de door deze modellen toegewezen waarschijnlijkheden onbetrouwbare indicatoren zijn voor het onderscheiden van in-distribution (ID) van OOD-data in hoogdimensionale ruimten. Een goed gedocumenteerde faalmodus betreft modellen die getraind zijn op één dataset (bijv. CIFAR-10) en hogere waarschijnlijkheden toekennen aan samples van een andere dataset (bijv. MNIST of SVHN).

Bestaande correcties voor dit probleem, zoals typischheidstests, complexiteitsstraffen en waarschijnlijkheidsverhoudingen, lijden vaak onder inherente vertekeningen die gekoppeld zijn aan de waarschijnlijkheid zelf (specifiek "complexiteitsbias", waarbij eenvoudige afbeeldingen de voorkeur krijgen) of praktische beperkingen opleggen. Deze beperkingen omvatten de noodzaak van domeinspecifieke compressie-algoritmen, toegang tot OOD-data voor achtergrondmodellen, of aanzienlijke rekenkundige overhead (bijv. het trainen van ensemble-modellen of fine-tunen op testsamples).

Methodologie: Signaal in de Ruis (SITN)

De auteurs stellen Signal in the Noise (SITN) voor, een raamwerk dat OOD-detectie herformuleert als een single-sample goodness-of-fit-test binnen de latente ruisruimte van CNFs.

Kerninzicht

CNFs gebruiken diffeomorfe, massa-bewarende afbeeldingen om een standaard Gaussische ruis-prior ($P_0 = \mathcal{N}(0, I)$) te transformeren naar de doel-data-distributie ($P_{ID}$). Omdat deze afbeeldingen omkeerbaar zijn, wordt ID-data teruggemapt naar samples die voldoen aan de standaard Gaussische prior. Omgekeerd mappen OOD-samples, die een lage waarschijnlijkheidsmassa hebben onder de doel-distributie, naar ruis-latents die atypische empirische eigenschappen vertonen onder de Gaussische prior. Cruciaal is dat deze atypiciteit onafhankelijk is van de divergentie van het vectorveld, wat de primaire drijver is van waarschijnlijkheidswaarden.

Het Raamwerk

SITN maakt gebruik van de volledige factorisatie van de Gaussische prior. Een enkele hoogdimensionale latente vector $Z$ (gemapt van een invoer $X$ via de inverse stroom $\phi^{-1}$) wordt behandeld als een collectie van $D$ onafhankelijke en identiek verdeelde (i.i.d.) samples uit een univariate standaardnormale verdeling. De methode test $Z$ tegen twee noodzakelijke voorwaarden voor de nulhypothese ($H_0$) dat $Z \sim \mathcal{N}(0, I)$:

1. Marginaal Normaliteit: Elk element van $Z$ moet een standaard univariate normale verdeling volgen.
   • Statistiek: De Anderson-Darling (AD) statistiek ($S_{AD}$) wordt gebruikt om de discrepantie te kwantificeren tussen de empirische cumulatieve verdelingsfunctie (CDF) van de latente elementen en de theoretische standaardnormale CDF.
2. Dimensionale Onafhankelijkheid: De elementen van $Z$ moeten onderling onafhankelijk zijn.
   • Statistiek: De Variatiecoëfficiënt (CV) van het empirische vermogensspectrum ($S_{CV}$) wordt gebruikt. Voor witte Gaussische ruis volgt het vermogensspectrum een exponentiële verdeling, wat een theoretische CV van 1 oplevert. Structurele correlaties (afhankelijkheid) manifesteren zich als dominante frequenties, wat de spectrale variantie opblaast en $S_{CV}$ aanzienlijk boven 1 drijft.

Scoren en Calibratie

Om een enkele scalair OOD-score ($S_{SITN}$) te produceren, hanteert de methode een max-quantiel-strategie:
$$S_{SITN} = \max(\hat{F}_{AD}(S_{AD}), \hat{F}_{CV}(S_{CV}))$$
waarbij $\hat{F}$ empirische CDF's voorstelt die zijn geschat op een terughoudende ID-calibratieset. Deze benadering mapt statistieken af op een uniforme $[0, 1]$-range, waardoor zinvolle vergelijking mogelijk is. Door het maximum te nemen, verwerpt de methode $H_0$ als het sample ofwel marginaal normaliteit ofwel dimensionale onafhankelijkheid schendt.

Theoretische Eigenschappen

• Controle van Valse Positieven: De methode staat strikte controle van het Type I-foutpercentage (False Positive Rate) toe. Door de empirische CDF's te calibreren op een terughoudende ID-set, kan een drempelwaarde worden ingesteld om een specifiek percentage valse positieven te garanderen zonder toegang tot OOD-data.
• Rekenkundige Efficiëntie: De overhead is verwaarloosbaar in vergelijking met de berekening van de inverse stroom. Het berekenen van $S_{AD}$ omvat sorteren ($O(D \log D)$), en $S_{CV}$ omvat een Fast Fourier Transform ($O(D \log D)$).
• Robuustheid: Het raamwerk blijft toepasbaar zelfs als de CNF een benadering is van de ware distributie, hoewel dit Type II-fouten (gemiste detecties) kan verhogen in plaats van Valse Positieven.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Een theoretisch onderbouwde aanpak die OOD-detectie neerzet als single-sample goodness-of-fit-testen tegen de gefactoriseerde Gaussische ruis-prior van CNFs.
2. SITN-methode: Een specifieke instantiatie die geen OOD-data vereist, minimale rekenkundige overhead kent en strikte controle van Type I-fouten biedt.
3. Empirische Validatie: Uitgebreide evaluatie die effectiviteit aantoont over standaard benchmarks en synthetische verstoringen, met nadruk op het ontbreken van de complexiteitsbias die inherent is aan op waarschijnlijkheid gebaseerde methoden.

Experimentele Resultaten

De auteurs evalueerden SITN tegen baselines zoals ruwe Log-likelihood, Typischheid en Density of States Estimation (DoSE) over drie datasets: CIFAR-10, SVHN en CelebA (herbemonsterd naar 32x32).

• Prestaties over Datasets: SITN presteerde consistent beter dan alle baselines. Bijvoorbeeld, bij training op CIFAR-10 en testen op SVHN behaalde SITN een AUROC van 0,946, vergeleken met 0,105 voor Log-likelihood en 0,802 voor DoSE. In de omgekeerde opstelling (SVHN-training, CIFAR-10-test) behaalde SITN 0,986 versus 0,980 voor Log-likelihood.
• Synthetische Verstoringen: Op CIFAR-10-C (19 corruptietypes) behaalde SITN de hoogste gemiddelde AUROC (0,85), aanzienlijk beter dan Log-likelihood (0,59), Typischheid (0,69) en DoSE (0,78). SITN behield robuuste prestaties zelfs in omstandigheden waarin andere methoden terugvielen tot willekeurigheidsniveaus.
• Analyse van Complexiteitsbias: Visualisaties en spreidingsdiagrammen onthulden dat Likelihood, Typischheid en DoSE sterke correlaties vertoonden met afbeeldingscomplexiteit (gemeten aan de hand van PNG-compressiegrootte), waarbij vaak eenvoudige afbeeldingen met constante achtergronden als OOD werden gemarkeerd. SITN vertoonde dergelijke bias niet ($R^2 = 0,052$).
• Faalmodi: Hoewel zeer effectief, toonde SITN een specifieke randgeval waarbij de UNet-architectuur moeite had om grote, constante achtergrondvlakken af te beelden naar typische Gaussische ruis, waardoor de AD-statistiek deze als atypisch markeerde, zelfs wanneer ze in-distribution waren.

Betekenis en Claims

Het artikel beweert dat SITN een aanzienlijke praktische en statistische vooruitgang biedt ten opzichte van op waarschijnlijkheid gecentreerde benaderingen. Door het detectiemechanisme te verschuiven van de data-ruimte (waar waarschijnlijkheden onbetrouwbaar zijn) naar de ruisruimte (waar OOD-samples manifesteren als atypische ruis), bereikt de methode:

• Betrouwbaarheid: Het vermijdt de catastrofale faalmodi die geassocieerd zijn met op waarschijnlijkheid gebaseerde OOD-detectie.
• Praktijkgerichtheid: Het vereist geen toegang tot OOD-data voor training of calibratie en kent minimale rekenkosten.
• Statistische Strenge: Het biedt een formeel mechanisme voor het controleren van het percentage valse positieven, een eigenschap die vaak ontbreekt bij heuristische OOD-detectoren.

De auteurs concluderen dat hoewel SITN geen wondermiddel is (met name het specifieke randgeval met constante achtergronden), het een cruciale stap voorwaarts is naar een veiliger implementatie van machine learning in hoog-risico domeinen door robuuste, theoretisch onderbouwde beveiligingen te bieden tegen out-of-distribution-invoeren.