Technische Samenvatting: Geometrie boven Dichtheid: Few-Shot Cross-Domain OOD-detectie

Probleemstelling

Out-of-Distribution (OOD)-detectie is cruciaal voor de veilige implementatie van machine learning in hoog-risico scenario's (bijvoorbeeld autonoom rijden, medische diagnose), waarbij modellen inputs moeten herkennen die afwijken van hun trainingsverdeling. Bestaande OOD-detectiemethoden vallen doorgaans in drie categorieën: classifier-gebaseerde, dichtheidsgebaseerde en afstand-gebaseerde benaderingen. Deze methoden lijden echter aan twee primaire beperkingen:

1. Domeinspecificiteit: Ze zijn sterk gekoppeld aan de specifieke trainingsverdeling. Het inzetten van een detector op een nieuw domein vereist het verzamelen van grote hoeveelheden in-distribution (ID)-data (vaak 50k–200k samples) en het opnieuw trainen van een dedicated model.
2. Afhankelijkheid van dichtheidsschatting: De meeste methoden proberen de waarschijnlijkheidsdichtheid $p(x)$ van de ID-data te modelleren. Het artikel stelt dat deze afhankelijkheid van distributiestatistieken de generalisatie over domeinen beperkt, omdat dichtheidsschattingen uiterst gevoelig zijn voor domeinverschuivingen.

De auteurs stellen de uitdaging van Few-Shot Cross-Domain OOD-detectie: Kan een enkel vooringesteld model OOD-detectie uitvoeren op willekeurige nieuwe ID-OOD-taakparen met slechts een handjevol ongelabelde ID-samples (bijvoorbeeld ~100) tijdens de inferentie, zonder extra training of fine-tuning?

Methodologie: UFCOD

De auteurs stellen UFCOD (Unified Few-shot Cross-domain OOD Detection) voor, een trainingsvrij raamwerk dat het paradigma verschuift van dichtheidsschatting naar informatie-geometrische analyse van diffusietrajecten.

1. Kerninzicht: Diffusie als universele feature-extractor

In plaats van voor elk domein een nieuwe detector te trainen, maakt UFCOD gebruik van een enkel vooringesteld diffusiemodel (getraind op een brondataset, bijvoorbeeld CelebA) als universele feature-extractor. Het fundamentele theoretische inzicht is dat de ruisvoorspelling $\epsilon_\theta(x_t, t)$ in een diffusiemodel direct evenredig is met de scorefunctie (de gradiënt van de log-dichtheid, $\nabla \log p(x_t)$).

• Voor ID-samples biedt de geleerde scorefunctie nauwkeurige begeleiding, wat resulteert in gladde, laag-energetische trajecten.
• Voor OOD-samples is de scorefunctie onbetrouwbaar, waardoor het denoising-proces oscilleert en hoge energie vertoont.

2. Energie-gebaseerde feature-extractie

De methode extraheren een compact 2-dimensionaal feature-vector uit het diffusietraject van een invoerbeeld $x$:

• Pad-energie ($f_1$): De cumulatieve kwadratische grootte van ruisvoorspellingen langs het traject. Het meet de geïntegreerde grootte van de scorefunctie.
  $$f_1 = \sum_{t,c,h,w} \epsilon_{t,c,h,w}^2$$
• Dynamische energie ($f_2$): De cumulatieve kwadratische veranderingssnelheid (temporele afgeleide) van ruisvoorspellingen. Het meet de gladheid van het traject in score-ruimte.
  $$f_2 = \sum_{t,c,h,w} (\Delta \epsilon_{t,c,h,w})^2$$

Deze twee features vormen een discrete Sobolev-norm van de scorefunctie, waarbij zowel de grootte als de gladheid worden vastgelegd. De auteurs stellen dat tweede-orde statistieken (energie) optimaal zijn voor few-shot detectie, omdat eerste-orde momenten bij Gaussisch ruis een verwachting van bijna nul hebben, terwijl hogere-orde momenten te gevoelig zijn voor uitschieters.

3. Few-Shot referentieconstructie

Om detectie uit te voeren met beperkte data, construeert UFCOD een referentiestel uit een klein aantal ID-samples (bijvoorbeeld 100).

• Facility Location-selectie: In plaats van willekeurige steekproeven, gebruikt de methode de Facility Location-doelstelling om samples te selecteren die gezamenlijk de maximale afstand tot elk ID-punt in de 2D-featurespace minimaliseren. Dit zorgt ervoor dat het referentiestel de kernstructuur van de ID-verdeling getrouw weergeeft, in plaats van rand-uitschieters te selecteren.
• Theoretische rechtvaardiging: Door de featurespace te reduceren van hoge-dimensionale pixelruimte ($d \approx 3072$) naar 2D-energeruimte, daalt de steekproefcomplexiteit die nodig is om de verdeling te karakteriseren van $O(1/\epsilon^d)$ naar $O(1/\epsilon^2)$, wat effectieve detectie met ~100 samples mogelijk maakt.

4. OOD-scoren via Optimaal Transport

De OOD-score wordt berekend als de entropie-geregulariseerde Wasserstein-1-afstand van de feature van een test-sample tot het referentiestel. Dit wordt geïmplementeerd als een soft-minimum-afstand:
$$s_T(f) = -T \log \sum_{i=1}^m \exp\left(-\frac{\|f - f_i\|^2}{T}\right)$$
waarbij $T$ een temperatuurparameter is ( ingesteld op 0,5). Deze aanpak biedt robuustheid tegen ruis in het referentiestel door massa te verspreiden over meerdere buren in plaats van te vertrouwen op een enkele naaste buur. Tot slot wordt Z-score-calibratie toegepast om scores over verschillende domeinen te normaliseren, waardoor een uniforme beslissingsdrempel mogelijk is.

Belangrijkste Bijdragen

1. Informatie-geometrisch raamwerk: Het artikel legt een theoretische verbinding tussen diffusie-gebaseerde OOD-detectie en informatie-geometrie. Het definieert Pad- en Dynamische Energie als een discrete Sobolev-norm en bewijst via de Cramér-Rao-grens dat tweede-orde statistieken optimaal zijn voor few-shot detectie.
2. Trainingsvrije cross-domein detectie: UFCOD toont aan dat een enkel vooringesteld diffusiemodel kan dienen als universele feature-extractor voor OOD-detectie over semantisch niet-gerelateerde domeinen (bijvoorbeeld gezichten, cijfers, texturen) zonder hertraining of fine-tuning.
3. Steekproefefficiëntie: De methode bereikt hoge prestaties met slechts ~100 ID-samples per taak. Theoretische analyse toont aan dat dit de steekproefvereisten met $\sim 500\times$ verlaagt ten opzichte van methoden met volledige data.

Experimentele Resultaten

De auteurs hebben UFCOD geëvalueerd op 12 ID-OOD-benchmarkparen met inbegrip van CIFAR-10, SVHN, CelebA, CIFAR-100 en Textures.

• Prestaties: Met slechts 80–150 ID-samples bereikte UFCOD een gemiddelde AUROC van 93,7%. Deze prestatie is concurrerend met, en vaak superieur aan, state-of-the-art baselines (bijvoorbeeld IGEBM, VAEBM, DiffPath) die zijn getraind op 50k–163k samples.
• Cross-domein generalisatie: Een model dat uitsluitend is getraind op CelebA detecteerde succesvol OOD-samples in CIFAR-10 en SVHN met hoge nauwkeurigheid, terwijl baselines die op één domein waren getraind significant faalden wanneer ze op een ander werden toegepast (bijvoorbeeld een prestatiedaling van 91,5% voor de DoS-baseline in bepaalde cross-domein settings).
• Ablatiestudies:
  • Feature-selectie: Tweede-orde energie-features (2D) presteerden beter dan 6D-featuresets en eerste/drie-orde momenten.
  • Coreset-selectie: Facility Location-selectie presteerde beter dan willekeurige steekproeven en K-Center Greedy, wat bevestigt dat representativiteit kritischer is dan diversiteit in het few-shot-regime.
  • Scoren: Soft-gewogen proximaliteitsscoren met $T=0,5$ presteerde beter dan ongewogen en dichtheidsgebaseerde scoremethoden.

Betekenis en Claims

Het artikel stelt dat de beperking van huidige OOD-detectie ligt in de afhankelijkheid van het modelleren van domeinspecifieke dichtheidsstatistieken. Door de focus te verschuiven naar de geometrische eigenschappen van diffusietrajecten (specifiek de betrouwbaarheid en gladheid van de scorefunctie), tonen de auteurs aan dat OOD-detectie kan worden losgekoppeld van domeinspecifieke training.

De betekenis van dit werk is drieledig:

1. Praktische implementatie: Het maakt OOD-detectie mogelijk in scenario's waar het verzamelen van grote ID-datasets niet haalbaar is, waarbij slechts een klein aantal samples nodig is voor kalibratie.
2. Theoretisch inzicht: Het biedt een principiële verklaring voor waarom diffusiemodellen goed generaliseren over domeinen voor anomaliedetectie, en schrijft dit toe aan de geometrische structuur van de scorefunctie in plaats van dichtheidsschatting.
3. Efficiëntie: Het bereikt een verbetering van $\sim 500\times$ in steekproefefficiëntie, waardoor hoogpresterende OOD-detectie toegankelijk wordt voor omgevingen met beperkte middelen of snel veranderende implementaties.

De auteurs erkennen beperkingen, waarbij ze opmerken dat de methode moeite heeft met near-OOD-detectie (bijvoorbeeld CIFAR-10 versus CIFAR-100) waar semantische onderscheidingen subtiel zijn, aangezien de energie-features grove distributieverschillen vastleggen in plaats van fijnmazige categoriegrenzen.