DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation

1. Het Probleem: Informatieverlies door Global Average Pooling (GAP)

Het detecteren van Out-of-Distribution (OOD) invoer is cruciaal voor de veilige implementatie van ML-modellen in de echte wereld. Bestaande post-hoc detectiemethoden (methoden die werken op reeds getrainde modellen zonder hertraining) hebben een fundamentele beperking: ze opereren bijna uitsluitend op de feature-vectoren die worden gegenereerd door Global Average Pooling (GAP).

• De beperking van GAP: GAP reduceert de ruimtelijke activatiekaarten van elke kanaal naar één enkele scalar (het gemiddelde). Hoewel dit effectief is voor classificatie (omdat het ruimtelijke invariantie creëert), is het een "verliesgevende" (lossy) operatie voor OOD-detectie.
• Verloren signalen: Bij het middelen worden waardevolle statistieken over de verdeling van de activaties weggegooid, zoals de piekintensiteit (dominante activatie) en de variantie (spreiding).
• Observatie: De auteurs stellen dat deze verwaarloosde statistieken juist zeer discriminatief zijn voor het onderscheiden van in-distribution (ID) en OOD data. OOD-data produceert vaak zwakkere, meer uniforme activaties, terwijl ID-data sterke, geconcentreerde pieken vertoont.

2. Methodologie: DAVIS

De auteurs introduceren DAVIS (Dominant Activations and Variance for Increased Separation), een eenvoudige, post-hoc "plug-and-play" module die de feature-representatie verrijkt voordat deze wordt gebruikt voor scoring.

Kernmechanisme:
In plaats van alleen het gemiddelde ($\mu$) te gebruiken, extraheren DAVIS rijkere statistieken uit de activatiekaarten voordat deze worden gepooled:

1. Dominante Activatie ($m$): Het maximum van de activaties per kanaal.
2. Variantie/Standafwijking ($\sigma$): De spreiding van de activaties per kanaal.

Twee formuleringen van de DAVIS feature-vector ($h_{DAVIS}$):

1. DAVIS($\mu, \sigma$): Het gemiddelde wordt aangevuld met de geschaalde standaardafwijking.
   $$h^{\text{DAVIS}(\mu, \sigma)}(\mathbf{x}) = \mu(\mathbf{x}) + \gamma \sigma(\mathbf{x})$$
   Hierbij is $\gamma$ een hyperparameter die de weging van de variantie bepaalt.
2. DAVIS($m$): Het vervangen van de feature-vector door de dominante (maximale) activatie per kanaal.
   $$h^{\text{DAVIS}(m)}(\mathbf{x}) = m(\mathbf{x})$$

Integratie:
DAVIS is model-agnostisch en kan naadloos worden geïntegreerd met bestaande downstream scoring-functies, zoals:

• Logit-gebaseerde methoden (MSP, ODIN).
• Energie-gebaseerde methoden (Energy Score).
• Gradiënt-gebaseerde methoden (GradNorm).
• Afstands-gebaseerde methoden (kNN).

De verrijkte feature-vector wordt gebruikt om de logits te berekenen, wat leidt tot een betere scheiding tussen ID en OOD scores zonder dat het model opnieuw getraind hoeft te worden.

3. Belangrijkste Bijdragen

1. Identificatie van een zwak punt: De auteurs identificeren het informatieverlies door GAP als een slechte, maar vaak over het hoofd geziene oorzaak van suboptimale OOD-detectie.
2. Introductie van DAVIS: Een eenvoudige module die pre-pooling statistieken (maxima en variantie) benut om de discriminatiekracht te verhogen.
3. Uitgebreide Evaluatie: DAVIS is getest op diverse architecturen (ResNet, DenseNet, EfficientNet, Swin Transformer, ConvNeXt) en datasets (CIFAR, ImageNet).
4. Statistische Analyse: De paper biedt een theoretische onderbouwing die aantoont dat het combineren van gemiddelde en variantie leidt tot een grotere "separation gap" (scheidingsmarge) tussen ID en OOD verdelingen dan het gemiddelde alleen.

4. Resultaten

DAVIS toont aanzienlijke prestatieverbeteringen, vooral in termen van FPR95 (False Positive Rate bij 95% True Positive Rate; lager is beter).

• ImageNet Benchmark:
  • Op ResNet-50 reduceerde DAVIS de FPR95 met 7,96% ten opzichte van de beste bestaande methode.
  • Op ConvNeXt-B was de verbetering 16,53%.
  • Op Swin-B (een moderne transformer-achtige architectuur) was de verbetering het grootst: 25,09%.
• CIFAR Benchmark:
  • Op CIFAR-10 met DenseNet-101 werd de FPR95 gemiddeld met 28,03% verbeterd ten opzichte van CADRef.
  • Op CIFAR-100 werden significante verbeteringen geboekt, bijvoorbeeld een reductie van 52,08% met ResNet-18.
• Near-OOD Scenarios: DAVIS presteert ook robuust in moeilijke scenario's waar de semantische kloof tussen ID en OOD klein is (bijv. ImageNet-O), met verbeteringen van 12-25% op moderne modellen.
• Robuustheid: DAVIS lost het probleem op waarbij bestaande methoden falen op moderne architecturen (zoals Swin-B en ConvNeXt) die Layer Normalization en niet-RELU activeringsfuncties (GeLU, SiLU) gebruiken. Bestaande methoden die afhankelijk zijn van sparsiteit (zoals ReAct, ASH) presteren slecht op deze modellen, terwijl DAVIS consistent verbetert.

5. Betekenis en Impact

De paper is significant omdat het een fundamentele verschuiving voorstelt in hoe we features voor OOD-detectie benaderen:

• Van "Gemiddelde" naar "Verdeling": Het paper beweert dat we moeten stoppen met het vertrouwen op het gemiddelde (GAP) als de enige bron van informatie. De spreiding en pieken in activaties bevatten cruciale informatie over onzekerheid die door GAP wordt onderdrukt.
• Toekomstbestendigheid: DAVIS is bijzonder effectief op moderne deep learning-modellen (Transformers, ConvNeXt), waar traditionele post-hoc methoden vaak falen. Dit maakt het een essentieel hulpmiddel voor de veilige implementatie van de nieuwste AI-modellen.
• Efficiëntie: De methode voegt verwaarloosbare rekentijd toe (<0,1% overhead) en vereist geen hertraining, wat het direct toepasbaar maakt in productieomgevingen.
• Principiële Onderbouwing: Door te tonen dat dominante activaties en variantie een sterkere scheiding bieden, biedt DAVIS een theoretisch fundament voor het ontwerpen van toekomstige OOD-detectoren die verder kijken dan simple pooling.

Kortom, DAVIS lost een langdurig probleem op (informatieverlies door GAP) met een elegante oplossing die de prestaties van bestaande state-of-the-art methoden aanzienlijk verbetert, met name op de meest geavanceerde neurale netwerken van vandaag.