DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation

1. Problemstellung

Das sichere Bereitstellen von Machine-Learning-Modellen in der realen Welt hängt entscheidend von der Fähigkeit ab, Out-of-Distribution (OOD)-Eingaben zu erkennen. OOD-Daten stammen aus unbekannten Kontexten oder Klassen, die nicht im Trainingsdatensatz enthalten sind. Ein robustes Modell sollte bei solchen Eingaben Unsicherheit signalisieren, anstatt eine falsche, aber selbstbewusste Vorhersage zu treffen.

Die meisten bestehenden Post-Hoc-Detektionsmethoden (Methoden, die nach dem Training angewendet werden) arbeiten auf Merkmalsvektoren, die durch Global Average Pooling (GAP) aus den Aktivierungskarten der vorletzten Schicht abgeleitet werden. Das Paper identifiziert GAP als einen kritischen Engpass:

• Informationsverlust: GAP fasst die räumlichen Aktivierungskarten jedes Kanals auf einen einzigen Skalarwert (den Mittelwert) zusammen.
• Verlust diskriminativer Statistiken: Dabei gehen wertvolle Verteilungsstatistiken verloren, insbesondere die Varianz (Streuung der Aktivierungen) und die dominanten Aktivierungen (Maximalwerte).
• Fehlende Trennschärfe: Die Autoren argumentieren, dass diese vernachlässigten Statistiken starke Signale zur Unterscheidung zwischen In-Distribution (ID) und OOD-Daten liefern, die durch die reine Mittelwertbildung unterdrückt werden.

2. Methodik: DAVIS

Die Autoren stellen DAVIS (Dominant Activations and Variance for Increased Separation) vor, eine einfache, post-hoc Plug-and-Play-Technik, die den Informationsverlust von GAP kompensiert, indem sie reiche Statistiken aus den Aktivierungskarten vor dem Pooling extrahiert.

Kernidee:
Statt nur den Mittelwert ($\mu$) zu verwenden, berechnet DAVIS für jeden Kanal der Aktivierungskarte:

1. Den Mittelwert ($\mu$).
2. Die Standardabweichung ($\sigma$).
3. Das Maximum (dominante Aktivierung, $m$).

Formulierung:
DAVIS bietet zwei Varianten zur Anreicherung des Merkmalsvektors $h(x)$:

• DAVIS($\mu, \sigma$): Erweitert den Mittelwert um die skalierte Standardabweichung:
  $$h^{\text{DAVIS}(\mu, \sigma)}(x) = \mu(x) + \gamma \cdot \sigma(x)$$
  (Hierbei ist $\gamma$ ein Hyperparameter).
• DAVIS($m$): Ersetzt den Mittelwertvektor vollständig durch den Vektor der dominanten Aktivierungen:
  $$h^{\text{DAVIS}(m)}(x) = m(x)$$

Integration:
DAVIS ist modellagnostisch und kann nahtlos mit bestehenden Scoring-Funktionen kombiniert werden, die auf der vorletzten Schicht basieren, einschließlich:

• Logit-basierte Methoden (z. B. MSP, ODIN).
• Energie-basierte Methoden (Energy Score).
• Gradienten-basierte Methoden (GradNorm).
• Distanz-basierte Methoden (kNN).

Durch den Ersatz des konventionellen GAP-Merkmals durch den angereicherten Vektor $h^{\text{DAVIS}}(x)$ wird die Trennschärfe zwischen ID- und OOD-Scores erhöht, ohne dass ein Nachtraining des Modells erforderlich ist.

3. Theoretische Analyse und Begründung

Das Paper liefert eine statistische Analyse, die zeigt, warum DAVIS funktioniert:

• Beobachtung 1: Bei gut trainierten Modellen weisen ID-Proben konsistent höhere Werte für Mittelwert, Maximum und Standardabweichung auf als OOD-Proben.
• Trennungsabstand ($\Delta$): Die Kombination aus Mittelwert und Standardabweichung ($\Delta_{\mu, \sigma}$) erzeugt einen größeren Trennungsabstand zwischen ID- und OOD-Erwartungswerten als der Mittelwert allein ($\Delta_{\mu}$).
• Dominante Aktivierungen: Das Maximum ($m$) liefert oft einen noch stärkeren Trennungsabstand als der Mittelwert, da ID-Proben dazu neigen, hohe, fokussierte Aktivierungen zu erzeugen, während OOD-Proben schwächere, gleichmäßigere Aktivierungen aufweisen.
• Logit-Effekt: Da die Logits eine lineare Transformation der Merkmale sind, führt die erhöhte Trennung im Merkmalsraum direkt zu einer besseren Trennung im Logit-Raum und damit zu robusteren OOD-Scores.

4. Wichtige Beiträge

1. Identifikation einer Schwäche: Die Arbeit hebt den Informationsverlust durch Global Average Pooling als eine bisher übersehene Schwäche in der OOD-Detektion hervor.
2. Einführung von DAVIS: Entwicklung einer einfachen, aber effektiven Methode, die diskriminative Statistiken (Varianz und Maximum) nutzt, um die Merkmalsrepräsentation zu bereichern.
3. Umfassende Evaluation: Evaluation auf einer Vielzahl von Architekturen (ResNet, DenseNet, EfficientNet, Swin Transformer, ConvNeXt) und Datensätzen (CIFAR, ImageNet).
4. Robustheit bei modernen Architekturen: DAVIS zeigt besondere Stärke bei modernen Architekturen (wie Swin-B und ConvNeXt-B), bei denen viele bestehende Baselines versagen, oft aufgrund von Unterschieden in Normalisierungsschichten (Layer Norm vs. Batch Norm) und Aktivierungsfunktionen (GeLU/SiLU vs. ReLU).

5. Ergebnisse

Die empirischen Evaluationen zeigen signifikante Verbesserungen gegenüber dem State-of-the-Art:

• ImageNet-Benchmarks:
  • Auf ResNet-50 reduzierte DAVIS die False Positive Rate bei 95% Recall (FPR95) um 7,96 % im Vergleich zur besten vorherigen Methode.
  • Auf ConvNeXt-B wurde eine Reduktion von 16,53 % erreicht.
  • Auf Swin-B (einem Transformer-basierten Modell) wurde die FPR95 um 25,09 % gesenkt.
• CIFAR-Benchmarks:
  • Auf CIFAR-10 reduzierte DAVIS die FPR95 im Durchschnitt um 28,03 % gegenüber CADRef.
  • Auf CIFAR-100 wurde eine Reduktion von 9,87 % gegenüber ASH-S erzielt.
• Near-OOD-Detektion:
  • DAVIS zeigt auch bei semantisch ähnlichen OOD-Daten (Near-OOD) robuste Ergebnisse, z. B. eine Reduktion der FPR95 um 25,52 % auf Swin-B im Vergleich zu ReAct.
• Aktivierungsfunktionen: Die Methode bleibt auch bei Verwendung nicht-sparse Aktivierungsfunktionen (SiLU, GeLU, Tanh) effektiv, wo herkömmliche Methoden oft versagen.

6. Bedeutung und Fazit

DAVIS stellt einen Paradigmenwechsel dar, weg von der reinen Nutzung von Mittelwerten (GAP) hin zur Nutzung vollständigerer Verteilungsstatistiken.

• Effizienz: Als Post-Hoc-Methode verursacht DAVIS einen vernachlässigbaren rechnerischen Aufwand (< 0,1 % zusätzliche GFLOPs) und beeinträchtigt die Genauigkeit der In-Distribution-Klassifikation nicht, da die Originalmerkmale für die finale Klassifikation beibehalten werden können.
• Generalisierung: Die Methode ist nicht auf spezifische Architekturen beschränkt und funktioniert sowohl bei traditionellen CNNs als auch bei modernen Vision Transformern.
• Zukunftsausblick: Die Arbeit legt den Grundstein für die Nutzung reicherer statistischer Merkmale in der OOD-Detektion und schlägt vor, diese Prinzipien auch auf Token-basierte Transformer-Architekturen (ohne räumliches Pooling) zu übertragen.

Zusammenfassend beweist DAVIS, dass die Wiedergewinnung von durch GAP verlorenen Informationen (insbesondere Varianz und Maximum) eine der effektivsten und einfachsten Möglichkeiten ist, die Zuverlässigkeit von ML-Modellen in unsicheren Umgebungen zu erhöhen.