DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation

1. Il Problema: Rilevamento Out-of-Distribution (OOD) e le Limitazioni del GAP

Il rilevamento di dati Out-of-Distribution (OOD) è fondamentale per garantire la sicurezza dei modelli di Machine Learning in scenari reali (es. guida autonoma, diagnostica medica). Quando un modello incontra dati non presenti nella distribuzione di addestramento, dovrebbe segnalare incertezza invece di fare previsioni confidenti ma errate.

La maggior parte dei metodi di rilevamento post-hoc (che non richiedono ri-addestramento) opera sulle rappresentazioni degli strati penultimi della rete neurale. Tuttavia, questi metodi fanno quasi universalmente affidamento sul Global Average Pooling (GAP) per convertire le mappe di attivazione spaziali in un singolo vettore di caratteristiche.

• Il limite fondamentale: Il GAP è un'operazione "con perdita" (lossy). Sommarizzando ogni canale in un singolo valore medio, il GAP scarta statistiche distribuzionali preziose contenute nelle mappe di attivazione, come l'intensità dei picchi (dominanza) e la varianza.
• L'osservazione chiave: Gli autori notano che le statistiche pre-pooling (prima dell'aggregazione media) contengono segnali discriminatori molto più forti per distinguere i dati ID (In-Distribution) da quelli OOD rispetto alla semplice media.

2. Metodologia: DAVIS

Gli autori propongono DAVIS (Dominant Activations and Variance for Increased Separation), un modulo post-hoc semplice e plug-and-play che arricchisce la rappresentazione delle caratteristiche prima della fase di scoring.

Invece di utilizzare solo il vettore di caratteristiche ottenuto dal GAP ($\mu(x)$), DAVIS estrae statistiche aggiuntive dalle mappe di attivazione spaziali $g(x)$ prima del pooling:

1. Attivazione Dominante ($m(x)$): Il valore massimo (picco) di attivazione per ogni canale.
2. Varianza/Deviazione Standard ($\sigma(x)$): La dispersione delle attivazioni per ogni canale.

DAVIS propone due formulazioni per il vettore di caratteristiche arricchito $h_{DAVIS}(x)$:

• DAVIS($m$): Sostituisce il vettore medio con il vettore delle attivazioni massime.
  $$h^{(m)}(x) = m(x)$$
• DAVIS($\mu, \sigma$): Arricchisce il vettore medio aggiungendo la deviazione standard scalata da un iperparametro $\gamma$.
  $$h^{(\mu, \sigma)}(x) = \mu(x) + \gamma \sigma(x)$$

Integrazione: Questo vettore arricchito viene poi passato attraverso lo strato fully connected originale (o utilizzato per calcolare distanze) per generare i punteggi OOD. Il metodo è agnostico rispetto al modello e compatibile con diverse funzioni di scoring esistenti (basate su logit, energia, gradiente o distanza KNN).

3. Contributi Chiave

1. Identificazione della perdita di informazione: Gli autori evidenziano che il GAP è una debolezza critica nei metodi OOD post-hoc perché rimuove segnali discriminativi cruciali (picchi e varianza).
2. Proposta di DAVIS: Un metodo semplice che reintegra queste statistiche, migliorando la separabilità tra ID e OOD senza ri-addestrare il modello.
3. Analisi Teorica ed Empirica: Viene fornita una giustificazione statistica che dimostra come l'uso di media e varianza (o massimo) aumenti il "gap di separazione" tra le distribuzioni ID e OOD rispetto all'uso della sola media.
4. Robustezza su Architetture Moderne: Il metodo dimostra particolare efficacia su architetture moderne (Swin Transformer, ConvNeXt, EfficientNet) dove i metodi basici spesso falliscono a causa di differenze nelle funzioni di attivazione (es. GeLU, SiLU) e normalizzazione (LayerNorm vs BatchNorm).

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark standard (CIFAR-10/100, ImageNet-1K) con una vasta gamma di architetture (ResNet, DenseNet, MobileNet, Swin-B, ConvNeXt-B).

• Riduzione del FPR95 (False Positive Rate al 95% di recall ID):
  • Su ImageNet con ResNet-50, DAVIS riduce il FPR95 del 7.96% rispetto al metodo precedente migliore.
  • Su ConvNeXt-B, la riduzione è del 16.53%.
  • Su Swin-B, la riduzione è del 25.09% (un miglioramento significativo su modelli basati su Transformer).
• Scenario Near-OOD: Il metodo mantiene prestazioni robuste anche quando la differenza semantica tra ID e OOD è piccola (es. CIFAR-10 vs CIFAR-100), riducendo il FPR95 fino al 25.52% su Swin-B.
• Compatibilità: DAVIS funziona bene combinato con tecniche esistenti come DICE, SCALE, ASH e KNN, agendo come un potenziatore delle loro capacità.
• Overhead Computazionale: L'aggiunta di queste statistiche ha un costo computazionale trascurabile (< 0.1% di GFLOPs aggiuntivi) e non richiede dati OOD per la validazione degli iperparametri.

5. Significato e Implicazioni

Il lavoro di DAVIS è significativo perché:

• Sfida il paradigma del GAP: Dimostra che per il rilevamento OOD, la media spaziale non è la statistica ottimale e che l'informazione "nascosta" nella distribuzione spaziale delle attivazioni è cruciale.
• Generalizzabilità: Funziona efficacemente sia su CNN tradizionali che su architetture moderne (Transformer e ConvNet di nuova generazione), colmando il divario di prestazioni che i metodi precedenti avevano su questi ultimi.
• Semplicità ed Efficacia: Offre un miglioramento sostanziale delle prestazioni con una modifica minima alla pipeline di inferenza, rendendolo un candidato ideale per la sicurezza dei sistemi ML in produzione.

In sintesi, DAVIS fornisce una base principiale per superare le limitazioni delle rappresentazioni basate sulla media, sfruttando la varianza e le attivazioni dominanti per creare confini decisionali più netti tra dati noti e sconosciuti.