MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

Riepilogo Tecnico: MahaVar: Rilevamento OOD tramite Varianza della Distanza di Mahalanobis per Classe sotto Collasso Neurale

Enunciato del Problema
L'implementazione di reti neurali profonde in ambienti reali presenta una sfida critica: i modelli addestrati sotto un'ipotesi di mondo chiuso incontrano spesso campioni di test che ricadono al di fuori della loro distribuzione di addestramento (Out-of-Distribution o OOD). Questi campioni possono portare a previsioni eccessivamente confidenti e potenzialmente catastrofiche. Sebbene il rilevamento Out-of-Distribution (OOD) sia essenziale per domini critici per la sicurezza come la guida autonoma e l'imaging medico, i metodi post-hoc esistenti (che non richiedono riaddestramento o accesso a dati OOD) spesso si basano su segnali limitati. Nello specifico, i rilevatori basati sulla distanza di Mahalanobis, un punto di riferimento solido, si concentrano tipicamente esclusivamente sulla distanza minima verso la distribuzione gaussiana condizionata alla classe più vicina, potenzialmente ignorando la geometria strutturale delle distanze attraverso tutte le classi.

Metodologia: MahaVar
Gli autori propongono MahaVar, un rilevatore OOD post-hoc semplice ma efficace che integra la distanza di Mahalanobis standard con un termine di varianza della distanza per classe. Il metodo si fonda sulla seguente logica:

1. Osservazione Empirica: Gli autori osservano che per i campioni In-Distribution (ID), le distanze di Mahalanobis per classe ordinate mostrano una "struttura di minimo netto pronunciata". La distanza verso la classe più vicina è significativamente inferiore alle distanze verso tutte le altre classi, che rimangono elevate e relativamente uniformi. Al contrario, i campioni OOD mostrano un minimo meno pronunciato, con distanze verso tutte le classi comparativamente elevate e meno variabili. Questa asimmetria strutturale implica che i campioni ID presentano una varianza più elevata nelle distanze per classe rispetto ai campioni OOD.
2. Fondamento Teorico (Collasso Neurale): Il lavoro fornisce un'analisi teorica basata sul Collasso Neurale, un fenomeno geometrico in cui le caratteristiche penultime di ciascuna classe collassano verso la loro media di classe, e le medie di classe si dispongono in una Cornice Stretta Equiangolare Simplex (ETF). Sotto ipotesi rilassate di Collasso Neurale (nello specifico compattezza intra-classe e separazione inter-classe), gli autori dimostrano che i campioni ID mostrano strutturalmente una varianza della distanza per classe strettamente superiore rispetto ai campioni OOD. Il Teorema 4.3 e il Corollario 4.4 stabiliscono condizioni sufficienti sotto le quali questa separazione di varianza è garantita, in particolare quando i campioni OOD mantengono una separazione angolare sufficiente dalle medie di classe o non giacciono all'interno del sottospazio generato dalle medie di classe.
3. Funzione di Punteggio: Il punteggio OOD proposto $S(x)$ combina la distanza di Mahalanobis minima negativa con la varianza per classe di queste distanze:
   $$S(x) = -\min_{c} d_{Maha,c}(\hat{\phi}(x)) + \alpha \cdot \text{Var}_c[d_{Maha,c}(\hat{\phi}(x))]$$
   Dove $\hat{\phi}(x)$ rappresenta le caratteristiche penultime normalizzate L2, e $\alpha$ è un iperparametro che controlla il peso del termine di varianza.

Contributi Chiave
Il lavoro apporta tre contributi principali:

1. Scoperta Empirica: Identificazione di un'asimmetria strutturale precedentemente non sfruttata: i campioni ID mostrano un minimo netto nelle distanze di Mahalanobis per classe (alta varianza), mentre i campioni OOD mostrano una distribuzione più piatta (bassa varianza).
2. Giustificazione Teorica: Un'analisi rigorosa che collega questa osservazione alla geometria del Collasso Neurale, dimostrando che, sotto specifiche condizioni geometriche, i campioni ID dominano strettamente i campioni OOD in termini di varianza della distanza per classe.
3. Proposta Algoritmica: L'introduzione di MahaVar, un rilevatore post-hoc che integra questo termine di varianza nel framework Mahalanobis++.

Risultati Sperimentali
Gli autori hanno valutato MahaVar seguendo il protocollo di benchmark OpenOOD v1.5 su tre impostazioni In-Distribution (ID): CIFAR-10, CIFAR-100 e ImageNet, utilizzando sia impostazioni di valutazione Near-OOD che Far-OOD.

• Prestazioni: MahaVar raggiunge prestazioni State-of-the-Art (SOTA) su CIFAR-100 e ImageNet tra tutti i metodi valutati.
• Confronto con i Baseline: Supera costantemente tutti i baseline basati su Mahalanobis (inclusi Mahalanobis e Mahalanobis++) su tutti e tre i benchmark in termini di AUROC e FPR@95.
• Robustezza: Sul benchmark su larga scala ImageNet, mediato su tre architetture backbone (ResNet-50, Swin-B e ViT-B), MahaVar ottiene la migliore AUROC media e FPR@95. Notevolmente, mentre altri metodi di modellazione dell'attivazione (come ASH-S e SCALE) degradano significativamente su backbone basati su Transformer (Swin-B, ViT-B), MahaVar mantiene prestazioni stabili e superiori.
• Studi di Ablazione: Gli esperimenti confermano che il termine di varianza fornisce informazioni complementari significative anche senza normalizzazione L2, sebbene la combinazione di normalizzazione L2 e varianza produca i migliori risultati. Il metodo è inoltre robusto alla scelta della metrica di distanza (L1, L2, Mahalanobis), con Mahalanobis che performa meglio grazie alla sua gestione della struttura di covarianza.

Significato e Affermazioni
Il lavoro afferma che l'intera struttura della distanza per classe contiene informazioni discriminative più ricche rispetto alla sola distanza dalla classe più vicina. Sfruttando le proprietà geometriche del Collasso Neurale, MahaVar offre un metodo teoricamente fondato e empiricamente robusto per il rilevamento OOD. Gli autori sottolineano che questo approccio è particolarmente prezioso per l'implementazione nel mondo reale, dove il riaddestramento dei modelli è impraticabile.

Tuttavia, gli autori mantengono un tono modesto riguardo alle limitazioni:

• Su CIFAR-10, i metodi basati su KNN raggiungono ancora un AUROC leggermente superiore, suggerendo che gli approcci non parametrici possano essere superiori in contesti con basso numero di classi.
• Il quadro teorico si basa su ipotesi di Collasso Neurale, che assumono reti ben addestrate vicino alla fase terminale dell'addestramento. Gli autori notano che il rilassamento di queste ipotesi per coprire geometrie delle caratteristiche più generali è una direzione per lavori futuri.
• L'implementazione pratica omette il passaggio di centraggio della media globale utilizzato nelle dimostrazioni teoriche, poiché il centraggio è risultato degradare le prestazioni su ResNet-50 a causa della geometria delle caratteristiche non negative indotta dalle attivazioni ReLU.