MaRS: Robust Out-of-Distribution Detection via Mahalanobis Residual Scoring

Sintesi Tecnica: MaRS – Rilevamento Robusto di Out-of-Distribution tramite Mahalanobis Residual Scoring

Problematica
I modelli di fondazione forniscono rappresentazioni altamente descrittive per le immagini mediche, tuttavia la loro affidabilità degrada sotto i cambiamenti di distribuzione causati da variazioni nelle popolazioni di pazienti, nei dispositivi di imaging o nelle condizioni di acquisizione. Sebbene il rilevamento di Out-of-Distribution (OOD) sia essenziale per un impiego clinico sicuro, i metodi esistenti affrontano limitazioni specifiche. I metodi basati sulla confidenza soffrono spesso di fragilità dovute allo sbilanciamento delle classi e alla scarsa calibrazione. I metodi basati sulla distanza (es. Deep kNN, Mahalanobis) possono degradare in embedding ad alta dimensionalità dove le distanze tra i vicini più prossimi diventano meno informative e le stime di covarianza sono difficili da regolarizzare. I metodi basati sulla ricostruzione, che apprendono un manifold in-distribution (ID) e segnalano i campioni con elevati errori di ricostruzione, hanno visto un'adozione limitata. Gli autori sostengono che questa inconsistenza non derivi da una scarsa qualità della ricostruzione, bensì da come vengono punteggiati gli errori di ricostruzione. Gli approcci standard utilizzano norme $L_2$ uniformi, che collassano la struttura anisotropa dei residui, sopprimendo deviazioni informative che si verificano nelle direzioni a bassa varianza.

Metodologia: MaRS
Gli autori introducono MaRS (Mahalanobis Residual Scoring), un rilevatore OOD label-free e completamente post-hoc progettato per operare su feature di un backbone congelato. Il metodo consiste in tre componenti primarie:

1. Proiezione del Manifold tramite Autoencoder: Dato un backbone congelato $\Phi$ che produce feature $z$, un autoencoder leggero $(E, D)$ viene addestrato sulle feature ID per minimizzare la perdita di ricostruzione $\|z - \hat{z}\|_2^2$. Geometricamente, questo implementa una proiezione $\Pi_{M_{ID}}(z)$ sul manifold ID. Il residuo di ricostruzione è definito come $r(x) = z - \hat{z}$.
2. Analisi dello Spazio dei Residui: Gli autori osservano che, mentre i residui ID sono piccoli e riflettono imperfezioni della ricostruzione, i residui OOD contengono componenti sistematiche che riflettono la deviazione dal manifold appreso. Fondamentalmente, la distribuzione di questi residui è altamente anisotropa.
3. Mahalanobis Scoring: Invece di una norma $L_2$ uniforme, MaRS calcola il punteggio OOD utilizzando la distanza di Mahalanobis nello spazio dei residui:
   $$S_{MaRS}(x) = r(x)^\top \Sigma^{-1} r(x)$$
   dove $\Sigma$ è la matrice di covarianza dei residui ID. Attraverso la decomposizione in autovalori $\Sigma = U\Lambda U^\top$, il punteggio è espresso come una somma pesata dei quadrati delle proiezioni sulle componenti principali:
   $$S_{MaRS}(x) = \sum_{i=1}^{D} \frac{(u_i^\top r(x))^2}{\lambda_i}$$
   Questa formulazione amplifica le deviazioni lungo le direzioni a bassa varianza (stabili) (dove $\lambda_i$ è piccolo) e riduce il peso nelle direzioni ad alta varianza (dove $\lambda_i$ è grande). A differenza dei metodi Mahalanobis nello spazio degli embedding che si basano su medie condizionali per classe, MaRS è label-free e si affida a una singola covarianza globale dei residui, isolando efficacemente la variazione semantica di classe per isolare il drift distributivo.

Contributi Chiave

• Framework MaRS: Un rilevatore OOD plug-and-play, label-free, che applica la distanza di Mahalanobis ai residui di ricostruzione di un autoencoder. Opera direttamente sulle feature di un backbone congelato, garantendo efficienza computazionale e adattabilità tra diverse modalità senza richiedere il fine-tuning del backbone.
• Identificazione dell'Anisotropia dei Residui: Il paper identifica l'anisotropia dei residui come un segnale critico, precedentemente trascurato, per il rilevamento OOD. Dimostra che lo scoring di Mahalanobis consapevole della varianza nello spazio dei residui supera sostanzialmente l'aggregazione $L_2$ uniforme.
• Robustezza all'Architettura e alla Scala: Gli autori mostrano che MaRS rimane robusto attraverso diverse architetture di backbone (ViT supervisionato e DINOv3 auto-supervisionato) e scale di modello (Small e Base). Inoltre, il metodo beneficia dell'operatività su feature di pre-normalizzazione, dove la struttura intrinseca della varianza anisotropa è preservata, a differenza dei baseline nello spazio latente che richiedono la normalizzazione.

Risultati Sperimentali
Esperimenti estesi sono stati condotti su tre modalità di imaging (istopatologia, radiografia del torace, dermatoscopia), molteplici tipi di shift di distribuzione (covariata, near-OOD, far-OOD, semantica) e diverse famiglie di modelli.

• Performance: MaRS ha superato costantemente gli stabiliti baseline basati sulla confidenza (MSP, ODIN, ViM), sulla distanza (Deep kNN, OCSVM, Mahalanobis++) e sulla ricostruzione (Residual, AE).
• Significatività Statistica: MaRS ha superato significativamente Mahalanobis++ (il più forte baseline nello spazio latente) in termini di AUROC e FPR@95 attraverso 3 run e 5 split di dataset (test Wilcoxon signed-rank appaiato, $p < 0.05$).
• Risultati dell'Ablazione: L'analisi spettrale della covarianza dei residui ha rivelato che oltre il 90% della varianza è concentrata in meno di un terzo delle componenti principali. Le deviazioni OOD sono state trovate concentrate nelle restanti direzioni a bassa varianza. Il rapporto tra l'energia del residuo OOD e ID era 1.64$\times$ maggiore nel sottospazio a bassa varianza, confermando che lo scoring di Mahalanobis isola efficacemente questi segnali informativi.
• Sensibilità alla Normalizzazione: Mentre la normalizzazione migliora le performance per i baseline standard nello spazio latente, essa degrada MaRS appiattendo lo spettro della varianza e sopprimendo le direzioni a bassa varianza dove i segnali OOD sono più pronunciati.

Significatività
Il paper sostiene che un limite centrale degli esistenti rilevatori OOD basati sulla ricostruzione sia l'assunzione implicita di errori di ricostruzione isotropi. Sostituendo l'aggregazione $L_2$ uniforme con lo scoring di Mahalanobis consapevole della covarianza, MaRS affronta questa limitazione. Gli autori affermano che questo approccio fornisce un principio semplice ma potente per il rilevamento post-hoc di OOD su rappresentazioni congelate, offrendo una soluzione robusta e label-free che generalizza bene attraverso le modalità di imaging medico e le scale dei modelli senza dipendere da etichette di classe o assunzioni di sottospazio predefinite. Il lavoro suggerisce che i futuri miglioramenti nel rilevamento OOD medico potrebbero dipendere da una migliore modellazione dell'anisotropia dello spazio dei residui piuttosto che esclusivamente dal miglioramento della qualità della ricostruzione o delle rappresentazioni del backbone.