When Confidence Lacks Concepts: Interpretable OOD Detection via Representation Perturbations

Sintesi Tecnica: Quando la Confidenza Manca di Concetti: Rilevamento OOD Interpretabile tramite Perturbazioni della Rappresentazione

Definizione del Problema
Le reti neurali profonde, in particolare nell'imaging medico, mostrano una tendenza alla sovrageneralizzazione quando si trovano di fronte a spostamenti distribuzionali (ad esempio, variazioni nei protocolli di imaging, demografia dei pazienti o nuove malattie). Sebbene esistano metodi di rilevamento Out-of-Distribution (OOD) per mitigare i rischi di predizioni inaffidabili, la maggior parte di essi si basa su segnali interni opachi (come probabilità softmax, punteggi di energia o distanze di feature) con un significato semantico scarsamente compreso. Questa mancanza di interpretabilità limita la fiducia in contesti clinici critici per la sicurezza, dove comprendere perché un campione sia segnalato come anomalo è importante quanto il rilevamento stesso. Il documento affronta la necessità di un framework di rilevamento OOD che sia sia discriminativo che interpretabile, collegando le decisioni di rilevamento a concetti specifici e clinicamente significativi.

Metodologia: Class-conditioned Activation Perturbations (CAPS)
Il framework proposto, CAPS, opera sondando la stabilità delle predizioni del modello sotto perturbazioni semantiche condizionate dalla classe all'interno dello spazio di rappresentazione. La metodologia procede in tre fasi:

1. Addestramento di uno Sparse Autoencoder (SAE):
   Gli autori impiegano Sparse Autoencoder per decomporre le attivazioni intermedie dense (specificamente il token [CLS] di un Vision Transformer) in componenti sparse e semanticamente significative. Lo SAE apprende una rappresentazione latente sparsa $s(h)$ e un decoder $D$ tali che l'attivazione originale $h$ sia approssimata da una combinazione lineare di colonne del decoder (feature). L'obiettivo di addestramento bilancia la fedeltà della ricostruzione con la sparsità ($L = \|h - \bar{h}\|^2_2 + \gamma\|s(h)\|_1$).

2. Estrazione di Concetti Specifici per Classe:
   Per ogni classe $c$, gli autori identificano un sottoinsieme di latenti SAE che sono caratteristicamente attivi calcolando l'attivazione latente media sui campioni di addestramento in-distribuzione (ID). Le top-$k$ dimensioni latenti con la più alta attivazione media vengono selezionate per formare un dizionario di concetti specifico per classe $K_c$. Queste colonne del decoder rappresentano le direzioni lineari che codificano le feature definenti la classe.

3. Perturbazione e Analisi della Stabilità:
   In fase di inferenza, per un input di test $\bar{x}$, il modello predice prima una classe $\hat{y}$. Il corrispondente vettore di concetto $v_{\hat{y}}$ viene costruito aggregando e normalizzando i vettori di concetto selezionati per $\hat{y}$. Questo vettore viene poi iniettato nell'attivazione intermedia del modello al livello $l$ tramite una perturbazione controllata: $\tilde{h}_l = h_l + \beta v_{\hat{y}}$, dove $\beta$ controlla l'intensità della perturbazione.

   L'ipotesi centrale è che i campioni ID, che si allineano con le direzioni semantiche specifiche della classe, esibiranno una bassa sensibilità a queste perturbazioni (risultando in piccoli cambiamenti nei logit della classe). Al contrario, i campioni OOD, che mancano di allineamento con queste direzioni apprese, mostreranno deviazioni amplificate nei logit. Il punteggio di rilevamento OOD è definito come l'entità dello shift dei logit $\Delta \ell_c$. I campioni che superano una soglia $\tau$ (calibrata su un set ID tenuto da parte) sono classificati come OOD.

Contributi Chiave

1. Framework Innovativo: La proposta di CAPS, un metodo di rilevamento OOD che sfrutta perturbazioni a livello di concetto nello spazio di rappresentazione piuttosto che opachi punteggi di output.
2. Valutazione Cross-Domain: Valutazione estensiva attraverso tre distinte modalità di imaging medico: endoscopia (Kvasir-v2), istopatologia (NCT-CRC-HE-100K/CRC-VAL-HE-7K) e imaging oftalmico (Retinal OCT).
3. Interpretabilità Clinica: Dimostrazione che le feature SAE estratte corrispondono a pattern visivi clinicamente significativi (ad esempio, punti di riferimento anatomici come l'apertura pilorica o caratteristiche fisiologiche come la colorazione della bile), validate attraverso una revisione cieca di esperti clinici.

Risultati
Il metodo è stato valutato rispetto a baseline allo stato dell'arte (inclusi Energy, MSP, Mahalanobis, ViM e NERO) utilizzando le metriche AUROC e FPR95:

• Istopatologia: CAPS ha ottenuto le migliori prestazioni con il 95,28% di AUROC e il 23,17% di FPR95.
• OCT: CAPS ha ottenuto il 93,67% di AUROC e il 24,80% di FPR95, superando tutte le baseline.
• Kvasir-v2 (Endoscopia): Il metodo ha ottenuto il 79,58% di AUROC. Gli autori attribuiscono questa prestazione moderata a una dimensione del dataset ridotta (2.400 campioni), che limita la capacità dello SAE di apprendere direzioni altamente discriminanti e specifiche per classe rispetto ai dataset più grandi di istopatologia e OCT (>50k campioni).
• Robustezza: L'analisi di sensibilità ha mostrato che il metodo è stabile attraverso un ampio intervallo di iperparametri ($k$ e $\beta$) per dataset con dati sufficienti, sebbene sia stata osservata instabilità nel regime a bassi dati di Kvasir-v2.

Significatività e Rivendicazioni
Il documento sostiene che CAPS fornisce un "segnale OOD discriminativo e una lente interpretabile nei meccanismi interni che guidano l'incertezza del modello". Inquadrando il rilevamento OOD come un'analisi di stabilità condizionata al concetto, l'approccio colma il divario tra prestazioni elevate di rilevamento e fiducia clinica. Gli autori dimostrano che i campioni OOD sono rilevati non semplicemente perché sono "diversi", ma perché mancano delle specifiche feature semantiche, verificate da esperti, che guidano le predizioni sicure per le classi in-distribuzione.

Gli autori mantengono un tono modesto riguardo ai limiti, riconoscendo che in regimi con pochi dati, la difficoltà di catturare direzioni semanticamente coerenti può influenzare l'affidabilità. Essi postulano che, sebbene il pre-addestramento a livello di modalità aiuti, lo sviluppo di strategie di addestramento SAE più robuste per gli ambienti sanitari con vincoli di dati rimane una direzione necessaria per il lavoro futuro. Il lavoro è presentato come un passo verso l'unificazione dell'interpretabilità a livello di rappresentazione con la valutazione dell'affidabilità nelle reti neurali profonde.