Riepilogo Tecnico: Autoencoder Sparsi per il Rilevamento Interpretabile di Out-of-Distribution

Definizione del Probleamento

I modelli di machine learning, in particolare le reti neurali profonde (DNN), operano sotto l'assunto che i dati in fase di test seguano la stessa distribuzione dei dati di addestramento. Quando questo assunto viene violato (Out-of-Distribution o OOD), i modelli spesso producono previsioni errate e eccessivamente sicure di sé. I metodi esistenti di rilevamento OOD soffrono di due limitazioni primarie:

1. Dipendenza dagli strati finali: La maggior parte dei metodi utilizza solo le rappresentazioni dell'ultimo strato (ad esempio, logit o embedding), trascurando le ricche informazioni gerarchiche presenti negli strati intermedi della rete. Come dimostrato nel paper, le strutture discriminative che distinguono gli input ID da quelli OOD appaiono spesso negli strati precedenti, ma vengono oscurate o compresse nelle rappresentazioni finali.
2. Mancanza di interpretabilità: Anche quando i punteggi di rilevamento sono efficaci, essi offrono solitamente scarse intuizioni sul perché un campione sia OOD o su quali rappresentazioni interne distinguano gli input ID da quelli OOD. Ciò ostacola la diagnosi per capire se gli spostamenti di distribuzione derivino da corruzioni visive di basso livello o da discrepanze semantiche di alto livello.

Metodologia: SAID

Gli autori propongono SAID (Sparse Autoencoders for Interpretable Detection), un framework di rilevamento OOD post-hoc che sfrutta gli Autoencoder Sparsi (SAE) addestrati sulle attivazioni intermedie di un modello di visione pre-addestrato e congelato.

1. Addestramento SAE sugli strati intermedi

SAID addestra SAE separati sulle attivazioni delle caratteristiche intermedie ($a = f_l(x)$) di strati selezionati $l$ in un modello di backbone pre-addestrato e congelato (ad esempio, ViT o ResNet).

• Architettura: Gli autori utilizzano Top-k SAE, che impongono la sparsità azzerando esplicitamente tutte le dimensioni latenti tranne le $k$ più attive. Ciò evita la necessità di una penalità di sparsità L1 nella funzione di perdita.
• Obiettivo: Gli SAE sono addestrati per minimizzare l'Errore Quadratico Medio (MSE) tra l'attivazione di input e l'attivazione ricostruita ($D(E(a)) \approx a$).
• Interpretabilità: Il vincolo di sparsità incoraggia le caratteristiche apprese a essere "monosemantiche", dove ogni caratteristica attiva corrisponde a un concetto distinto e interpretabile dall'uomo.

2. Punteggio OOD basato sulla similarità

In fase di inferenza, SAID confronta la codifica sparsa di un campione di test contro la distribuzione appresa delle classi In-Distribution (ID):

1. Costruzione dei prototipi: Per ogni classe ID $c$ e per ogni strato $l$, viene calcolata e memorizzata la media della codifica latente $\mu_{c,l}$ dal set di addestramento.
2. Codifica: Per un input di test $x$, il classificatore pre-addestrato predice una classe $\hat{c}$. L'SAE per ogni strato $l$ codifica l'attivazione intermedia di $x$ in un vettore sparso $z_l$.
3. Punteggio: Un punteggio OOD specifico per lo strato $s_l(x)$ è calcolato come la similarità del coseno tra $z_l$ e la media della codifica della classe predetta $\mu_{\hat{c},l}$.
4. Aggregazione: Il punteggio OOD finale $S(x)$ è la media delle similarità del coseno attraverso tutti gli strati selezionati.
5. Decisione: I campioni con $S(x) \geq \tau$ sono classificati come ID; altrimenti, sono OOD.

3. Annotazione dei concetti tramite VLM

Per fornire interpretabilità, gli autori utilizzano un Modello di Visione-Linguaggio (VLM, specificamente GPT-5.5) per annotare le caratteristiche latenti dell'SAE.

• Per ogni caratteristica latente, vengono recuperate le 25 immagini ID che la attivano più fortemente.
• Queste immagini vengono passate al VLM con un prompt per descrivere i pattern visivi condivisi, generando un'etichetta di concetto leggibile dall'uomo (ad esempio, "Pelo grigio", "Ali").
• Ciò consente l'analisi del fatto che gli input ID attivino concetti semanticamente coerenti o meno.

Contributi Chiave

1. Nuovo framework di rilevamento: Introduzione di SAID, un metodo post-hoc che utilizza le codifiche SAE degli strati intermedi per migliorare le prestazioni di rilevamento OOD.
2. Dimostrazione dell'utilità degli strati intermedi: Evidenza empirica che mostra come gli strati intermedi contengano informazioni discriminative spesso perse nelle rappresentazioni dell'ultimo strato, portando a un miglioramento del rilevamento sia per gli shift semantici che per quelli covarianti.
3. Interpretabilità e Diagnosi: L'uso delle etichette di concetto derivate da SAE come strumento diagnostico. Gli autori dimostrano che gli input ID attivano concetti semanticamente coerenti con l'immagine, mentre gli input OOD attivano concetti discordanti o incoerenti, fornendo una visione layer-wise degli spostamenti di distribuzione.

Risultati Sperimentali

Il metodo è stato valutato su ImageNet-1K (ID) contro vari dataset OOD (SSB-Hard, NINCO, ImageNet-C, ImageNet-R, ecc.) utilizzando backbone ViT-B/16 e ResNet-50.

• Prestazioni: SAID raggiunge lo stato dell'arte (SOTA) in media su entrambi i benchmark di shift semantico e covariante.
  • Sul backbone ViT, SAID ha ottenuto la migliore AUROC media per entrambi i tipi di shift (ad esempio, 92,4% AUROC sullo shift semantico, 83,5% su quello covariante), superando i baseline come VIM, RMDS e KNN.
  • Su ResNet-50, SAID ha ottenuto la più alta AUROC media, sebbene il margine rispetto ai metodi esistenti fosse minore.
• Impatto degli strati intermedi: Gli studi di ablazione hanno confermato che l'aggiunta di SAE degli strati intermedi migliora costantemente l'AUROC rispetto all'uso del solo ultimo strato. Lo strato più informativo varia a seconda del dataset (ad esempio, strati più precoci per shift di texture/covarianti, strati più tardivi per shift semantici), giustificando la strategia di aggregazione.
• Analisi dei concetti: L'analisi quantitativa ha mostrato che i campioni ID esibiscono un maggiore "accordo concettuale" (frazione di concetti attivati semanticamente coerenti con l'immagine) rispetto ai campioni OOD. Questo divario è particolarmente pronunciato negli strati successivi, suggerendo che gli spostamenti di distribuzione sono altamente visibili nelle rappresentazioni concettuali di alto livello.

Significato e Limitazioni

Significato:
Il paper sostiene che SAID offre un duplice beneficio: migliora l'accuratezza del rilevamento sfruttando le informazioni distribuite nell'intera gerarchia della rete e fornisce un meccanismo per interpretare come gli spostamenti di distribuzione influenzano le rappresentazioni apprese. Passando dai "black box" dei logit a caratteristiche sparse basate su concetti, SAID permette ai professionisti di diagnosticare se un modello sta fallendo a causa di corruzioni di basso livello o di discrepanze semantiche di alto livello.

Limitazioni:
Gli autori riconoscono diverse restrizioni:

• Ambito del dominio: La valutazione è attualmente limitata al dominio della visione.
• Sparsità fissa: L'uso di un vincolo di sparsità fixed-$k$ assume un numero costante di caratteristiche attive per ogni input, il che potrebbe non adattarsi alla complessità variabile di diversi punti dati.
• Costo computazionale: L'addestramento di SAE ad alta capacità per molteplici strati intermedi è dispendioso in termini di risorse, il che potrebbe limitarne l'applicabilità a modelli estremamente grandi o ambienti con risorse limitate.