Riepilogo Tecnico: Fusione Tippett-minima di Modelli di Diffusione nello Spazio delle Rappresentazioni per il Rilevamento Out-of-Distribution Multi-Encoder

Enunciato del Problema

Il rilevamento out-of-distribution (OOD) mira a identificare se un campione di test proviene dallo stesso processo dei dati di addestramento (in-distribution, ID). Sebbene i modelli generativi profondi, in particolare i modelli di diffusione, abbiano mostrato promesse nella stima della densità, il loro funzionamento diretto nello spazio dei pixel è computazionalmente costoso e spesso produce punteggi OOD inaffidabili. Al contrario, i modelli di diffusione nello spazio delle rappresentazioni (RDM), che operano su caratteristiche compresse provenienti da encoder preaddestrati, offrono un'alternativa trattabile. Tuttavia, rimane una sfida fondamentale: diversi encoder preaddestrati (ad es. CLIP, DINOv2, ResNet-50) catturano aspetti distinti della struttura dell'immagine (allineamento globale, semantica fine, texture) e sono pertanto sensibili a diversi tipi di spostamenti di distribuzione (cambiamenti di dominio globali, divergenza semantica, corruzioni di covariate). Nessun singolo encoder domina su tutti i tipi di spostamento. Il problema centrale affrontato è come combinare efficacemente più encoder specializzati per rilevare campioni OOD quando il tipo specifico di spostamento di distribuzione è sconosciuto al momento del test, senza fare affidamento su etichette OOD per la calibrazione.

Metodologia: EncMin2L

Il documento propone EncMin2L, un framework che fonde modelli di diffusione nello spazio delle rappresentazioni per encoder utilizzando un gate minimo a due livelli fondato statisticamente.

1. Diagnostica della Specializzazione dell'Encoder

Prima dell'addestramento, gli autori introducono due diagnostici calcolati interamente dai dati ID per caratterizzare la sensibilità dell'encoder:

• $\eta^2$ (Test F condizionato alla classe): Misura la frazione della varianza del log-verosimiglianza spiegata dall'identità della classe. Un $\eta^2$ elevato indica sensibilità agli spostamenti semantici fini (ad es. CIFAR-100), mentre un $\eta^2$ basso suggerisce sensibilità agli spostamenti di dominio globali (ad es. SVHN).
• $\Delta\mu$ (Spostamento del log-verosimiglianza sotto corruzioni sintetiche): Quantifica la variazione della media del log-verosimiglianza quando le immagini ID sono sottoposte a corruzioni sintetiche (ad es. sfocatura gaussiana, rumore). Un $\Delta\mu$ elevato predice un'alta sensibilità agli spostamenti di covariate (ad es. CIFAR-10C).
• Correlazione tra encoder ($\rho$): Le correlazioni di rango di Spearman tra i log-verosimiglianza degli encoder sono utilizzate per verificare la ridondanza. Una bassa correlazione implica informazioni complementari.

2. Architettura del Gate Minimo a Due Livelli

Il meccanismo di fusione, EncMin2L, opera senza etichette OOD e consiste in due livelli di aggregazione statistica:

• Livello 1 (Gate Minimo Within-Encoder): Per ogni encoder $k$, vengono utilizzate due "forchette": una forchetta normalizzata (normalizzata con punteggio Z) e una forchetta non normalizzata. Ogni forchetta è modellata da una rete di punteggio indipendente basata su un'Equazione Differenziale Stocastica (VP-SDE) a conservazione della varianza. I log-verosimiglianza sono trasformati in valori p tramite la Funzione di Distribuzione Cumulativa (CDF) empirica dei campioni di validazione ID. Un'operazione di minimo ($\min(\cdot)$) tra le due forchette le riduce a un singolo punteggio per encoder.

  • Calibrazione: Poiché il minimo di due variabili uniformi segue una distribuzione Beta(1, 2), viene applicata una seconda mappatura CDF empirica per ripristinare l'uniformità, garantendo che il punteggio sia valido per il livello successivo.

• Livello 2 (Gate Minimo Cross-Encoder): I punteggi calibrati da tutti gli $K$ encoder sono aggregati utilizzando il test del valore p minimo di Tippett. Il punteggio OOD finale $s(x)$ è il minimo di tutti i punteggi per encoder: $s(x) = \min_k \hat{e}_k(x)$.

  • Regola di Decisione: Un campione è segnalato come OOD se $s(x) < \tau$, dove $\tau$ è una soglia calibrata su dati ID tenuti da parte per controllare il Tasso di Falsi Positivi (FPR).

Questo approccio garantisce che, per qualsiasi punto di test dato, il sistema si affidi all'encoder specifico (e alla forchetta) che solleva l'allarme più forte, adattandosi all'input senza conoscenza preventiva del tipo di spostamento.

Contributi Chiave

1. Diagnostica sui Dati ID per la Selezione dell'Encoder: Il documento dimostra che la specializzazione dell'encoder può essere quantizzata strettamente dai dati ID utilizzando $\eta^2$ e $\Delta\mu$. Queste metriche prevedono con successo quale encoder funzionerà meglio su specifici benchmark OOD (spostamenti semantici vs. spostamenti di covariate) senza osservare alcun campione OOD.
2. Framework EncMin2L: Una strategia di fusione innovativa e agnostica rispetto all'encoder che combina le verosimiglianze di diffusione per encoder tramite un gate minimo a due livelli. Evita le insidie dei modelli monolitici multi-encoder (che richiedono parametri significativamente maggiori e spesso non riescono a catturare le geometrie individuali degli encoder) aggregando statisticamente rilevatori specializzati.
3. Calibrazione Statistica: Il metodo fornisce una procedura di test multiplo teoricamente valida. Mappando i punteggi in valori p e applicando il test di Tippett, il framework garantisce la stabilità della calibrazione e consente un aggiustamento diretto della soglia basato sui livelli FPR desiderati senza riaddestramento.

Risultati Sperimentali

Il framework è stato valutato su quattro benchmark OOD che rappresentano tipi di spostamento distinti:

• SVHN: Spostamento di dominio globale.
• CIFAR-100: Spostamento semantico fine.
• CIFAR-10C: Spostamento di covariate (corruzioni).
• DTD/CelebA: Spostamenti di dominio di texture e volti (Far-OOD).

Prestazioni:

• EncMin2L ha raggiunto un AUROC $\ge 0.94$ su tutti e quattro i tipi di spostamento simultaneamente quando CIFAR-10 era la distribuzione ID.
• Ha superato le baseline monolitiche multi-encoder all'avanguardia e i rilevatori a singolo encoder.
• Efficienza: EncMin2L ha ottenuto questi risultati con 2.3$\times$ parametri in meno rispetto alla baseline monolitica migliore (che richiedeva una dimensione nascosta molto più grande per eguagliare le prestazioni).
• Ablazione: Esperimenti leave-one-out hanno confermato che la rimozione di un encoder specifico (ad es. CLIP) ha causato un calo significativo delle prestazioni sul tipo di spostamento previsto dal suo profilo diagnostico (ad es. SVHN), validando l'ipotesi di specializzazione.

Confronti:

• Vs. Diffusione nello Spazio dei Pixel: EncMin2L ha superato significativamente i metodi nello spazio dei pixel (ad es. DiffPath, LMD, Projection Regret) sugli spostamenti semantici (CIFAR-100), dove i metodi nello spazio dei pixel non sono riusciti a catturare le strutture di densità condizionate alla classe.
• Vs. Metodi nello Spazio delle Caratteristiche: Sebbene i metodi k-NN su encoder specifici abbiano funzionato bene su certi spostamenti, mancavano della robustezza per gestire tutti i tipi di spostamento simultaneamente. EncMin2L ha fornito una soluzione unificata.
• Vs. Metodi Basati su Classificatore: EncMin2L ha superato i punteggi MSP, Mahalanobis ed Energy, in particolare in scenari in cui i confini di classe erano ambigui o la distribuzione ID era complessa (ad es. CIFAR-100).

Significato e Affermazioni

Il documento afferma che EncMin2L rappresenta un avanzamento significativo nel rilevamento OOD attraverso:

1. Risoluzione del Problema dello "Spostamento Sconosciuto": Fornisce un meccanismo per rilevare campioni OOD su un intero spettro di spostamenti di distribuzione senza bisogno di conoscere il tipo di spostamento in anticipo o disporre di dati OOD per l'addestramento.
2. Sfruttamento della Diversità degli Encoder: Formalizza l'osservazione che diversi encoder possiedono punti di forza complementari. Invece di forzare un singolo modello a imparare tutte le caratteristiche, aggrega modelli specializzati, ottenendo una maggiore accuratezza con un costo computazionale inferiore.
3. Strumento di Progettazione Pratico: La pipeline diagnostica ($\eta^2$, $\Delta\mu$) consente ai praticanti di selezionare e combinare encoder durante la fase di progettazione basandosi esclusivamente sui dati ID, rendendo il framework adattabile a vari scenari di deployment senza richiedere esempi OOD.

Gli autori sottolineano che il metodo si basa sulla validità statistica del test di Tippett e sulle proprietà della diffusione nello spazio delle rappresentazioni, offrendo un segnale robusto e stabile nella calibrazione che si adatta alle caratteristiche distributive specifiche dell'input.