An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection

Sintesi Tecnica: Un Quadro Informativo-Teoretico per la Costruzione di Caratteristiche nella Rilevazione Out-of-Distribution

Definizione del Problema
I sistemi di machine learning spesso falliscono quando incontrano dati out-of-distribution (OOD), producendo predizioni errate ad alta confidenza. Sebbene esistano numerosi metodi di rilevazione OOD post-hoc (ad esempio, ReAct, FS-OPT, VRA, ASH), questi sono ampiamente basati su approcci empirici e basati su regole che mancano di un fondamento teorico unificato. Di conseguenza, tali metodi faticano spesso a generalizzare su diversi dataset e tipi di shift distribuzionale (semantico e di covariata). È necessario un quadro teorico che possa derivare le caratteristiche OOD basandosi su assunzioni statistiche sottostanti, spiegare le proprietà dei metodi esistenti e generare sistematicamente nuove caratteristiche più robuste.

Metodologia
Gli autori propongono un nuovo quadro informativo-teoretico che formula la costruzione di caratteristiche OOD come un problema di ottimizzazione variazionale.

1. Formulazione di Caratteristiche Casuali: A differenza delle esistenti funzioni deterministiche di modellazione delle caratteristiche, gli autori modellano le caratteristiche OOD ($\tilde{Z}$) come variabili casuali derivate dalle caratteristiche della rete ($Z$) tramite una distribuzione condizionata $p(\tilde{z}|z)$. La media di questa distribuzione corrisponde alle funzioni di modellazione deterministiche presenti in letteratura.
2. Funzionale di Perdita: L'ottimizzazione cerca una distribuzione condizionata che minimizzi un funzionale di perdita composito $L$:
   • Termine di Divergenza KL: Massimizza la separazione tra le distribuzioni delle caratteristiche ID e OOD risultanti utilizzando la divergenza di Kullback-Leibler (KL) simmetrizzata.
   • Regolarizzazione Information Bottleneck (IB): Minimizza l'informazione mutua tra la caratteristica di input $Z$ e la caratteristica OOD $\tilde{Z}$, massimizzando al contempo l'informazione mutua tra $\tilde{Z}$ e l'etichetta OOD $Y$. Ciò garantisce che la caratteristica sia compressa ma conservi informazioni specificamente rilevanti per la rilevazione OOD, filtrando le variazioni estranee.
3. Ottimizzazione: Poiché il problema è definito su uno spazio infinito-dimensionale di misure di probabilità, gli autori utilizzano il calcolo delle variazioni per derivare i gradienti. Assumono l'indipendenza elemento per elemento e la gaussianità per la distribuzione condizionata $p(\tilde{z}|z) \sim \mathcal{N}(\mu(z), \sigma_c(z))$, consentendo un algoritmo di discesa del gradiente computazionalmente fattibile per risolvere la media ottimale $\mu(z)$ e la deviazione standard $\sigma_c(z)$.
4. Analisi Distribuzionale: Il quadro analizza le caratteristiche ottimali sotto varie assunzioni di distribuzione OOD (Gaussiana, Laplaciana e una variante proposta dell'Inversa Gaussiana). Lo studio rivela che diverse assunzioni distribuzionali portano a distinti comportamenti di modellazione:
   • OOD Gaussiana: Produce caratteristiche con pendenze positive per valori piccoli e pendenze negative (o clipping) per valori grandi, a seconda del peso della regolarizzazione IB.
   • OOD a Coda Pesante (Laplaciana/Inversa Gaussiana): Produce caratteristiche che sopprimono i valori piccoli (annullandoli) e tagliano (clipping) i valori grandi, con regioni lineari per i valori intermedi.
5. Funzione di Modellazione Proposta (PLF): Motivati dall'osservazione che le forme ottimali attraverso diverse distribuzioni possono essere approssimate da funzioni lineari a tratti, gli autori introducono una Funzione Lineare a Tratti (PLF). Questa funzione a 7 parametri è parametrizzata utilizzando i quantili delle magnitudo delle caratteristiche in-distribution per garantire l'adattabilità tra architetture e dataset.

Contributi Chiave

1. Quadro Teorico: Introduzione di un funzionale di perdita variazionale e informativo-teoretico che deriva le caratteristiche OOD come variabili casuali, unificando la separazione delle distribuzioni con la compressione dell'informazione.
2. Spiegazione Teorica dei Metodi Esistenti: Il quadro dimostra che gli esistenti metodi rule-based allo stato dell'arte (SoA) (ad esempio, ReAct, VRA, ASH) corrispondono implicitamente a specifiche assunzioni distribuzionali OOD e intensità di regolarizzazione. Ad esempio, il clipping è collegato a un'alta regolarizzazione IB, mentre la soppressione dei valori piccoli è collegata ad assunzioni di OOD a coda pesante.
3. Nuova Funzione di Modellazione (PLF): Derivazione di una nuova funzione di modellazione lineare a tratti, motivata teoricamente, che generalizza le proprietà dei metodi esistenti senza impegnarsi a priori in una singola assunzione distribuzionale.
4. Parametrizzazione Basata sui Quantili: Una nuova formulazione per i breakpoint della PLF utilizzando i quantili empirici, che consente alla PLF di generalizzare attraverso diversi range di caratteristiche senza aumentare il numero di parametri.

Risultati
Gli autori validano il metodo PLF rispetto ai detector OOD post-hoc SoA su estesi benchmark:

• Shift Semantici: Sul benchmark OpenOOD (che copre CIFAR-10, CIFAR-100, ImageNet-200 e ImageNet-1K), PLF si posiziona nei primi tre tra tutti i 21 metodi valutati su tutti i dataset e le architetture. Ottiene il miglior ranking complessivo sul complesso benchmark ImageNet-1K e supera costantemente altri metodi di modellazione delle caratteristiche (Energy, ReAct, VRA-P, FS-OPT).
• Shift di Covariata: Sul dataset BROAD e sui benchmark di shift di covariata di OpenOOD (inclusi ImageNet-C, ImageNet-R, ImageNet-V2 e attacchi avversari come AutoAttack e PGD), PLF raggiunge l'AUROC medio più alto tra i metodi di modellazione delle caratteristiche e si posiziona secondo complessivamente tra tutti i 21 metodi. Dimostra robustezza attraverso diversi shift dove altri metodi spesso si specializzano solo in un sottoinsieme. In particolare, questo lavoro presenta il primo benchmarking completo dei detector OOD post-hoc sugli shift di covariata specificamente all'interno del framework OpenOOD.
• Efficienza: Il costo di inferenza è comparabile ai metodi lineari a tratti esistenti (microsecondi per immagine su una GPU A100).

Significatività
Il documento sostiene di fornire il primo quadro teorico generale per la costruzione di caratteristiche OOD basato su distribuzioni statistiche. La sua significatività risiede nel superare le euristiche empiriche basate su regole per passare a un approccio principiato che spiega perché i metodi esistenti funzionano e come costruire quelli migliori. Dimostrando che una singola funzione derivata teoricamente (PLF) può superare metodi specializzati sia negli shift semantici che in quelli di covariata, il lavoro suggerisce che una strategia di modellazione delle caratteristiche unificata e agnostica rispetto alla distribuzione è realizzabile. Gli autori notano che questo è il primo benchmarking completo dei detector OOD post-hoc sugli shift di covariata all'interno del framework OpenOOD, evidenziando le ampie capacità di generalizzazione del metodo. Il lavoro futuro è identificato nell'esplorare la distribuzione completa delle caratteristiche casuali (non solo la media), integrare le funzioni di punteggio nella teoria ed estendere a funzioni di modellazione vettoriale generale.