Sintesi Tecnica: Sfruttare la Piattezza Locale per un Rilevamento Efficiente Out-of-Distribution

Definizione del Problema

Il dispiegamento affidabile di modelli di apprendimento automatico richiede la capacità di rilevare dati out-of-distribution (OOD)—campioni estratti da distribuzioni disgiunte dal set di addestramento. Le moderne reti neurali profonde producono spesso predizioni errate e eccessivamente sicure su tali input. Sebbene i metodi di rilevamento post-hoc (che operano su modelli pre-addestrati senza riaddestramento) siano attraenti per la loro efficienza, gli esistenti approcci basati sulla curvatura affrontano limitazioni significative. I metodi che utilizzano la curvatura del paesaggio della perdita (ad esempio, tramite l'approssimazione di Laplace) per stimare l'incertezza del modello sono computazionalmente proibitivi per reti di grandi dimensioni a causa della scalabilità quadratica della matrice Hessiana. Inoltre, questi metodi si basano su assunzioni implicite riguardanti la differenza nella piattezza del paesaggio tra dati in-distribution (ID) e OOD, che non sono state investigate sistematicamente.

Metodologia

1. Osservazioni Empiriche sulla Discrepanza di Curvatura

Gli autori forniscono innanzitutto un'analisi empirica sistematica della curvatura del paesaggio della perdita indotta dai campioni ID e OOD. Utilizzando il metodo di Hutchinson per stimare le statistiche della Hessiana (il valore massimo dell'autovalore $\lambda_{max}$ e la traccia $tr(H)$) senza costruire l'intera matrice, osservano che:

• Curvatura ID vs. OOD: I campioni ID mostrano costantemente una curvatura inferiore (valori più piccoli di $\lambda_{max}$ e della traccia) rispetto ai campioni OOD.
• Severità dello Shift: Il divario di curvatura si amplia man mano che lo shift distributivo diventa più severo, passando dai regimi "near-OOD" a quelli "far-OOD".
• Separabilità a Livello di Campione: La distribuzione delle tracce della Hessiana per singolo campione mostra una chiara separazione, con i campioni ID concentrati a valori inferiori e i campioni OOD che si spostano verso valori più elevati con distribuzioni più ampie.

2. FOLD: Rilevamento OOD Modulato sulla Piattezza

Motivati dall'osservazione che i campioni ID giacciono in regioni più piatte del paesaggio della perdita, il documento propone FOLD, un rilevatore leggero che evita il costo proibitivo dell'approssimazione della curvatura nello spazio dei parametri.

• Hessiana delle Caratteristiche (Feature Hessian): Invece di calcolare la Hessiana completa dei parametri, FOLD trasporta la curvatura dello spazio dei logit nuovamente nello spazio delle caratteristiche latenti. Data una rete decomposta in un encoder di caratteristiche $h(\cdot)$ e un classificatore lineare $g(\cdot)$, la Hessiana delle caratteristiche è derivata tramite la regola della catena del secondo ordine:
  $$\nabla_{\mathbf{h}}^2 \mathcal{L} = (\nabla_{\mathbf{h}} g) (\nabla_{\mathbf{z}}^2 \mathcal{L}) (\nabla_{\mathbf{h}} g)^{\top}$$
  Questo operatore proietta l'incertezza predittiva sul manifold delle caratteristiche indotto dal classificatore, catturando le strutture geometriche critiche per il rilevamento OOD.
• Normalizzazione Parziale delle Caratteristiche: Per affrontare il problema in cui grandi magnitudo delle caratteristiche causano la saturazione del softmax (appiattendo il paesamento della perdita e facendo svanire la Hessiana), FOLD introduce una normalizzazione parziale delle caratteristiche:
  $$\tilde{\mathbf{h}} = \frac{\mathbf{h}}{\|\mathbf{h}\|^{\alpha}}, \quad 0 < \alpha \leq 1$$
  Il punteggio di rilevamento è definito come la traccia della Hessiana in questo spazio normalizzato: $S_{fold}(\mathbf{x}) = \text{tr}(\nabla_{\tilde{\mathbf{h}}}^2 \mathcal{L})$.
  • Dipendenza dal Dataset: L' $\alpha$ ottimale varia in base alla complessità del dataset. Dataset semplici (es. CIFAR) beneficiano di una normalizzazione quasi completa ($\alpha \approx 1$), mentre dataset complessi (es. ImageNet) richiedono una soppressione più lieve ($\alpha \approx 0.2$) per preservare i segnali informativi della magnitudo.

3. AUTOFOLD: Calibrazione Auto-Supervisionata

Per eliminare la necessità di set di validazione OOD esterni per regolare $\alpha$, gli autori introducono AUTOFOLD. Questo schema auto-supervisionato:

• Genera campioni pseudo-OOD mascherando il logit dominante dei campioni ID (impostando il logit della classe reale a $-\infty$), simulando uno scenario di classe sconosciuta.
• Seleziona automaticamente l' $\alpha^*$ ottimale massimizzando l'AUROC tra i punteggi dei campioni di validazione ID originali e i loro corrispondenti con logit mascherati.
• Opera interamente al tempo di inferenza con un overhead trascurabile, non richiedendo riaddestramento o dati esterni.

Contributi Chiave

1. Analisi Sistematica della Curvatura: La prima investigazione sistematica che conferma che gli input OOD presentano una maggiore curvatura della Hessiana rispetto ai dati ID, con la discrepanza che aumenta sotto shift distributivi più forti.
2. Algoritmo di Rilevamento Efficiente (FOLD): Un metodo leggero che sfrutta la Hessiana delle caratteristiche e la normalizzazione parziale delle caratteristiche per migliorare la separabilità ID-OOD senza l'overhead dei metodi di approssimazione della curvatura basati su Bayes.
3. Calibrazione Automatica degli Iperparametri (AUTOFOLD): Una strategia auto-supervisionata che utilizza il mascheramento dei logit ID per calibrare i parametri di normalizzazione senza dati OOD esterni.
4. Validazione Teorica ed Empirica: L'analisi teorica (sotto assunzioni semplificate di classificazione binaria) supporta la tesi che la traccia attesa della Hessiana delle caratteristiche sia maggiore per i dati OOD. Esperimenti estesi validano questi risultati attraverso diversi architetture e dataset.

Risultati Sperimentali

Gli autori hanno valutato FOLD e AUTOFOLD su standard benchmark OOD (CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1K) contro un set completo di baseline post-hoc (es. MSP, ODIN, ReAct, VIM, KNN).

• Performance: FOLD e le sue varianti superano costantemente i metodi precedenti.
  • FOLD-R (FOLD combinato con la soglia di attivazione di ReAct) ha ottenuto le migliori prestazioni medie, migliorando l'AUROC medio del 1.63% e riducendo il FPR95 del 2.30% rispetto alle forti baseline.
  • Le varianti di AUTOFOLD hanno ottenuto performance competitive rispetto a FOLD con $\alpha$ fisso, dimostrando che la calibrazione automatica è efficace senza regolazione manuale.
• Efficienza: FOLD mantiene un'efficienza computazionale comparabile a un passaggio forward standard. A differenza dei metodi che richiedono un setup costoso (es. KNN, MDS) o un'inferenza onerosa (es. RMDS), FOLD comporta un overhead minimo.
• Generalizzazione: Il metodo dimostra una performance stabile attraverso diverse architetture di backbone (RegNet, DenseNet, WRN, ResNeXt), indicando che i vantaggi geometrici dello scoring basato sulla curvatura sono indipendenti dall'architettura.
• Studi di Ablazione:
  • Normalizzazione: La normalizzazione parziale è risultata superiore alla normalizzazione completa su dataset complessi (ImageNet), dove la normalizzazione completa scartava segnali informativi della magnitudo, facendo collassare il gap spettrale.
  • Hessiana delle Caratteristiche: L'uso della Hessiana delle caratteristiche ha prodotto un'AUROC superiore rispetto all'uso della sola Hessiana dei logit, particolarmente su domini complessi, confermando il valore dell'integrazione della geometria indotta dal classificatore.

Significato e Rivendicazioni

Il documento sostiene di fornire una soluzione fondata e pratica per un rilevamento OOD robusto nel mondo reale. Sfruttando la proprietà strutturale per cui i dati ID giacciono in regioni di perdita più piatte rispetto ai dati OOD, FOLD colma il divario tra la promessa teorica della stima dell'incertezza basata sulla curvatura e i vincoli pratici dell'efficienza computazionale.

Gli autori sottolineano che il loro approccio:

• Evita l' "overhead computazionale proibitivo" tipico delle approssimazioni della curvatura bayesiana.
• Elimina la dipendenza da set di validazione OOD esterni per la calibrazione degli iperparametri tramite AUTOFOLD.
• Offre un componente "plug-and-play" (normalizzazione parziale) che potenzia gli esistenti framework di rilevamento.
• Fornisce una base teorica (Teorema 1) che collega le tracce della Hessiana delle caratteristiche agli shift distributivi, offrendo una spiegazione intuitiva per il successo empirico osservato.

Il lavoro conclude che FOLD raggiunge un equilibrio favorevole tra accuratezza del rilevamento ed efficienza computazionale, rendendolo adatto al dispiegamento in scenari in cui i dati OOD non sono disponibili per la validazione e sono richiesti l'inferenza in tempo reale.