Riepilogo Tecnico: GEM-FI: Miscele Evidenziali con Cancello e Modulazione di Fisher

Enunciato del Problema

La stima affidabile dell'incertezza predittiva è fondamentale per applicazioni safety-critical in cui i modelli operano al di fuori della loro distribuzione di addestramento. Sebbene le Reti Neurali Bayesiane (BNN) e gli ensemble profondi offrano una quantificazione dell'incertezza basata su principi solidi, spesso comportano costi di addestramento o inferenza proibitivi a causa della necessità di molteplici passaggi in avanti. L'Apprendimento Evidenziale Profondo (EDL) fornisce un'alternativa a passaggio singolo prevedendo parametri Dirichlet per rappresentare le "evidenze". Tuttavia, i modelli EDL standard rimangono frequentemente troppo sicuri in caso di spostamenti della distribuzione, falliscono nel rappresentare l'incertezza epistemica multi-modale vicino a confini decisionali complessi e mancano di una calibrazione robusta.

Le varianti esistenti consapevoli della densità, come l'Apprendimento Evidenziale Profondo Consapevole della Densità (DAEDL), tentano di riscalare le uscite evidenziali utilizzando verosimiglianze offline nello spazio delle caratteristiche (ad esempio, Analisi Discriminante Gaussiana). Sebbene ciò migliori la calibrazione, crea una disaccoppiamento in cui il segnale di densità è statico e non ottimizzato congiuntamente al meccanismo evidenziale. Ciò porta a fragilità quando le rappresentazioni delle caratteristiche subiscono variazioni e non affronta la multi-modalità epistemica, causando spesso il collasso del modello in allocazioni troppo sicure vicino a confini complessi. Inoltre, i metodi basati sull'energia, che spesso producono una migliore separabilità Out-of-Distribution (OOD), vengono tipicamente applicati a posteriori e non intervengono durante la produzione della confidenza evidenziale.

Metodologia

Gli autori introducono GEM (Miscele Evidenziali con Cancello), una famiglia di modelli a passaggio singolo che integra una nozione dipendente dai dati di "supporto" della rappresentazione direttamente nel meccanismo evidenziale. Il framework è composto da tre componenti progressivi:

1. GEM-CORE: Apprendimento Evidenziale da Energia a Cancello

GEM-CORE sostituisce i surrogati di densità statici con un segnale energetico apprendibile all'interno del modello.

• Energia a Livello di Caratteristiche: Un leggero Multi-Layer Perceptron (MLP), $E_\psi$, apprende un'energia scalare $E(x)$ dalle caratteristiche di base $z$. Un'energia più alta corrisponde a un supporto a livello di rappresentazione inferiore (anticorrelato con la densità delle caratteristiche).
• Cancello di Integrazione Limitato: L'energia è mappata attraverso una sigmoide in uno scalare intermedio $\hat{s}(x)$. Questo viene concatenato con le caratteristiche $z$ e immesso in una rete "cancello di integrazione" $G_\eta$. Questa rete produce cancelli per classe $s(x) \in [s_{min}, s_{max}]^C$.
• Gestione nello Spazio delle Probabilità: I cancelli $s(x)$ sono applicati moltiplicativamente alla media predittiva $p(x)$ nello spazio delle probabilità, seguiti da una rinormalizzazione. Crucialmente, la rete apprende una mappatura inversa: un'energia più alta (supporto inferiore) risulta in cancelli più piccoli, sopprimendo l'evidenza per input OOD o atipici.
• Scalatura della Densità: Uno scalatore di densità leggero supplementare $\rho(z)$, derivato da un Modello a Miscele Gaussiane (GMM) pre-adattato, agisce come una "barriera" di sicurezza rigida per sopprimere l'evidenza in regioni a densità estremamente bassa, mentre il cancello appreso gestisce la modulazione fine.

2. GEM-MIX: Miscele di Credenze (Passaggio Singolo)

Per catturare la struttura epistemica multi-modale senza l'ensemble a passaggi multipli, GEM-MIX estende GEM-CORE con $K$ teste evidenziali che condividono un backbone comune.

• Instradamento Appreso: Una rete instradante $h_\omega$ prende le caratteristiche e il segnale energetico per produrre pesi di miscela $\pi(x) = \text{softmax}(h_\omega([z, \hat{s}(x)]))$.
• Media Predittiva di Miscela: La previsione finale è una media ponderata delle medie predittive delle $K$ teste. Ciò permette al modello di rappresentare l'incertezza attraverso modalità multiple vicino a confini decisionali complessi.

3. GEM-FI: Regolarizzazione Informata da Fisher

GEM-FI stabilizza le allocazioni di miscela per prevenire il "collasso delle teste" (dove l'instradatore assegna tutto il peso a una singola testa) e garantisce un'incertezza di confine più fluida.

• Proxy di Fisher: Un leggero proxy per la sensibilità di Fisher, $\tilde{FI}_k(x)$, è calcolato come il quadrato della norma $L_2$ del gradiente della log-verosimiglianza rispetto ai logit per ogni testa.
• Regolarizzazione FI: Un termine di perdita $L_{FI}$ penalizza le allocazioni in cui le teste selezionate frequentemente sono altamente sensibili (instabili).
• Modulazione Basata su Fisher: Durante l'addestramento, i pesi di miscela sono ripesati per aumentare il peso delle teste con minore sensibilità di Fisher (previsioni più stabili). Questa modulazione viene applicata solo durante l'addestramento; l'inferenza utilizza l'output grezzo dell'instradatore.
• Perdite Accessorie: Il framework include un termine basato sull'energia (che incoraggia un'energia alta per campioni negativi sintetici tramite Virtual Outlier Synthesis, VOS) e un termine di decomposizione dell'incertezza (perdita contrastiva per minimizzare l'entropia per In-Distribution (ID) e massimizzarla per OOD).

Contributi Chiave

1. Gestione Apprendibile all'Interno del Modello: Gli autori propongono di apprendere un'energia a livello di caratteristiche e mapparla su un cancello limitato che modula direttamente l'evidenza Dirichlet. Ciò riduce l'eccessiva sicurezza per caratteristiche atipiche preservando le previsioni ID sicure, sostituendo i surrogati di densità statici e disaccoppiati.
2. Epistemiche Multi-Modali a Passaggio Singolo: Introducono una leggera miscela di teste evidenziali con pesi di instradamento appresi, catturando la struttura epistemica multi-modale senza il costo computazionale degli ensemble o di passaggi in avanti multipli.
3. Stabilizzazione Informata da Fisher: Viene aggiunto un regolarizzatore e uno schema di modulazione innovativi basati su Fisher per stabilizzare le allocazioni di miscela, prevenendo il collasso delle teste e producendo un'incertezza di confine più fluida.
4. Validazione Empirica: Il documento dimostra miglioramenti nella calibrazione e nella separazione ID/OOD su benchmark standard di classificazione di immagini e rilevamento OOD, fornendo studi di ablazione che isolano i ruoli del cancello energetico, della dimensione della miscela e della regolarizzazione FI.

Risultati Sperimentali

Gli autori hanno valutato GEM su MNIST, CIFAR-10 e varie coppie OOD (SVHN, CIFAR-100, KMNIST, FMNIST).

• Calibrazione e Accuratezza: Su CIFAR-10, GEM-FI ha migliorato l'accuratezza di test dal 91,11% (DAEDL) al 93,75%. Ha ridotto significativamente il punteggio Brier (da 14,27 a 6,81) e migliorato l'AUPR per il rilevamento di classificazione errata (da 99,08 a 99,94).
• Rilevamento OOD: GEM-FI ha raggiunto prestazioni all'avanguardia in diversi contesti.
  • CIFAR-10 $\to$ SVHN: L'AUPR epistemico è migliorato dall'85,54% (DAEDL) al 92,59%.
  • CIFAR-10 $\to$ CIFAR-100: L'AUPR epistemico è migliorato dall'88,19% (DAEDL) al 90,20%.
  • Il modello ha costantemente superato EDL, DAEDL e altri baseline recenti (ad es. Re-EDL, I-EDL) sia nel punteggio di incertezza aleatoria che epistemica.
• Studi di Ablazione: Gli autori hanno confermato che la combinazione di normalizzazione spettrale (SN), il modulo a cancello energetico (CORE), la miscela (MIX) e la regolarizzazione/modulazione FI (FI-Reg, FI-Mod) è necessaria per prestazioni ottimali. Nello specifico, i componenti basati su FI sono risultati più efficaci quando accoppiati al meccanismo basato sull'energia e alla decomposizione dell'incertezza, piuttosto che operare come moduli autonomi.

Significato e Affermazioni

Il documento afferma che GEM-FI integra con successo un segnale di supporto apprendibile direttamente nel meccanismo evidenziale, affrontando i limiti dei metodi statici consapevoli della densità e i costi computazionali degli ensemble. Apprendendo un segnale di confidenza informato dalla distanza e stabilizzando le miscele multi-testa tramite l'informazione di Fisher, il modello ottiene:

• Calibrazione Migliorata: I modelli sono sicuri solo su regioni ben supportate e deferiscono opportunamente altrove.
• Separazione OOD Robusta: Il metodo distingue efficacemente tra input ID e OOD, in particolare in scenari OOD vicini e impegnativi dove esiste sovrapposizione semantica.
• Efficienza: L'approccio mantiene un'inferenza a passaggio singolo, rendendolo adatto ad ambienti vincolati dalla latenza offrendo al contempo una diversità simile a quella degli ensemble.

Gli autori riconoscono i limiti, notando che l'allineamento tra l'energia appresa e i proxy di supporto è empirico piuttosto che garantito, e che il metodo richiede un'attenta regolazione degli iperparametri relativi alla miscela. Sottolineano che le loro affermazioni sono circoscritte ai benchmark standard (MNIST/CIFAR) e non si estendono a valutazioni su scala ImageNet senza ulteriore validazione. Il lavoro suggerisce che una calibrazione migliorata e un rilevamento OOD affidabile possono avere un impatto positivo sulle implementazioni safety-critical consentendo ai sistemi di astenersi dalle previsioni quando gli input non sono supportati.