Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

Sintesi Tecnica: Diversità Controllabile in Ensemble Impliciti basati su Normalizzazione tramite Modulazione della Temperatura Softmax

Problematica
I deep ensemble rimangono il gold standard per la quantificazione dell'incertezza nel deep learning, offrendo una calibrazione affidabile e il rilevamento di dati out-of-distribution (OOD) addestrando molteplici modelli indipendenti. Tuttavia, i loro costi computazionali e di memoria scalano linearmente con il numero di membri dell'ensemble, diventando proibitivi per modelli su larga scala. Gli ensemble impliciti affrontano questo problema condividendo un singolo backbone tra i membri, introducendo una modulazione o partizione per membro per simulare il comportamento dell'ensemble in un singolo ciclo di addestramento.

Un limite critico dei metodi di ensemble implicito esistenti è la mancanza di controllo sulla diversità dei membri. La diversità è un determinante primario della qualità dell'ensemble, eppure gli approcci attuali la fissano all'inizializzazione (ad esempio, i metodi basati su adapter come BatchEnsemble) o la codificano rigidamente nell'architettura (ad esempio, i metodi di partizione come Packed Ensembles). Di conseguenza, non esiste un meccanismo per modellare o navigare il compromesso tra accuratezza e calibrazione durante l'addestramento. Inoltre, i metodi esistenti spesso richiedono riprogettazioni architettoniche specifiche, rendendoli difficili da applicare a modelli pre-addestrati.

Metodologia: $\sigma$N-Ens
Gli autori introducono $\sigma$N-Ens, un ensemble implicito basato sulla normalizzazione che tratta ogni membro come un compito distinto all'interno di un framework di multi-task learning (MTL).

1. Architettura ($\sigma$Norm): Il metodo sostituisce i normali strati di normalizzazione (BatchNorm o LayerNorm) in un backbone condiviso con strati specifici per ogni task. Per ogni membro $t$, la normalizzazione è modulata da uno scalare limitato dalla funzione sigmoide:
   $$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$$
   dove $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$. Questi scalari agiscono come importanze per ogni feature. Poiché solo gli strati di normalizzazione sono replicati, i pesi del backbone (convoluzionali o transformer) rimangono completamente condivisi, consentendo al metodo di avvolgere qualsiasi architettura standard e adattare modelli pre-addestrati tramite un breve fine-tuning.

2. Diversità Controllabile tramite Temperatura Softmax: Per modellare attivamente la diversità durante l'addestramento, gli autori introducono un regolarizzatore di temperatura softmax applicato ai vettori di importanza ($\sigma(\gamma)$) tra i membri per ogni feature.
   $$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$$
   Qui, $\tau$ agisce come un iperparametro di temperatura che stabilisce il livello di equilibrio della condivisione.

   • $\tau$ Basso: Spinge la distribuzione verso una one-hot, forzando le feature ad appartenere a un singolo membro (massima diversità, simile alla partizione rigida).
   • $\tau$ Alto: Spinge la distribuzione verso l'uniformità, incoraggiando la piena condivisione delle feature.
   • $\tau$ Intermedio: Crea un'allocazione "soft $M$-choose-$k$", dove le feature sono condivise tra un sottoinsieme di $k$ membri.
     A differenza della standard forza di regolarizzazione ($\lambda$), che determina quanto duramente la rete viene spinta verso un obiettivo, $\tau$ seleziona quale equilibrio il sistema deve raggiungere. Ciò consente ai professionisti di tracciare una frontiera accuratezza-calibrazione attraverso la scansione di $\tau$.

3. Incertezza di Modulazione: Gli autori riformulano l'incertezza epistemica espressa da questo ensemble come incertezza di modulazione. Poiché il backbone è condiviso e deterministico, l'incertezza deriva esclusivamente dal riponderamento delle feature condivise dai parametri di modulazione. Questa è strutturalmente distinta dall'incertezza derivante da estrattori di feature differenti nei full deep ensemble.

Contributi Chiave

• Diversità Controllabile: Il paper presenta il primo meccanismo nella famiglia degli ensemble impliciti capace di modellare la diversità dei membri durante l'addestramento tramite un singolo iperparametro ($\tau$), anziché fissarla all'inizializzazione o alla costruzione. Ciò consente di navigare la frontiera Pareto di accuratezza-calibrazione.
• Incertezza di Modulazione: Gli autori identificano e definiscono l' "incertezza di modulazione" come la specifica componente epistemica espressa dagli ensemble a backbone condiviso. Stabiliscono che questa incertezza mantiene la calibrazione sotto corruzione dell'input, ma presenta un rilevamento OOD più debole rispetto ai full ensemble, poiché il backbone condiviso non può divergere su input che non ha codificato.
• Agnosticismo Architetturale ed Efficienza: Operando esclusivamente sugli strati di normalizzazione, $\sigma$N-Ens si applica sia a backbone convoluzionali che transformer senza riprogettazioni invasive. Può convertire modelli pre-addestrati esistenti in ensemble calibrati con un minimo fine-tuning, evitando la necessità di addestrare i membri da zero.

Risultati
Il metodo è stato valutato su CIFAR-10/100, ImageNet e SST-2 utilizzando ResNet, WideResNet e Vision Transformer (ViT).

• Performance vs. Costo: $\sigma$N-Ens eguaglia o supera i deep ensemble in termini di accuratezza e Negative Log-Likelihood (NLL) utilizzando una frazione del numero di parametri (ad esempio, su CIFAR-100 con WideResNet, raggiunge un'accuratezza allo stato dell'arte con significativamente meno parametri).
• Scalabilità: A differenza dei metodi di partizione (es. Packed Ensembles) che degradano e collassano all'aumentare del numero di membri ($M$) a causa dei vincoli di capacità, $\sigma$N-Ens scala con grazia. Man mano che $M$ cresce, il meccanismo di condivisione soft aggrega efficacemente la capacità, permettendo alle prestazioni di migliorare o saturare invece di collassare.
• Calibrazione sotto Shift: Il metodo mantiene una calibrazione robusta sotto shift della distribuzione (corruzione dell'input), con l'Expected Calibration Error (ECE) che rimane quasi piatto all'aumentare della severità della corruzione.
• Rilevamento OOD: In linea con l'analisi teorica, il rilevamento OOD è più debole rispetto ai full deep ensemble, particolarmente quando si utilizzano backbone pre-addestrati dove la rappresentazione delle feature è fissa. Tuttavia, le prestazioni di rilevamento migliorano quando si addestra da zero, poiché i membri modellano la rappresentazione condivisa sotto la pressione della diversità.
• Sensibilità agli Iperparametri: La performance finale è ampiamente insensibile alla forza di regolarizzazione $\lambda$ una volta convergente, rendendo $\tau$ l'unico iperparametro critico da ottimizzare per i professionisti.

Significatività
Il paper sostiene che la diversità controllabile trasforma gli ensemble impliciti da una scelta architettonica statica in un sistema dinamico e regolabile. Decoupling (disaccoppiando) la diversità dall'inizializzazione e dall'architettura, $\sigma$N-Ens offre un'alternativa pratica all'addestramento di full deep ensemble, specialmente man mano che le dimensioni dei modelli crescono. La capacità di convertire un singolo modello pre-addestrato in un ensemble calibrato tramite un breve fine-tuning affronta una lacuna significativa nel deployment di deep learning consapevole dell'incertezza in domini con risorse limitate o sensibili al rischio. Il lavoro chiarisce i trade-off inerenti agli ensemble a backbone condiviso, collegando esplicitamente il limite strutturale (estrattori di feature condivisi) alla debolezza osservata nel rilevamento OOD, evidenziando al contempo la forza nella robustezza della calibrazione.