Sintesi Tecnica: Stima dell'Incertezza Calibrata Senza Campionamento nel Deep Learning Bayesiano

1. Definizione del Problema

I moderni modelli di deep learning, in particolare quelli basati su architetture transformer, sono notoriamente inclini all'overconfidence (eccessiva sicurezza), limitando la loro affidabilità in applicazioni ad alto rischio come la rilevazione di malattie, il ragionamento legale e l'assistenza visiva per utenti non vedenti. Sebbene le Reti Neurali Bayesiane (BNN) offrano una via fondata per la quantificazione dell'incertezza attraverso l'apprendimento di una distribuzione sui parametri del modello, un collo di bottiglia significativo rimane alla fase di test.

L'inferenza Bayesiana standard richiede la media delle predizioni attraverso molti passaggi in avanti (forward passes) con pesi campionati dalla distribuzione a posteriori (Monte Carlo o campionamento MC), il che è computazionalmente proibitivo per architetture su larga scala. Al contrario, l'utilizzo della sola rete media (ignorando la varianza) è efficiente ma non riesce a catturare l'incertezza. I metodi esistenti di propagazione della varianza, che propagano analiticamente media e varianza attraverso gli strati in un singolo passaggio, sono stati storicamente limitati ai Multi-Layer Perceptrons (MLP). La loro estensione alle moderne architetture (Transformer, CNN con ResNet) è stata problematica a causa della maggiore profondità e della presenza di strati di normalizzazione. Tentativi precedenti, come "Streamlining" [30], linearizzano gli strati di normalizzazione e le funzioni di attivazione, risultando in medie propagate identiche alla rete media fino all'ultimo strato, fallendo così nel migliorare la predizione selettiva nonostante il costo computazionale aggiuntivo.

2. Metodologia: Propagazione della Varianza Calibrata (CVP)

Gli autori propongono la Calibrated Variance Propagation (CVP), un framework completo progettato per fornire stime dell'incertezza accurate in un singolo passaggio in avanti per moderne architetture, inclusi Transformer e CNN. CVP opera sostituendo il passaggio in avanti deterministico standard con una catena di operatori che propagano coppie media-varianza $(\mu, \Sigma)$ attraverso la rete.

La metodologia affronta tre lacune tecniche specifiche:

A. Momenti Esatti per le Funzioni di Attivazione

A differenza del metodo Delta (linearizzazione del primo ordine della serie di Taylor) utilizzato nei lavori precedenti, che lascia la media propagata indipendente dalla varianza dell'input, CVP impiega il matching dei momenti esatti per le attivazioni non lineari. Assumendo input gaussiani, CVP utilizza espressioni in forma chiusa per la media e la varianza delle attivazioni GELU, sigmoid, tanh e ReLU. Ciò assicura che la media propagata diverga dalla predizione della rete media ad ogni non-linearità, catturando l'incertezza dipendente dall'input.

B. Regola Basata sulla Aspettativa per gli Strati di Normalizzazione

Un contributo centrale è una nuova regola di propagazione per gli strati di normalizzazione (ad esempio, LayerNorm). I metodi precedenti linearizzano il termine di varianza $s^2(x)$ in $s^2(\mu_x)$, riducendo l'operazione a una trasformazione affine deterministica della media. CVP sostituisce $s^2(x)$ con la sua aspettativa sotto la distribuzione di input:
$$E[s^2(x)] = s^2(\mu_x) + \left(1 - \frac{1}{D}\right)\bar{\Sigma}_x$$
dove $\bar{\Sigma}_x$ è la media delle varianze diagonali di input. Questo rende l'operazione di LayerNorm affine rispetto ai momenti di input, permettendo la propagazione esatta dell'incertezza attraverso gli strati di normalizzazione, che sono centrali nelle architetture Transformer.

C. Calibrazione Per-Strato

Per contrastare l'accumulo di errori di approssimazione (derivanti dalle assunzioni di covarianza diagonale e input gaussiani) all'aumentare della profondità, CVP introduce fattori di scala apprendibili per strato ($\alpha_i$). Questi fattori riscalano moltiplicativamente la varianza propagata dopo strati chiave (specificamente prima degli strati di attivazione e normalizzazione). I parametri $\alpha_i$ vengono adattati in una fase di calibrazione leggera minimizzando la Negative Log-Likelihood (NLL) su un set di validazione tenuto da parte, analogamente allo scaling della temperatura ma applicato a livello di strato.

3. Contributi Chiave

1. Regola di Propagazione della Varianza per gli Strati di Normalizzazione: Gli autori sviluppano una nuova regola per gli strati di normalizzazione che offre una fedeltà sostanzialmente migliore al campionamento MC rispetto alla linearizzazione, validata sia su dati sintetici che su attivazioni di modelli reali.
2. Fase di Calibrazione Per-Strato: L'introduzione di fattori di scala apprendibili corregge l'accumulo sistematico di errori, migliorando significativamente la calibrazione e, crucialmente, la performance della predizione selettiva.
3. Implementazione Ottimizzata: L'implementazione di CVP viene eseguita in un singolo passaggio in avanti con un costo computazionale circa 2–3 volte superiore a quello di un passaggio deterministico, fornendo guadagni sostanziali di affidabilità senza l'overhead del campionamento ripetuto dei metodi MC.

4. Risultati Sperimentali

CVP è stato valutato su benchmark unimodali (Classificazione di Immagini: CIFAR-10, CIFAR-100, ImageNet) e multimodali (VQA: VQAv2; Ragionamento Visivo: NLVR2) utilizzando modelli addestrati tramite l'ottimizzatore variazionale IVON.

• Trade-off Efficienza-Affidabilità: CVP domina costantemente il fronte di Pareto sia rispetto alla rete media che al campionamento MC. Raggiunge una qualità dell'incertezza comparabile al campionamento MC (ad esempio, 4 campioni) a una frazione del costo (circa 2,3–2,9 volte il costo di un singolo passaggio rispetto a 4x per 4 campioni).
• Predizione Selettiva: CVP mostra miglioramenti marcati nella Coverage at Risk (C@R). Ad esempio, sul benchmark NLVR2 con BEiT-3, CVP migliora la copertura al 0,5% di rischio dall'8,2% (Streamlining) al 14,6%. Su VQAv2 con ViLT, migliora dal 2,6% al 10,8%.
• Confronto con Streamlining: Mentre Streamlining migliora leggermente la calibrazione rispetto alla rete media, fallisce nel migliorare la predizione selettiva perché la sua media propagata rimane identica alla rete media. La divergenza precoce della media di CVP e la calibrazione per strato gli permettono di superare significativamente Streamlining.
• Studi di Ablazione: Rimuovendo qualsiasi componente di CVP (momenti esatti delle attivazioni, regola di normalizzazione o calibrazione per strato), le prestazioni degradano, confermando che tutti e tre gli elementi sono necessari per i guadagni osservati.

5. Significato e Rivendicazioni

Il documento sostiene che CVP colmi una lacuna critica nel Deep Learning Bayesiano consentendo la stima dell'incertezza senza campionamento per moderne architetture su larga scala. Il suo significato risiede in:

• Praticità: Fornisce un'alternativa praticabile al campionamento MC per sistemi real-time e critici per la sicurezza dove l'inferenza ripetuta non è fattibile.
• Generalità Architetturale: È il primo framework di propagazione della varianza che riesce ad estendersi con successo a Transformer multimodali e ResNet, superando i limiti dei metodi precedenti che erano limitati a strutture simili a MLP.
• Performance: Fornisce miglioramenti costanti del fronte di Pareto, offrendo metriche di affidabilità (calibrazione e predizione selettiva) che eguagliano o superano i costosi metodi MC mantenendo una bassa latenza.

Gli autori riconoscono i limiti, notando che CVP comporta circa il doppio dell'impronta di memoria di un passaggio deterministico (per memorizzare le varianze) e richiede un set tenuto da parte per la calibrazione. Inoltre, gli esperimenti attuali sono limitati ad architetture di tipo encoder con teste di classificazione o VQA, lasciando la generazione autoregressiva a lavori futuri. Tuttavia, il metodo stabilisce un nuovo standard per la quantificazione efficiente e affidabile dell'incertezza nel deep learning.