On weight and variance uncertainty in neural networks for regression tasks

Questo studio estende il framework di incertezza sui pesi di Blundell et al. (2015) incorporando l'incertezza sulla varianza nelle reti neurali per la regressione, dimostrando che modellare esplicitamente la distribuzione a posteriori della varianza migliora significativamente le prestazioni di generalizzazione su diverse architetture e dataset.

L'essenziale

🎯 Il Problema: Il "Cecchino" che non sa quanto è sicuro di sé

Immagina di avere un cecchino (la tua Intelligenza Artificiale) che deve colpire un bersaglio (prevedere un valore, come il prezzo di una casa o il livello di una malattia).

Nella maggior parte delle reti neurali tradizionali, il cecchino è addestrato a mirare perfettamente. Se gli dici "mira qui", lui spara e dice: "Ho colpito!". Ma c'è un problema: il cecchino non sa quanto è preciso il suo fucile.

• Se il fucile è vecchio e tremolante, il cecchino dovrebbe dire: "Miro qui, ma potrei sbagliare di un metro".
• Se il fucile è nuovo e stabile, può dire: "Miro qui, sono sicuro al 99%".

Il problema è che spesso il cecchino non sa qual è la qualità del suo fucile. Quindi, anche se il fucile è vecchio e tremolante, lui si comporta come se fosse perfetto. Questo lo rende troppo sicuro di sé (overconfident). Quando sbaglia, non se ne accorge, e le sue previsioni sono pericolose perché non ti danno un'idea del rischio.

💡 La Soluzione: Insegnare al Cecchino a misurare il "Tremolio"

Gli autori di questo articolo (Moein Monemi e colleghi) hanno detto: "Aspetta! Non basta insegnare al cecchino dove mirare (i pesi della rete). Dobbiamo anche insegnargli a misurare quanto il suo fucile trema (la varianza)".

Hanno creato una nuova versione della rete neurale che fa due cose contemporaneamente:

1. Impara a prevedere il valore (dove mirare).
2. Impara a stimare l'incertezza (quanto è tremolante il fucile).

Invece di dire "La varianza è fissa e uguale per tutti", la nuova rete dice: "Non lo so con certezza, quindi considero tutte le possibilità di quanto possa tremare il fucile e calcolo una media intelligente".

🌧️ L'Analogia del Meteo

Pensa a un meteorologo:

• Metodo Vecchio (Varianza Fissa): Il meteorologo guarda i dati e dice: "Domani pioverà con una probabilità del 90%". Ma non sa se i suoi strumenti sono calibrati bene. Se gli strumenti sono rovinati, potrebbe sbagliare clamorosamente, ma lui continuerà a essere sicuro al 90%.
• Metodo Nuovo (Varianza Incerta): Il meteorologo dice: "Guardando i dati, sembra che pioverà. Ma i miei strumenti sono un po' vecchi e non sono sicuro della loro precisione. Quindi, invece di darti un numero fisso, ti dico: 'C'è un'alta probabilità di pioggia, ma preparati anche a un temporale improvviso perché potrei non aver calcolato bene l'umidità'".

Il nuovo metodo è più onesto e sicuro.

🧪 Cosa hanno scoperto? (I Risultati)

Gli autori hanno fatto due esperimenti per provare la loro teoria:

1. Il Disegno di una Linea Curva (Simulazione):
   Hanno chiesto alle reti di disegnare una linea curva complessa.

   • La rete "vecchia" (senza incertezza sulla varianza) ha disegnato una linea che passava vicino ai punti, ma quando si allontanava dai dati conosciuti, diventava follemente sicura, disegnando una linea dritta e perfetta che non aveva senso.
   • La rete "nuova" (con incertezza) ha disegnato una linea che seguiva i dati, ma quando si allontanava, allargava il suo "campo di sicurezza". Ha detto: "Qui non sono sicuro, quindi il mio intervallo di previsione è più largo". Risultato: ha fatto meno errori e ha avvertito meglio quando era incerta.

2. Il Caso del Riboflavina (Dati Reali):
   Hanno usato un dataset genetico reale (molte variabili, pochi dati), che è come cercare di indovinare il futuro di una persona guardando solo 10 capelli su una testa di 4000. È un compito difficile e pieno di "rumore".

   • La rete "vecchia" ha detto: "Ho trovato la soluzione! Sono sicuro al 100%!" (e si è sbagliata spesso, coprendo solo l'80% dei casi reali invece del 95% promesso).
   • La rete "nuova" ha detto: "È un compito difficile, c'è molto rumore. La mia soluzione è questa, ma tieni conto che potrei sbagliare".
   • Risultato: La rete nuova ha fatto meno errori (MSPE più basso) e ha coperto il 100% dei casi reali (era onesta sulla sua incertezza), mentre la vecchia ne mancava molti.

🚀 Perché è importante?

Immagina di usare un'AI per guidare un'auto a guida autonoma o per diagnosticare una malattia.

• Se l'AI è troppo sicura (come la vecchia rete), potrebbe dire "Tutto ok, guida!" quando c'è un ostacolo che non ha visto, perché non sa che i suoi sensori sono incerti.
• Se l'AI è consapevole della sua incertezza (come la nuova rete), dirà "Vedo qualcosa, ma non sono sicuro. Freno e chiedo aiuto all'umano".

In Sintesi

Questo articolo ci insegna che, per fare previsioni intelligenti, non basta essere bravi a indovinare il numero giusto. Bisogna anche essere bravi a riconoscere quando non si è sicuri.

Aggiungere l'"incertezza sulla varianza" è come dare al cecchino un metro per misurare il tremolio del suo fucile. Il risultato è un'intelligenza artificiale più umile, più sicura e molto più affidabile quando le cose si fanno difficili.

Sommario tecnico

Titolo: Incertezza sui pesi e sulla varianza nelle reti neurali per compiti di regressione

Autori: Moein Monemi, Morteza Amini, S. Mahmoud Taheri, Mohammad Arashi.
Data: Marzo 2026 (preprint).

---

1. Il Problema

Le Reti Neurali Bayesiane (BNN) sono ampiamente riconosciute per la loro capacità di modellare l'incertezza epistemica (legata ai pesi e ai bias) attraverso distribuzioni a posteriori. Tuttavia, nella maggior parte delle implementazioni esistenti per compiti di regressione (in particolare nel metodo Bayes by Backprop proposto da Blundell et al., 2015), la varianza del rumore osservazionale ($\sigma^2$) viene trattata come un parametro fisso o determinato tramite validazione incrociata.

Questo approccio presenta due limiti fondamentali:

1. Sottostima dell'incertezza: Assumere una varianza fissa ignora l'incertezza epistemica globale sulla scala del rumore dei dati, portando a previsioni eccessivamente confidenti (intervalli di predizione troppo stretti).
2. Sensibilità agli outlier: Le distribuzioni predittive risultanti non sono sufficientemente robuste agli outlier, poiché non integrano la variabilità della varianza stessa.

Il problema centrale affrontato è quindi: come estendere il framework delle BNN per includere l'incertezza sulla varianza della verosimiglianza (likelihood), trattandola come una variabile casuale da inferire insieme ai pesi della rete?

---

2. Metodologia

Gli autori propongono un'estensione del metodo Bayes by Backprop (che utilizza l'Inferenza Variazionale - VB) per includere l'incertezza sulla varianza.

A. Modellazione Probabilistica

In un compito di regressione, il modello assume:
$$y_i = \phi(x_i; W) + \epsilon_i, \quad \epsilon_i \sim \mathcal{N}(0, g(S)I)$$
Dove:

• $W$ rappresenta i pesi e i bias della rete neurale.
• $S$ è un parametro latente non vincolato che governa la varianza.
• $g(S) = \log(1 + \exp(S))$ è una funzione di trasformazione (softplus) che garantisce che la varianza sia strettamente positiva.

B. Inferenza Variazionale (Variational Bayes)

Poiché la distribuzione a posteriori esatta è intrattabile, si utilizza un'approssimazione variazionale $q(\theta)$ per approssimare la vera posterior $p(\theta|x, y)$.

• Parametri Variationali: Il vettore dei parametri da ottimizzare è $\eta = (\mu_w, \rho_w, \mu_L, \rho_L)$, dove i primi due governano la distribuzione dei pesi $W$ e gli ultimi due governano la distribuzione del parametro di varianza $S$.
• Distribuzioni: Si assume un'approssimazione mean-field con distribuzioni Gaussiane diagonali:
  • $W \sim \mathcal{N}(\mu_w, \text{diag}(\sigma_w^2))$ con $\sigma_w = \log(1+\exp(\rho_w))$.
  • $S \sim \mathcal{N}(\mu_L, \sigma_L^2)$ con $\sigma_L = \log(1+\exp(\rho_L))$.
• Trick di Riparametrizzazione: Per permettere l'ottimizzazione tramite gradienti stocastici (SGD), i campioni vengono generati come $W = \mu_w + \epsilon_w \odot \sigma_w$ e $S = \mu_L + \epsilon_L \sigma_L$, dove $\epsilon$ è rumore standard.

C. Funzione Obiettivo

L'obiettivo è massimizzare l'ELBO (Evidence Lower Bound), che equivale a minimizzare la divergenza KL tra l'approssimazione e la vera posterior. La funzione di costo include:

1. Il termine di verosimiglianza (log-likelihood) che ora dipende da $S$ (varianza variabile).
2. I termini di regolarizzazione (KL divergence) per i pesi e per il parametro di varianza.

Il metodo proposto è denominato VBNET-SVAR (in contrapposizione a VBNET-FIXED, che mantiene la varianza costante).

D. Priors Utilizzati

Lo studio esplora due tipi di prior per i pesi:

1. Prior Normale: Per reti fully-connected dense.
2. Prior Spike-and-Slab: Una miscela di Gaussiane utilizzata per implementare il meccanismo di Dropout bayesiano, utile per la selezione delle caratteristiche in spazi ad alta dimensionalità.

---

3. Contributi Chiave

1. Estensione del Framework Bayes-by-Backprop: Integrazione esplicita dell'incertezza sulla varianza nella catena di ottimizzazione, permettendo alla rete di apprendere la distribuzione a posteriori del rumore osservazionale.
2. Robustezza e Calibrazione: Dimostrazione che marginalizzare sulla varianza a posteriori introduce un comportamento "heavy-tailed" nella distribuzione predittiva, rendendo il modello più robusto agli outlier e producendo intervalli di predizione meglio calibrati.
3. Indipendenza dall'Architettura: Il metodo è applicabile sia a reti dense (con prior normale) che a reti con dropout (con prior spike-and-slab), senza aumentare significativamente la complessità computazionale (aggiunta di solo due parametri scalari).
4. Validazione Empirica: Confronto rigoroso su dati sintetici e reali, dimostrando la superiorità rispetto ai metodi a varianza fissa e alle reti neurali frequentiste.

---

4. Risultati Sperimentali

Gli autori hanno valutato il modello su due scenari principali:

A. Stima di una Funzione Non Lineare (Simulazione)

• Setup: Approssimazione di una funzione sinusoidale complessa con rumore.
• Risultati: VBNET-SVAR ha ottenuto un errore quadratico medio di predizione (MSPE) inferiore rispetto a VBNET-FIXED, NNET e GAM.
• Copertura: Gli intervalli di predizione del modello con varianza incerta hanno mostrato una probabilità di copertura (Coverage Probability) superiore, avvicinandosi più strettamente al livello nominale del 95%, indicando una migliore quantificazione dell'incertezza.

B. Dataset della Riboflavina (Dati Genetici ad Alta Dimensionalità)

Dataset con $n=71$ campioni e $p=4088$ predittori (espressione genica).

• Scenario 1 (PCA-BNN): Utilizzo delle prime 10 componenti principali.
  • VBNET-SVAR ha ottenuto un MSPE di 0.7891 contro 1.4006 di VBNET-FIXED.
  • Copertura: VBNET-SVAR ha raggiunto il 98% di copertura degli intervalli, mentre VBNET-FIXED solo l'80% (sottostima dell'incertezza).
• Scenario 2 (Dropout-BNN): Utilizzo di tutte le 4088 caratteristiche con prior Spike-and-Slab.
  • VBNET-SVAR ha ottenuto il miglior MSPE (0.3077).
  • Copertura: VBNET-SVAR ha raggiunto il 100% di copertura con intervalli più ampi e conservativi, mentre VBNET-FIXED ha fallito con una copertura del 72%, dimostrando un'eccessiva confidenza.

---

5. Significato e Conclusioni

Il lavoro dimostra che trattare la varianza come un parametro deterministico è un limite significativo nelle BNN per la regressione, specialmente in contesti con dati limitati o ad alta dimensionalità.

• Impatto Pratico: Il metodo proposto è cruciale per applicazioni reali dove la varianza del rumore è sconosciuta. Fornisce non solo una previsione puntuale, ma una stima affidabile dell'incertezza, essenziale per la presa di decisioni in ambiti critici (es. medicina, finanza, controllo di processo).
• Generalizzazione: Il modello VBNET-SVAR generalizza l'approccio classico a varianza fissa, offrendo una soluzione più robusta senza richiedere un costo computazionale proibitivo.
• Disponibilità: Il codice è stato reso disponibile su GitHub per favorire la riproducibilità e l'adozione della metodologia.

In sintesi, l'integrazione dell'incertezza sulla varianza trasforma le reti neurali bayesiane da modelli che semplicemente "stima" i parametri a modelli che comprendono appieno la natura stocastica dei dati, migliorando sia l'accuratezza predittiva che l'affidabilità degli intervalli di confidenza.