📊 statistics

Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties

Questo articolo propone un framework di addestramento cooperativo che integra una rete di stima della varianza con una rete neurale bayesiana per disaccoppiare efficacemente le incertezze aleatorie ed epistemiche, migliorando al contempo la stima della media su dataset diversificati.

Autori originali: Jiaxiang Yi, Miguel A. Bessa

Pubblicato 2026-05-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jiaxiang Yi, Miguel A. Bessa

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover prevedere il meteo. Hai un modello che dice: "Domani farà 75°F". Ma quanto è sicuro il modello?

Nel mondo dell'IA, ci sono due motivi principali per cui un modello potrebbe essere incerto:

Il problema dei "Dati Disordinati" (Incertezza Aleatoria): Il termometro è rotto, o il vento soffia in modo selvaggio. Non importa quanto sia intelligente il tuo modello, non puoi prevedere la temperatura esatta perché i dati stessi sono rumorosi. È come cercare di indovinare l'esito esatto del lancio di un dado; il rumore è intrinseco al processo.
Il problema "Non l'ho mai visto prima" (Incertezza Epistemica): Chiedi al tuo modello di analizzare un pattern meteorologico che non ha mai visto nei suoi dati di addestramento. Il modello è incerto perché gli manca conoscenza, non perché i dati sono rumorosi. È come chiedere a uno chef che cucina solo cibo italiano di indovinare il sapore di un piatto di una cucina che non ha mai studiato.

Il Problema con l'IA Attuale
La maggior parte dei modelli IA sono come studenti eccessivamente sicuri di sé. Ti danno una singola risposta (la media) ma agiscono come se sapessero tutto. Se si sbagliano, non te lo dicono.

Alcuni modelli cercano di ammettere di essere incerti riguardo ai "dati disordinati", ma si confondono e spesso sovradattano (memorizzano il rumore), portando a previsioni scadenti.
Altri modelli (Reti Neurali Bayesiane) cercano di ammettere di essere incerti riguardo alla loro "mancanza di conoscenza", ma sono incredibilmente difficili da addestrare e spesso rimangono bloccati in un vicolo cieco matematico.

Cercare di addestrare un modello a fare entrambe le cose contemporaneamente è come chiedere a uno studente di risolvere un problema di matematica mentre cerca contemporaneamente di capire quanto sia disordinata la sua matita. I due compiti si combattono a vicenda e il risultato è solitamente un disastro.

La Soluzione: Un Team Cooperativo (VeBNN)
Gli autori di questo articolo propongono un nuovo modo per addestrare l'IA chiamato VeBNN (Rete Neurale Bayesiana per la stima della varianza). Invece di costringere un singolo modello a fare tutto in una volta, suddividono il lavoro in tre fasi distinte, come una staffetta in cui ogni corridore si specializza in una sola tratta.

Fase 1: Il Corridore della "Media"
Innanzitutto, addestrano un modello semplice solo per trovare la risposta media (la media). Per un momento, fingono che i dati siano perfettamente puliti. Questo fornisce una previsione di base solida senza distrarsi con il rumore.

Fase 2: Il Detective del "Rumore"
Successivamente, prendono quella base solida e addestrano un secondo modello specializzato solo per esaminare gli errori commessi dal primo modello. Questo "Detective del Rumore" impara a mappare dove i dati sono disordinati e dove sono puliti. Impara l'Incertezza Aleatoria (il rumore irriducibile). Crucialmente, lo fa senza cercare di modificare la previsione media, così non si confonde.

Fase 3: L'Esperto della "Conoscenza"
Infine, addestrano una complessa Rete Neurale Bayesiana. Questo è l'esperto che sa come gestire le situazioni "Non lo so". Ma ecco il trucco: danno a questo esperto la mappa del "rumore" creata dal detective nella Fase 2. Poiché l'esperto sa già esattamente dove i dati sono disordinati, può concentrarsi interamente nel capire dove lui manca di conoscenza. Questo gli permette di misurare accuratamente l'Incertezza Epistemica.

Perché Funziona (L'Analogia)
Pensaci come a un team di medici che diagnostica un paziente:

Medico A misura la temperatura e il battito cardiaco del paziente (la Media).
Medico B esamina la storia del paziente e nota che il termometro è instabile e il paziente sta sudando (il Rumore Aleatorio).
Medico C (l'esperto Bayesiano) utilizza le misurazioni di A e il contesto di B per decidere: "È questa una malattia rara che non ho mai visto?" (L'Incertezza Epistemica).

Se chiedi al Medico C di fare tutti e tre i lavori contemporaneamente, potrebbe sopraffarsi. Ma facendoli lavorare cooperativamente in sequenza, la diagnosi è molto più accurata.

Cosa Hanno Scoperto
Gli autori hanno testato questo metodo su vari dataset, tra cui:

Problemi matematici standard.
Compiti di riconoscimento delle immagini.
Un dataset speciale da loro creato che coinvolge le scienze dei materiali (prevedere come il metallo si deforma sotto stress). In questo caso specifico, conoscevano effettivamente la quantità reale di rumore nei dati, permettendo loro di dimostrare che il loro metodo era corretto.

I Risultati

Migliore Accuratezza: I modelli hanno previsto l'esito medio meglio dei metodi precedenti.
Disaccoppiamento Reale: Il modello ha separato con successo i "dati disordinati" dalla "mancanza di conoscenza". Nei metodi precedenti, queste due incertezze si mescolavano spesso, rendendo il modello o troppo sicuro o troppo spaventato.
Robustezza: Il metodo ha funzionato bene anche quando i dati erano scarsi o quando al modello veniva chiesto di prevedere cose al di fuori del suo intervallo di addestramento (estrapolazione).

In Sintesi
Questo articolo introduce una strategia di "dividi e conquista" per l'incertezza dell'IA. Addestrando tre reti specializzate in un ordine specifico, gli autori hanno creato un sistema che può dirti non solo cosa accadrà, ma quanto è sicuro riguardo al rumore dei dati rispetto alla propria mancanza di conoscenza. È un modo più semplice e robusto per far ammettere all'IA ciò che non sa.

Riepilogo Tecnico: Stima Cooperativa della Varianza e Reti Neurali Bayesiane per la Separazione delle Incertezze Aleatorie ed Epistemiche

Enunciato del Problema

I dati del mondo reale contengono intrinsecamente due tipi distinti di incertezza: incertezza aleatoria (rumore nei dati derivante da misurazioni imperfette o processi di generazione stocastici) e incertezza epistemica (incertezza del modello derivante da dati limitati o capacità del modello insufficiente). Sebbene le reti di stima media-varianza (MVE) possano apprendere l'incertezza aleatoria, spesso soffrono di overfitting e falliscono nel prevedere l'incertezza epistemica. Al contrario, le Reti Neurali Bayesiane (BNN) possono prevedere l'incertezza epistemica, ma sono notoriamente difficili da addestrare, in particolare quando si tenta di modellare simultaneamente il rumore aleatorio eteroschedastico (dipendente dall'input).

Gli approcci esistenti per l'addestramento congiunto delle reti MVE incontrano spesso sfide di ottimizzazione. La funzione di perdita Negative Log-Likelihood (NLL) utilizzata per l'addestramento congiunto crea un paesaggio non convesso con punti di sella. Nello specifico, il gradiente rispetto alla varianza contiene termini di ordine elevato al denominatore, portando a squilibri in cui la rete può sia sovradattare il rumore (spingendo la varianza a zero) sia fallire nella convergenza (spingendo la varianza all'infinito). Inoltre, i tentativi di separare le incertezze utilizzando metodi di ensemble o MC-Dropout sulle reti MVE hanno dimostrato di produrre risultati inaffidabili, spesso confondendo i due tipi di incertezza.

Metodologia: VeBNN

Gli autori propongono VeBNN (Variance estimation Bayesian Neural Network), una strategia di addestramento cooperativa che scompone sequenzialmente la stima della media, dell'incertezza aleatoria e dell'incertezza epistemica. Il metodo procede in tre fasi distinte:

Addestramento della Rete per la Media (Fase 1): Una rete deterministica viene addestrata per stimare la media ( $\mu$ ) assumendo un'incertezza aleatoria costante (omoschedastica). Questo semplifica il paesaggio di ottimizzazione, consentendo alla rete di trovare una stima puntuale robusta della media senza l'interferenza dei gradienti della varianza.
Addestramento della Rete per la Stima della Varianza (Fase 2): Una rete separata viene addestrata per prevedere l'incertezza aleatoria ( $\sigma^2_a$ ) basandosi sui residui della stima della media fissa ottenuta nella Fase 1. Crucialmente, invece di utilizzare la standard perdita NLL Gaussiana (che soffre di squilibrio dei gradienti), gli autori propongono di modellare i residui al quadrato utilizzando una distribuzione Gamma. Ciò porta a una perdita NLL basata sulla Gamma in cui i gradienti rispetto ai parametri della rete non contengono termini di ordine elevato al denominatore, garantendo un'ottimizzazione stabile. La varianza aleatoria è quindi derivata come valore atteso di questa distribuzione Gamma.
Addestramento della Rete Neurale Bayesiana (Fase 3): Una BNN viene addestrata con un "avvio caldo" (warm start) utilizzando la stima della media dalla Fase 1 e la stima fissa della varianza aleatoria dalla Fase 2. Poiché il rumore aleatorio è ora trattato come una quantità nota e fissa durante questa fase, la BNN si concentra esclusivamente sull'apprendimento della distribuzione a posteriori dei pesi per catturare l'incertezza epistemica.

La previsione finale per un nuovo input $x'$ scompone l'incertezza totale in:

Media Predittiva: Il valore atteso dell'output della BNN.
Incertezza Aleatoria: La stima della varianza fissa dalla Fase 2.
Incertezza Epistemica: La varianza della media predittiva della BNN attraverso la distribuzione a posteriori.

Gli autori notano che il processo può iterare tra le Fasi 2 e 3 per affinare la separazione, sebbene i risultati empirici suggeriscano che la convergenza è spesso raggiunta con una singola iterazione ( $K=1$ o $K=2$ ).

Contributi Chiave

Strategia di Addestramento Cooperativo: Il documento introduce un framework di addestramento sequenziale che evita i problemi di ottimizzazione accoppiata intrinseci nell'addestramento congiunto MVE. Separando i compiti, il metodo mitiga i problemi di non convessità e squilibrio dei gradienti associati alla stima congiunta media-varianza.
Verosimiglianza Gamma per la Stima della Varianza: Gli autori propongono l'uso di una verosimiglianza Gamma per modellare i residui al quadrato per la stima della varianza. Questo evita l'instabilità numerica della perdita NLL Gaussiana e fornisce un problema di ottimizzazione convessa teoricamente fondato per la rete di varianza.
Separazione Efficace: Il metodo separa con successo le incertezze aleatorie ed epistemiche, un compito in cui molti metodi esistenti (inclusi ensemble profondi e MC-Dropout applicati a MVE) falliscono nel fornire una separazione affidabile.
Scalabilità e Implementazione: L'approccio è semplice da implementare utilizzando architetture standard (MLP, GRU, ResNet) e metodi di inferenza (pSGLD, Ensemble, BBB, MC-Dropout), dimostrando che l'addestramento cooperativo può migliorare anche metodi di inferenza "deboli" come BBB.

Risultati Sperimentali

Gli autori hanno valutato VeBNN su cinque categorie di dataset:

Esempi illustrativi unidimensionali: Hanno dimostrato che VeBNN evita le previsioni di varianza eccessivamente confidenti e la scarsa stima della media osservate nell'addestramento congiunto MVE, in particolare nelle regioni di estrapolazione.
Dataset di Regressione UCI: VeBNN ha migliorato costantemente la Log-Likelihood di Test (TLL) e l'Errore Quadratico Medio Radice (RMSE) attraverso vari metodi di inferenza (Ensemble, MC-Dropout, BBB, pSGLD) rispetto alle loro controparti MVE congiunte. Notevolmente, VeBNN (BBB) ha raggiunto prestazioni competitive, mentre MVE congiunta (BBB) spesso falliva nella convergenza.
Regressione su Immagini su Larga Scala: Sotto spostamenti di distribuzione del mondo reale, VeBNN (Ensemble) ha ottenuto una TLL più alta e una migliore copertura di test rispetto alle baseline, dimostrando una maggiore capacità di gestire dati spostati.
Scoperta della Legge di Plasticità dei Materiali (Verità Terrena Conosciuta): Utilizzando un dataset personalizzato in cui l'incertezza aleatoria di verità terrena è nota (tramite molteplici simulazioni fisiche), VeBNN (pSGLD) ha superato tutte le baseline in RMSE, distanza di Wasserstein (misurando la vicinanza dell'incertezza aleatoria stimata alla verità terrena) e TLL Epistemica. Il metodo ha correttamente identificato che l'incertezza aleatoria rimaneva stabile mentre l'incertezza epistemica aumentava nelle regioni fuori distribuzione.
Dataset APPA-REAL: VeBNN ha ottenuto le migliori prestazioni su tutte le metriche (RMSE, WA, TLL Epistemica) rispetto alle baseline MVE.

Studi di ablazione hanno confermato che la perdita Gamma è superiore alla NLL Gaussiana o alla $\beta$ -NLL per la rete di varianza e che il metodo converge rapidamente, richiedendo spesso solo un'iterazione aggiuntiva oltre all'addestramento iniziale.

Significato e Affermazioni

Il documento afferma che la strategia di addestramento cooperativa proposta offre una soluzione robusta, efficiente e scalabile per la quantificazione dell'incertezza nell'apprendimento profondo. Scomponendo la stima delle incertezze aleatorie ed epistemiche, il metodo supera gli ostacoli di ottimizzazione che hanno limitato l'adozione diffusa della regressione eteroschedastica bayesiana.

Gli autori sottolineano che, sebbene l'addestramento delle BNN rimanga più impegnativo rispetto all'addestramento di reti deterministiche, il loro approccio facilita tale processo fornendo un avvio caldo di alta qualità (la media) e una stima fissa del rumore aleatorio. Affermano che questo metodo è particolarmente prezioso per applicazioni critiche per la sicurezza, dove distinguere tra incertezza riducibile (epistemica) e incertezza irriducibile (aleatoria) è essenziale per l'apprendimento attivo e il processo decisionale sensibile al rischio. Il documento conclude che VeBNN è un'alternativa pratica e implementabile ai metodi attuali all'avanguardia, capace di migliorare la stima della media e la separazione dell'incertezza attraverso diverse architetture di modello e tecniche di inferenza.