Riepilogo Tecnico: Approssimazione di Laplace Auto-Supervisionata per la Quantificazione dell'Incertezza Bayesiana

Enunciato del Problema

L'inferenza bayesiana approssimata (ABI) si concentra tradizionalmente sul calcolo della distribuzione a posteriori dei parametri del modello, $p(\theta | D)$. Tuttavia, nelle applicazioni pratiche, l'oggetto di interesse principale è spesso la distribuzione predittiva a posteriori, $p(\hat{y}_{n+1} | x_{n+1}, D)$, che quantifica l'incertezza delle previsioni piuttosto che quella dei parametri stessi.

I metodi standard per approssimare la distribuzione predittiva a posteriori, come l'Inferenza Variazionale (VI), le Catene di Markov Monte Carlo (MCMC) o le approssimazioni di Laplace classiche applicate alla posterior dei parametri seguite da campionamento Monte Carlo (MC), comportano spesso un significativo sovraccarico computazionale. In particolare, nelle Reti Neurali Bayesiane (BNN), la necessità di campionamento MC per integrare sulla posterior dei parametri aumenta drasticamente i costi di inferenza. Inoltre, le alternative deterministiche esistenti spesso si basano su forti assunzioni distributive o limitano la modellazione dell'incertezza all'ultimo strato, riducendone l'applicabilità ai modelli di regressione profonda generali.

Metodologia

Gli autori propongono l'Approssimazione di Laplace Auto-Supervisionata (SSLA), una tecnica che bypassa il calcolo esplicito della posterior dei parametri per approssimare direttamente la distribuzione predittiva a posteriori. Il metodo è ispirato ai concetti di auto-addestramento e apprendimento semi-supervisionato, in particolare l'idea di apprendere dai dati auto-predetti.

Meccanismo Principale

L'insight fondamentale della SSLA è quantificare l'incertezza predittiva osservando come l'adattamento del modello cambi quando viene "ri-adattato" sui propri dati auto-predetti.

1. Dataset Aumentato: Dato un dataset di addestramento $D$ e un nuovo input $x_{n+1}$, il modello genera una previsione puntuale $\hat{y}_{n+1}$ (ad esempio, la previsione MAP). Viene costruito un dataset aumentato $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
2. Riadattamento: Il modello viene ri-adattato su $D_{n+1}$ per trovare un nuovo ottimo $\tilde{\theta}$.
3. Quantificazione dell'Incertezza: L'incertezza predittiva è derivata dalla variazione nella verosimiglianza, nel prior e nella curvatura (informazione di Fisher) del modello, indotta dall'inclusione della auto-previsione.
   • Se il modello assegna un'alta verosimiglianza alla propria auto-previsione (cioè $\tilde{\theta} \approx \hat{\theta}$), la previsione è considerata a bassa incertezza.
   • Se l'auto-previsione causa uno spostamento significativo nell'adattamento del modello (grande variazione nella verosimiglianza o nella curvatura), alla previsione viene assegnata un'alta incertezza.

Formulazione Matematica

Gli autori derivano un'approssimazione trattabile per la densità logaritmica predittiva a posteriori, $\log p(\hat{y}_{n+1} | x_{n+1}, D)$, che si decompone in tre incrementi interpretabili valutati sugli adattamenti del modello:
$$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{Incremento di Verosimiglianza}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{Incremento di Prior}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{Incremento di Curvatura}}$$
Dove:

• $\hat{\theta}$ è la stima MAP su $D$.
• $\tilde{\theta}$ è la stima MAP su $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
• $\ell$ e $\tilde{\ell}$ sono le log-verosimiglianze.
• $J$ e $\tilde{J}$ sono le matrici di informazione di Fisher osservate (negativi delle Hessian).

Variante Approssimata (ASSLA)

Per eliminare il costo computazionale del riadattamento del modello (risolvere per $\tilde{\theta}$), gli autori introducono l'ASSLA Approssimata (ASSLA).

• Espansione Asintotica: Risultati teorici (Lemma 1, Teorema 1) mostrano che per $n$ grande, la differenza tra l'ottimo aumentato $\tilde{\theta}$ e l'ottimo originale $\hat{\theta}$ è dell'ordine $O(n^{-1})$.
• Semplificazione: L'ASSLA approssima $\tilde{\theta} \approx \hat{\theta}$ e mantiene solo i termini di ordine principale. Ciò permette al metodo di valutare l'incertezza predittiva utilizzando solo l'adattamento originale $\hat{\theta}$ e i contributi di curvatura locale della nuova pseudo-osservazione, evitando la necessità di un secondo passo di ottimizzazione.
• Modularità del Prior: Nell'approssimazione ASSLA, l'incremento del prior viene omesso come termine di ordine superiore, rendendo il metodo computazionalmente efficiente pur mantenendo la sensibilità alle variazioni di verosimiglianza e curvatura.

Contributi Chiave

1. Approssimazione Predittiva Diretta: Un nuovo framework che approssima la distribuzione predittiva a posteriori direttamente, bypassando la posterior dei parametri e la necessità di campionamento Monte Carlo.
2. Meccanismo Auto-Supervisionato: L'introduzione di un'approssimazione di Laplace basata sull'auto-addestramento in cui l'incertezza è quantificata tramite la sensibilità dell'adattamento del modello ai dati auto-predetti.
3. Modularità: La formulazione SSLA permette l'inserimento di diverse specifiche del prior senza ri-addestramento, facilitando l'analisi di sensibilità bayesiana riguardo alla scelta del prior.
4. Efficienza Computazionale: La derivazione dell'ASSLA, che rimuove il requisito di riadattamento, rende il metodo scalabile a grandi modelli e dataset mantenendo una calibrazione competitiva.
5. Giustificazione Teorica: Dimostrazioni rigorose che caratterizzano l'errore di approssimazione dell'ASSLA, dimostrando che l'errore diminuisce linearmente con la dimensione del campione $n$ sotto condizioni di regolarità standard.

Risultati Sperimentali

Gli autori hanno valutato (A)SSLA su compiti di regressione che vanno da modelli analitici coniugati a regressione eteroschedastica complessa con reti neurali.

• Modelli Coniugati: In configurazioni Normale-Normale e Poisson-Gamma, SSLA e ASSLA hanno corrisposto strettamente alle distribuzioni predittive a posteriori calcolate analiticamente su dimensioni del campione da $n=20$ a $n=1.000.000$. Instabilità numeriche in ASSLA sono state osservate solo per $n$ molto grandi ($>10^6$) a causa della cancellazione in virgola mobile, risolte utilizzando la precisione doppia.
• Regressione Eteroschedastica (Sintetica): Su dati sintetici con rumore dipendente dall'input, ASSLA ha prodotto intervalli di credibilità più lisci e stretti rispetto alle approssimazioni di Laplace classiche (che erano eccessivamente conservative) ed è risultata competitiva con l'Inferenza Variazionale (VI) e l'Hamiltonian Monte Carlo (HMC). Tuttavia, ASSLA ha mostrato una tendenza a sottostimare leggermente l'incertezza in intervalli ampi rispetto all'HMC.
• Benchmark Reali: Valutato su diversi dataset UCI (ad esempio, Concrete, Wine Quality, Bike Sharing):
  • Calibrazione: ASSLA ha generalmente ottenuto un Negative Log-Likelihood (NLL) e un Continuous Ranked Probability Score (CRPS) migliori rispetto all'approssimazione di Laplace classica, indicando previsioni più nitide e meglio calibrate.
  • Copertura: Sebbene ASSLA abbia talvolta mostrato una sotto-copertura in regimi difficili (ad esempio, dataset Liver Disorders con rapporto segnale-rumore scarso), ha spesso superato la linea di base conservativa di Laplace che produceva intervalli eccessivamente ampi.
  • Efficienza: ASSLA ha offerto un compromesso favorevole tra costo computazionale e qualità predittiva, evitando l'alto sovraccarico del campionamento MC.

Significato e Affermazioni

Il documento afferma che (A)SSLA offre un'alternativa deterministica, priva di campionamento alle tecniche standard di inferenza bayesiana per la quantificazione dell'incertezza predittiva. Il significato risiede in:

• Bypass dell'Intrattabilità: Evita il collo di bottiglia computazionale dell'integrazione sullo spazio dei parametri tramite campionamento MC, che è una limitazione maggiore nel Deep Learning Bayesiano.
• Applicabilità Pratica: Il metodo è applicabile a modelli generici di regressione profonda e supporta specifiche modulari del prior, particolarmente rilevanti per campi emergenti come il Credal Bayesian Deep Learning.
• Gestione del Compromesso: Gli autori posizionano ASSLA come un metodo che bilancia la trattabilità computazionale con una calibrazione probabilistica competitiva, offrendo una soluzione pratica per compiti di regressione reali dove l'inferenza bayesiana completa è troppo costosa.

Gli autori rimangono modesti riguardo alle limitazioni, riconoscendo che SSLA può diventare instabile su dataset molto grandi o in caso di conflitti prior-dati, e che ASSLA può sottostimare l'incertezza in regioni ad alta varianza. Suggeriscono che questi metodi debbano essere utilizzati insieme al rilevamento di drift/OOD e alla modellazione robusta della verosimiglianza.