Sintesi Tecnica: Formulazione Maxitiva di Donsker-Varadhan per l'Inferenza Variazionale Possibilistica

1. Enunciato del Problema

L'Inferenza Variazionale (VI) è una pietra angolare dell'apprendimento bayesiano moderno, che consente inferenze approssimate in modelli complessi massimizzando il Limite Inferiore dell'Evidenza (ELBO). Tuttavia, la VI standard si basa su aspettative e divergenze (come la divergenza di Kullback-Leibler) definite tramite integrali ad alta dimensionalità, che presuppongono misure di probabilità additive. Questa dipendenza rende difficile il trattamento analitico e richiede pesanti approssimazioni.

Al contrario, la Teoria della Possibilità offre un quadro di probabilità imprecisa per modellare l'incertezza epistemica senza richiedere additività. Invece di somme, utilizza operatori max/min, consentendo la modellazione diretta dell'incertezza in presenza di informazioni scarse o imprecise. Sebbene la Teoria della Possibilità offra robustezza e interpretabilità, l'adattamento della VI a questo contesto non è banale. Obiettivi standard come l'ELBO e divergenze come la KL non hanno analoghi diretti nel contesto possibilistico perché si basano fondamentalmente su misure additive. I tentativi esistenti, come quelli di Cella e Martin (2025), hanno utilizzato strategie Monte Carlo per approssimare modelli inferenziali possibilistici, ma è mancato un quadro variazionale generale e fondato per la VI possibilistica.

2. Metodologia

L'Analogo Maxitivo della Formula di Donsker-Varadhan

Il contributo teorico centrale di questo lavoro è l'istituzione di un analogo maxitivo della formula variazionale classica di Donsker-Varadhan (DV).

Nella VI probabilistica standard, la formula DV caratterizza il log-evidenza come il supremo di un obiettivo che coinvolge la divergenza KL. Gli autori derivano una caratterizzazione variazionale duale per il contesto possibilistico. Sia $\pi$ una funzione di possibilità a priori e $\ell$ una funzione di perdita. La posteriorità maxitiva $g^*_{\max}$ è definita come:
$$g^*_{\max}(\theta) = \frac{\exp(-\ell(\theta))\pi(\theta)}{\sup_{\theta'} \exp(-\ell(\theta'))\pi(\theta')}$$

Gli autori dimostrano che la log-coerenza (il logaritmo della verosimiglianza marginale maxitiva) può essere espressa tramite due problemi variazionali duali:

1. Limite Inferiore (Massimizzazione): $\log Z_{\max} = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$
2. Limite Superiore (Minimizzazione): $\log Z_{\max} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta} \{ -\ell(\theta) - \log(g(\theta)/\pi(\theta)) \}$

Qui, $\mathcal{F}(\Theta)$ è l'insieme delle funzioni di possibilità. La quantità ottimizzata a destra è denominata Limite di Coerenza (CBO).

• Massimizzare il CBO inferiore produce funzioni di possibilità che limitano inferiormente la vera posteriorità ($g \preceq g^*_{\max}$).
• Minimizzare il CBO superiore produce funzioni di possibilità che limitano superiormente la vera posteriorità ($g^*_{\max} \preceq g$).

La posteriorità possibilistica standard $g^*_{\max}$ è l'unico elemento che soddisfa simultaneamente entrambi i limiti, agendo come rappresentante canonico dell'insieme delle soluzioni. L'ottimizzazione coinvolge una entropia relativa maxitiva ($D_{\max}$), definita come $D_{\max}(g \| f) = \sup_{\theta} \log(g(\theta)/f(\theta))$, che svolge un ruolo analogo alla divergenza KL nella VI standard.

Trattamento della Famiglia Esponenziale e Regole di Apprendimento

Per rendere questo quadro pratico per le reti neurali, gli autori sviluppano un trattamento per le funzioni di possibilità della famiglia esponenziale. Definiscono una classe di candidati $g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A^\dagger(\lambda) - A(\theta))$, dove $A^\dagger$ è la trasformata di Legendre della funzione di log-partizione $A$.

Le proprietà chiave derivate includono:

• Congiugazione: Sotto una priori non informativa, la posteriorità rimane nella stessa famiglia esponenziale, con iperparametri aggiornati come una media mobile delle statistiche sufficienti.
• Aggiornamenti di Tipo Newton: Applicando il teorema di Danskin e approssimazioni di Taylor del secondo ordine, gli autori derivano una regola di apprendimento per ottimizzare il CBO. Ciò porta a un aggiornamento del gradiente naturale che assomiglia a un passo di Newton:
  $$\eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t)$$
  dove $H_s$ è una matrice di curvatura con segno dipendente dall'Hessiano della perdita e dalla precisione del candidato.

Gli Ottimizzatori CBOpt

Sulla base di queste derivazioni teoriche, gli autori propongono una famiglia di ottimizzatori chiamata CBOpt.

• uCBOpt: Ottimizza il CBO superiore (minimizzando il limite superiore).
• lCBOpt: Ottimizza il CBO inferiore (massimizzando il limite inferiore).
• Varianti Adattive (uCBOpt-adapt, lCBOpt-adapt): Queste varianti adattano dinamicamente il parametro di curvatura $\vartheta$ durante l'addestramento per soddisfare le condizioni necessarie di convessità/concavità del problema di ottimizzazione interna.

L'implementazione pratica utilizza un'approssimazione diagonale dell'Hessiano (simile ad Adam o Vprop) e medie mobili esponenziali (EMA) per le stime del gradiente e del gradiente quadratico, rendendola computazionalmente efficiente e scalabile a grandi reti neurali.

3. Contributi Chiave

1. Formulazione Teorica: Il documento stabilisce il primo analogo maxitivo fondato della formulazione di Donsker-Varadhan, fornendo una base variazionale rigorosa per l'inferenza possibilistica.
2. Caratterizzazione Duale: Introduce il Limite di Coerenza (CBO) con formulazioni duali inferiore e superiore, dimostrando che la vera posteriorità possibilistica è l'intersezione unica di questi limiti.
3. Quadro della Famiglia Esponenziale: Gli autori sviluppano un quadro di priori coniugate per le famiglie esponenziali possibilistiche, rivelando paralleli strutturali con il caso probabilistico pur adattandosi alla natura maxitiva della teoria.
4. Ottimizzatori CBOpt: Viene derivata e implementata una nuova famiglia di ottimizzatori, offrendo un metodo pratico per l'addestramento di reti neurali con inferenza variazionale possibilistica.
5. Validazione Empirica: I metodi sono valutati su compiti di classificazione di immagini in dominio e fuori dominio (OOD), dimostrando prestazioni predittive competitive e stime di incertezza affidabili.

4. Risultati Sperimentali

Gli autori hanno valutato le varianti CBOpt (uCBOpt, uCBOpt-adapt, lCBOpt-adapt) rispetto a baseline tra cui SGD, AdamW, IVON, MC Dropout, approssimazione di Laplace e SWAG su tre dataset: Fashion-MNIST, CIFAR-10 e CIFAR-100.

• Prestazioni In-Domain: Su Fashion-MNIST, le varianti CBOpt hanno ottenuto le prestazioni complessive più forti, con lCBOpt-adapt che ha ottenuto la migliore accuratezza (0,913) e Negative Log-Likelihood (NLL). Su CIFAR-100, tutte le varianti CBOpt hanno superato le baseline su la maggior parte delle metriche in dominio, suggerendo scalabilità verso modelli più grandi.
• Rilevamento Out-of-Domain (OOD): I metodi hanno dimostrato capacità di rilevamento OOD competitive. uCBOpt ha mostrato un comportamento coerente attraverso i dataset, eguagliando o avvicinandosi alle prestazioni di MC Dropout e SWAG in termini di FPR@95 e AUROC.
• Efficienza: Le varianti CBOpt hanno mantenuto un'efficienza computazionale paragonabile a quella degli ottimizzatori del primo ordine come SGD e Adam, richiedendo solo stime del gradiente per parametro e della curvatura scalare, senza la necessità di molteplici passaggi in avanti stocastici al momento dell'inferenza (a differenza di MC Dropout).
• Combinazione con MC Dropout: Un esperimento aggiuntivo ha mostrato che combinare CBOpt con MC Dropout ha preservato le forti prestazioni in dominio di MC Dropout migliorando ulteriormente le metriche di rilevamento OOD.

5. Significato e Affermazioni

Il documento afferma che l'inferenza variazionale possibilistica non è una mera riformulazione di metodi esistenti, ma offre una prospettiva distinta sulla rappresentazione dell'incertezza che porta ad algoritmi praticamente utili.

• Cambiamento Concettuale: Spostandosi dalla probabilità additiva alla possibilità maxitiva, il quadro gestisce naturalmente l'incertezza epistemica e consente priori completamente non informative senza il problema degli integrali impropri comuni nella teoria della probabilità.
• Utilità Pratica: Lo sviluppo di CBOpt dimostra che il quadro teorico può essere istanziato in ottimizzatori scalabili che competono con i metodi di apprendimento consapevoli dell'incertezza più avanzati (come IVON e MC Dropout), evitando al contempo il sovraccarico computazionale del campionamento al momento del test.
• Fondamento per Lavori Futuri: Gli autori affermano che il loro lavoro fornisce una base per estendere il ragionamento variazionale alla teoria della possibilità. Notano che componenti di questo quadro (in particolare la pseudo-divergenza maxitiva e la posteriorità sotto priori non informative) sono già stati sfruttati da Ni et al. (2026) per derivare predittori del secondo ordine, validando l'utilità della teoria sottostante.

Gli autori rimangono modesti riguardo alle limitazioni, riconoscendo che i loro aggiornamenti di tipo Newton si basano su approssimazioni del secondo ordine e su specifiche condizioni di curvatura, e che la loro validazione empirica attuale è limitata a candidati gaussiani isotropi con approssimazioni diagonali di Fisher. Tuttavia, affermano che il quadro colma con successo il divario tra l'inferenza possibilistica teorica e le applicazioni di deep learning scalabili.