A Generalized Tangent Approximation based Variational Inference Framework for Strongly Super-Gaussian Likelihoods

Sintesi Tecnica: Un Framework di Inferenza Variazionale basato su un'Approssimazione Tangente Generalizzata per Verosimiglianze Fortemente Super-Gaussiane

Problematica
L'Inferenza Variazionale (VI) è diventata una pietra angolare per il calcolo Bayesiano scalabile, offrendo un'alternativa deterministica al campionamento Markov chain Monte Carlo (MCMC). Tuttavia, gli approcci esistenti affrontano una dicotomia: i metodi strutturati come l'Inferenza Variazionale Mean-Field (MFVI) spesso si affidano a formulazioni rigide specifiche per il modello che possono sottostimare l'incertezza, mentre i metodi di "black-box" VI (BBVI), sebbene flessibili, sacrificano frequentemente l'efficienza computazionale a causa della loro dipendenza da stimatori del gradiente stocastico e approssimazioni Monte Carlo. Inoltre, le garanzie teoriche per la convergenza della BBVI e l'ottimalità statistica sono spesso limitate. La sfida specifica affrontata in questo lavoro è lo sviluppo di un framework di VI principiante, scalabile e teoricamente fondato per una vasta classe di modelli di probabilità caratterizzati da verosimiglianze fortemente super-gaussiane (SSG). Questi includono distribuzioni di errore a code pesanti (es. Student's-t, Laplace) e modelli di risposta discreti (es. Binomiale Negativa, Logistica), che sono prevalenti nella regressione robusta e nella biostatistica ma rimangono difficili da gestire con le tecniche standard di VI coniugata.

Metodologia: TAVIE-SSG
Gli autori propongono TAVIE-SSG (Tangent Approximation based Variational InferencE per SSG likelihoods), un framework che sfrutta le proprietà geometriche delle verosimiglianze SSG per indurre la coniugazione in configurazioni altrimenti intrattabili. La metodologia procede attraverso tre componenti principali:

1. Minorazione Tangente tramite Dualità Convessa:
   Il framework sfrutta la convessità della funzione $h$ che definisce la verosimiglianza SSG. Applicando la dualità convessa, gli autori costruiscono un minorante tangente (un surrogato esponenziale-quadratico) per la log-verosimiglianza. Questo minorante è tangente alla vera verosimiglianza in un punto specifico determinato dai parametri variazionali $\xi$. A differenza delle semplici approssimazioni gaussiane, questo surrogato adatta la propria curvatura in base ai parametri variazionali, preservando la robustezza dei modelli a code pesanti o la natura discreta dei dati di conteggio localmente, rendendo al contempo trattabile l'ottimizzazione globale.

2. Formulazione della Verosimiglianza $\alpha$-Frattionaria:
   Il metodo opera in un contesto di verosimiglianza $\alpha$-frattionaria, dove la verosimiglianza originale è elevata a una potenza $\alpha \in (0, 1]$. Questo tempering allinea il framework alla letteratura sulle posteriori frazionarie di tipo $\alpha$. Il minorante tangente è applicato a questa verosimiglianza temperata e, combinato con un prior coniugato (Normal-Gamma per SSG di Tipo I, Gaussiano per SSG di Tipo II), produce una posteriore variazionale $\alpha$-frattionaria in forma chiusa.

3. Algoritmo di Expectation-Maximization (EM) Variazionale:
   L'ottimizzazione dei parametri variazionali è inquadrata come un problema di stima della massima verosimiglianza in cui i parametri del modello sono trattati come variabili latenti. Ciò porta a un efficiente algoritmo EM:

   • E-step: Aggiorna gli iperparametri della posteriore variazionale (media e covarianza) in forma chiusa.
   • M-step: Aggiorna i parametri variazionali $\xi$ tramite massimizzazione coordinata. Fondamentalmente, l'ottimizzazione multivariata si decompone in $n$ aggiornamenti univariati indipendenti con soluzioni in forma chiusa. Questa decomposizione permette all'algoritmo di scalare linearmente con la dimensione del campione $n$ e di essere parallelizzabile in modo "embarrassingly parallel", con una complessità per iterazione di $O(np^2 + p^3)$.

Contributi Chiave

• Generalizzazione dell'Approssimazione Tangente: Il documento estende l'utilità dell'approssimazione tangente oltre la regressione logistica a una vasta classe di verosimiglianze SSG, inclusi modelli di regressione lineare a code pesanti e modelli di conteggio discreti.
• Garanzie di Convergenza Algoritmica: A differenza di molti metodi VI black-box, gli autori stabiliscono rigorose garanzie di convergenza per l'algoritmo TAVIE-SSG. Sfruttando la proprietà di Kurdyka–Łojasiewicz (KŁ), dimostrano che la sequenza delle iterazioni converge a un punto fisso (un punto critico della funzione obiettivo) da qualsiasi inizializzazione arbitraria, nonostante la natura non convessa dell'obiettivo variazionale. Stabiliscono inoltre tassi di convergenza locale (lineari o sub-lineari) a seconda dell'esponente KŁ.
• Limiti del Rischio Statistico: Gli autori derivano limiti di rischio integrato quasi-minimax optimal per la posteriore. Questi limiti sono stabiliti sia sotto la divergenza $\alpha$-Rényi (per la verosimiglianza frazionaria) che sotto la distanza di Hellinger (per la verosimiglianza standard), dimostrando che la proxy variazionale raggiunge un'accuratezza statistica comparabile al miglior stimatore bayesiano, salvo fattori logaritmici.
• Calibrazione di $\alpha$: Il documento fornisce una strategia pratica per calibrare il parametro di tempering $\alpha$ per bilanciare l'accuratezza della stima puntuale con la copertura frequentista degli intervalli di credibilità, affrontando il comune problema della sotto-copertura nei metodi variazionali.

Risultati Empirici
Le prestazioni di TAVIE-SSG sono state valutate sia su dati simulati che su dataset del mondo reale, inclusi il Censimento USA 2000 (Regressione Quantilica Bayesiana) e i dati di trascrizione spaziale STARmap.

• Scalabilità: TAVIE-SSG ha dimostrato una capacità computazionale superiore rispetto ai competitor allo stato dell'arte, inclusi ADVI (Mean-Field e Full-Rank), DADVI (Deterministic ADVI) e campionatori MCMC (NUTS). In scenari su larga scala (es. $n=10^6$), TAVIE-SSG è stato ordini di grandezza più veloce dei metodi BBVI pur mantenendo la stabilità.
• Accuratezza: In termini di Errore Quadratico Medio (MSE) per la stima dei parametri e qualità dell'approssimazione della posteriore (misurata tramite la distanza di Sliced Wasserstein), TAVIE-SSG ha costantemente superato o eguagliato le varianti ADVI e ha spesso superato DADVI, in particolare nella stima dei parametri di dispersione ($\tau^2$) in modelli a code pesanti.
• Robustezza: Il metodo ha catturato con successo strutture dati complesse, come i pattern di espressione genica spaziale, dove i metodi black-box come ADVI hanno fallito nel convergere verso rappresentazioni accurate.

Significato e Rivendicazioni
Gli autori posizionano TAVIE-SSG come una via di mezzo principesca tra la VI strutturata rigida e la computazionalmente costosa VI black-box. La significatività del lavoro risiede nella sua capacità di fornire garanzie di convergenza provabili e ottimalità statistica per una vasta classe di modelli non coniugati senza fare affidamento su gradienti stocastici. Inducendo la coniugazione attraverso la minorazione tangente, il framework raggiunge la scalabilità dei metodi mean-field pur mantenendo la flessibilità di modellare strutture dati non gaussiane complesse. Il documento afferma che TAVIE-SSG offre un approccio unificato, scalabile e teoricamente solido per l'inferenza bayesiana in applicazioni moderne di grandi dimensioni, specialmente dove è richiesta robustezza agli outlier o risposte discrete.