Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

Sintesi Tecnica: Garanzie Generalizzate per l'Inferenza Variazionale in Presenza di Simmetria Pari ed Ellittica

Enunciato del Problema
L'Inferenza Variazionale (VI) approssima una densità target $p$ cercando il miglior match $q$ all'interno di una famiglia trattabile di distribuzioni $\mathcal{Q}$, tipicamente minimizzando una divergenza $D(p||q)$. Sebbene diverse divergenze (ad esempio, KL inversa, KL diretta, $\alpha$-divergenze) possano produrre approssimazioni differenti, rimane poco chiaro in quali condizioni la VI fornisca stime provabilmente accurate di proprietà statistiche, come la media e la matrice di correlazione. Lavori precedenti hanno stabilito che la minimizzazione della divergenza di Kullback-Leibler (KL) inversa recupera la media e la matrice di correlazione di un target $p$ se $p$ è log-concava e presenta una simmetria pari o ellittica. Tuttavia, tali garanzie erano limitate a specifiche divergenze e richiedevano assunzioni forti (log-concavità) che escludono distribuzioni a code pesanti comuni nella pratica.

Metodologia
Gli autori generalizzano queste garanzie a una vasta classe di funzioni obiettivo e rilassano le condizioni di regolarità sulla densità target.

1. Funzioni Obiettivo: L'analisi si concentra sulle $f$-divergenze, una vasta famiglia definita come $D_f(p||q) = \int f(p(z)/q(z))q(z)dz$, che include le divergenze KL inversa e diretta, le $\alpha$-divergenze e le distanze di variazione totale regolarizzate.
2. Definizioni di Simmetria: Il documento formalizza la simmetria pari (simmetria rispetto a un punto $\nu$), la simmetria ellittica (simmetria definita da una matrice di dispersione $M$) e la simmetria parziale (simmetria lungo un sottoinsieme di coordinate $\sigma$).
3. Famiglia Variazionale: La famiglia di approssimazione $\mathcal{Q}$ è assunta essere una famiglia di posizione-scala ellittica, ovvero distribuzioni ellitticamente simmetriche rispetto a un parametro di posizione $\nu$ con una matrice di dispersione proporzionale a una matrice di scala $S$.
4. Framework Teorico:
   • Diagonalizzazione Concomitante: Gli autori impiegano una trasformazione di coordinate (Lemma 1) che diagonalizza simultaneamente le matrici di dispersione di $p$ e $q$ tramite congruenza. Questo riformula la $f$-divergenza in termini di variabili trasformate, semplificando l'analisi dei punti stazionari.
   • Unimodalità vs. Log-concavità: Invece di richiedere che $p$ sia log-concava, gli autori assumono che $p$ e $q$ siano strettamente unimodali (le loro funzioni radiali sono strettamente decrescenti). Ciò consente l'inclusione di distribuzioni a code pesanti come le distribuzioni Student-$t$ e Cauchy.
   • Regola della Catena per la Simmetria Parziale: Per le simmetrie parziali, gli autori utilizzano una proprietà della regola della catena delle $f$-divergenze (Definizione 9) per decomporre la divergenza in componenti condizionali e marginali, permettendo l'analisi di coordinate con e senza simmetria.

Contributi Chiave
Il documento presenta tre teoremi principali che generalizzano i risultati precedenti:

• Teorema 1 (Recupero della Media sotto Simmetria Pari): Per qualsiasi $f$-divergenza strettamente convessa, se il target $p$ è ellitticamente simmetrico e strettamente unimodale, l'unico minimizzatore della divergenza rispetto al parametro di posizione $\nu$ è la vera media di $p$ ($\nu = \mu$). Ciò è valido anche se $p$ ha code pesanti e non è log-concava.
• Teorema 2 (Recupero di Media e Matrice di Dispersione sotto Simmetria Ellittica): Sotto le stesse condizioni del Teorema 1, oltre al requisito che la funzione radiale di $p$ sia radialmente decrescente nella sua coda, qualsiasi punto stazionario della divergenza rispetto ai parametri di posizione-scala $(\nu, S)$ soddisfa $\nu = \mu$ e $S = \gamma^2 M$ per qualche $\gamma > 0$. Di conseguenza, la VI recupera la matrice di correlazione di $p$.
• Teorema 3 (Garanzie di Simmetria Parziale): Se $p$ presenta simmetria solo lungo un sottoinsieme di coordinate $\sigma$ (con la distribuzione condizionale $p(z_\sigma | z_{\bar{\sigma}})$ che è ellitticamente simmetrica con una media condizionale lineare e una matrice di dispersione costante), l'approssimazione variazionale recupera la media condizionale e la matrice di dispersione lungo $\sigma$. Se la media condizionale è costante, vengono recuperate anche la media marginale e la correlazione lungo $\sigma$.

Risultati

• Teorici: Le dimostrazioni mostrano che le soluzioni di adattamento alla simmetria (symmetry-matching) sono punti stazionari per tutte le $f$-divergenze strettamente convesse. Gli autori dimostrano che, per target unimodali, questi punti stazionari sono minimizzatori unici per i parametri di posizione e di scala.
• Esperimenti Numerici: Gli autori hanno valutato la VI su target sintetici (Student-$t$ multivariata, imbuto ellittico, distribuzione a crescente/crescent) e su modelli gerarchici bayesiani (dati sull'istruzione, modellazione delle malattie, dati genetici).
  • Hanno misurato l'asimmetria delle distribuzioni posteriori e hanno riscontrato che la VI produce errori assoluti minori nella stima della media per target più simmetrici.
  • In modelli con simmetria parziale (ad esempio, l'imbuto ellittico), la VI ha recuperato accuratamente la media e le correlazioni lungo le coordinate simmetriche ($\theta$), anche quando non riusciva a recuperare la media della coordinata asimmetrica ($\tau$).
  • Gli esperimenti hanno confermato che le strategie di parametrizzazione (ad esempio, parametrizzazione non centrata o marginalizzazione) che riducono l'asimmetria nei modelli gerarchici portano a migliori prestazioni della VI.

Significato e Rivendicazioni
Il documento sostiene di fornire un quadro teorico unificato dimostrando che le proprietà di adattamento alla simmetria della VI sono robuste attraverso una vasta gamma di funzioni obiettivo ($f$-divergenze) e non dipendono dalla restrittiva assunzione di log-concavità. Gli autori sottolineano che questi risultati offrono "prescrizioni per i praticanti", suggerendo che le prestazioni della VI nei modelli gerarchici bayesiani possono essere migliorate riparametrizzando i modelli per sfruttare le simmetrie parziali (ad esempio, usando parametrizzazioni non centrate o posteriori collassati). Il lavoro estende la comprensione di quando la VI è provabilmente accurata, andando oltre la scelta di divergenze specifiche verso una classe più ampia di obiettivi e distribuzioni target più realistiche (incluse quelle a code pesanti). Gli autori osservano che, sebbene si concentrino sulle garanzie teoriche, le loro scoperte completano il lavoro esistente su diagnostica e correzioni post-hoc.