Functional Bias and Tangent-Space Geometry in Variational Inference

Questo articolo sviluppa un quadro geometrico che dimostra come il bias di primo ordine nelle inferenze variazionali strutturate sia determinato dalle componenti delle funzionali posteriori ortogonali allo spazio tangente della famiglia variazionale, spiegando così la distorsione sistematica delle dipendenze tra blocchi.

L'essenziale

Ecco una spiegazione semplice e creativa del lavoro di Sean Plummer, pensata per chiunque voglia capire l'idea senza dover essere un matematico.

Il Titolo: "La Distorsione Funzionale e la Geometria dello Spazio Tangente nell'Inferenza Variazionale"

(Tradotto liberamente: "Come e perché le nostre approssimazioni matematiche sbagliano su certe cose, ma non su altre")

Immagina di essere un cartografo che deve disegnare una mappa di un territorio complesso e montuoso (la "distribuzione di probabilità reale" o Posterior). Il tuo obiettivo è creare una mappa perfetta. Tuttavia, hai un problema: il tuo set di strumenti è limitato. Puoi disegnare solo linee rette, cerchi perfetti o forme molto semplici (la "famiglia variazionale"). Non puoi disegnare ogni singola curva della montagna.

L'Inferenza Variazionale è il processo di trovare la "migliore" mappa semplice possibile che si avvicini il più possibile a quella reale, minimizzando l'errore globale.

Ma ecco il punto dolente: quale errore stai commettendo?
Spesso ci concentriamo sull'errore totale (quanto è "brutta" la mappa in generale), ma nella vita reale ci interessano dettagli specifici: "Qual è l'altezza media di questa valle?" (media), "Quanto è ripida la salita?" (varianza), o "Qual è la probabilità che ci sia una valanga qui?" (probabilità di coda).

La domanda di questo paper è: Perché alcune di queste domande specifiche vengono risposte correttamente dalla nostra mappa semplice, mentre altre vengono distorte in modo sistematico?

---

L'Analogia della "Sala da Ballo" (La Geometria)

Immagina che tutte le possibili forme che la tua mappa potrebbe avere vivano in una grande sala da ballo (lo spazio matematico).

• La mappa reale è una persona che balla in modo complesso e imprevedibile.
• La tua mappa semplice è una persona che deve ballare seguendo una coreografia rigida (ad esempio, solo muovendosi in avanti e indietro, mai di lato).

Il punto chiave del paper è il concetto di Spazio Tangente.
Immagina che la tua "coreografia rigida" definisca un pavimento specifico su cui puoi muoverti.

• Se la domanda che ti poni riguarda qualcosa che si muove sul pavimento (ad esempio, "quanto ci siamo spostati in avanti?"), la tua mappa semplice può rispondere perfettamente. L'errore è quasi nullo.
• Se la domanda riguarda qualcosa che si muove fuori dal pavimento (ad esempio, "quanto ci siamo spostati lateralmente?"), la tua mappa non può farlo. Qui nasce l'errore principale.

La scoperta fondamentale:
L'errore (il "bias") non è casuale. È determinato da quanto la tua domanda è "perpendicolare" al tuo pavimento.

• Se la domanda è allineata con il tuo pavimento (spazio tangente), l'errore è minuscolo (di secondo ordine).
• Se la domanda è perpendicolare al pavimento (spazio ortogonale), l'errore è grande e immediato (di primo ordine).

---

Il Caso Speciale: "I Blocchi Separati" (Mean-Field)

Il paper si concentra su un tipo di mappa molto comune chiamata Mean-Field.
Immagina che il tuo territorio sia diviso in due isole separate: l'Isola A e l'Isola B.
La tua regola per la mappa è: "Devi disegnare l'Isola A e l'Isola B separatamente. Non puoi disegnare ponti o relazioni tra di loro."

In questo scenario:

1. Cosa funziona bene? Le domande su una sola isola. "Qual è l'altezza media dell'Isola A?" La tua mappa lo calcola bene perché l'Isola A è nel tuo "pavimento".
2. Cosa va storto? Le domande sulle relazioni tra le isole. "Se piove sull'Isola A, piove anche sull'Isola B?" Oppure: "Qual è la correlazione tra l'altezza di A e quella di B?"
   Poiché la tua mappa non può disegnare ponti (interazioni) tra le isole, queste domande cadono fuori dal pavimento. La tua mappa dirà che le isole sono indipendenti, anche se nella realtà sono collegate. Questo è il famoso "bias sistematico" delle approssimazioni Mean-Field: distorcono le relazioni tra le parti.

---

Cosa succede quando abbiamo molti dati? (Asintotica)

Il paper guarda anche cosa succede quando abbiamo tantissimi dati (come in un esperimento scientifico con milioni di osservazioni). In questo caso, la mappa reale diventa molto precisa e simile a una campana di Gauss (una curva a campana perfetta).

Il risultato è sorprendente:

• Se usi una mappa Mean-Field (che ignora le connessioni), l'errore nel calcolare la correlazione tra due variabili non scompare mai, anche con infiniti dati. Rimane un errore fisso e prevedibile.
• Se invece calcoli la media di una singola variabile, l'errore sparisce rapidamente.

È come se dicessi: "Con abbastanza dati, la mia mappa semplice saprà dirti esattamente quanto è alta la montagna A, ma ti dirà sempre che la montagna A e la montagna B non si influenzano a vicenda, anche se sappiamo per certo che sono collegate."

---

In Sintesi: Perché questo è importante?

Prima di questo lavoro, sapevamo che le approssimazioni semplici facevano errori. Ma non sapevamo perché o dove esattamente sbagliavano.

Questo paper ci dice:

1. Non è un errore casuale: È una questione di geometria.
2. Scegli la tua domanda con cura: Se usi un metodo semplice (come il Mean-Field), puoi fidarti delle medie e delle varianze singole, ma non fidarti delle correlazioni o delle probabilità congiunte.
3. La soluzione: Se vuoi studiare le relazioni tra le parti, devi usare un metodo più complesso che permetta di "muoversi" anche fuori dal pavimento semplice (aggiungendo interazioni).

La morale della favola:
Non tutte le domande sono uguali per tutte le mappe. Alcune domande sono "naturali" per la tua mappa semplice e verranno risposte bene; altre sono "impossibili" per la tua mappa e verranno distorte. Capire la geometria della tua mappa ti dice esattamente quali domande puoi fare con sicurezza e quali no.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Functional Bias and Tangent-Space Geometry in Variational Inference" di Sean Plummer, redatta in italiano.

1. Il Problema

L'inferenza variazionale (VI) è un metodo fondamentale per l'approssimazione delle distribuzioni posteriori bayesiane in modelli complessi, proiettando la distribuzione vera su una famiglia di distribuzioni trattabile (ad esempio, famiglie di tipo mean-field). Sebbene l'analisi teorica tradizionale si concentri su misure di divergenza globale (come la divergenza di Kullback-Leibler) o sui tassi di contrazione della posterior, molte applicazioni pratiche richiedono la stima accurata di funzionali specifici della posterior, come aspettative, varianze, covarianze o probabilità di code (tail probabilities).

Il problema centrale affrontato dal paper è la natura strutturale del bias sistematico introdotto dalle approssimazioni variazionali. Mentre le misure globali quantificano l'errore complessivo, non spiegano perché certi riassunti posteriori (es. le dipendenze tra blocchi di parametri) siano distorti in modo sistematico, mentre altri rimangono accurati. L'obiettivo è fornire un quadro geometrico che spieghi quali funzionali possono essere stimati correttamente e quali no.

2. Metodologia

L'autore sviluppa un quadro geometrico basato sulla proiezione di Kullback-Leibler (KL) e sulla teoria degli spazi tangenti. La metodologia si articola nei seguenti punti chiave:

• Proiezione KL e Residuo: La soluzione variazionale $q^*$ è interpretata come la proiezione KL della distribuzione vera $\pi$ sulla famiglia variazionale $\mathcal{Q}$. Viene definito un residuo log-densità $\Delta(\theta) = \log(q^*(\theta)/\pi(\theta))$.
• Spazio Tangente Variazionale ($T_{q^*}\mathcal{Q}$): Viene definito lo spazio tangente della famiglia variazionale nel punto $q^*$. Questo spazio rappresenta le direzioni in cui la distribuzione può essere perturbata localmente rimanendo all'interno della famiglia.
• Ortogonalità del Residuo: Viene dimostrato (Lemma 1) che il residuo $\Delta$ è ortogonale allo spazio tangente $T_{q^*}\mathcal{Q}$ rispetto al prodotto scalare in $L^2(q^*)$. Questa è una proprietà fondamentale derivante dalle condizioni di ottimalità della proiezione KL.
• Decomposizione dei Funzionali: Qualsiasi funzionale $g$ (rappresentante un riassunto della posterior) viene decomposto in una componente parallela allo spazio tangente ($g_{\parallel}$) e una componente ortogonale ($g_{\perp}$).
• Espansione di Cambiamento di Misura: Utilizzando un'espansione di Taylor del rapporto di densità, l'autore esprime la differenza tra l'aspettativa vera e quella variazionale in termini del residuo $\Delta$ e della componente ortogonale del funzionale.

3. Contributi Chiave

I principali contributi del lavoro sono:

1. Decomposizione del Bias Funzionale: Derivazione di una formula che esprime il bias di un funzionale della posterior come determinato esclusivamente dalla sua componente ortogonale allo spazio tangente variazionale.
2. Caratterizzazione Geometrica dell'Errore: Dimostrazione che i funzionali allineati con lo spazio tangente subiscono solo un bias di secondo ordine, mentre le componenti ortogonali generano un errore di primo ordine.
3. Analisi delle Famiglie Mean-Field Strutturate: Caratterizzazione esplicita dello spazio tangente per le famiglie structured mean-field. Si dimostra che questo spazio è composto da funzioni additive a blocchi (funzioni che dipendono separatamente dai blocchi di parametri), mentre il complemento ortogonale contiene i termini di interazione tra i blocchi.
4. Espansioni Asintotiche Locali: Sotto condizioni di normalità asintotica locale (Bernstein-von Mises), derivazione di espansioni esplicite per il bias asintotico. Si mostra come la mancata rappresentazione delle direzioni di interazione porti a una distorsione di primo ordine nelle misure di dipendenza incrociata (cross-block dependence).
5. Interpretazione Unificante: Fornire una spiegazione geometrica unificata per proprietà note della VI, come la distorsione sistematica delle covarianze incrociate.

4. Risultati Principali

• Teorema di Proiezione Variazionale (Teorema 1): Il bias di primo ordine per un funzionale $g$ è dato da $-\langle g_{\perp}, \Delta \rangle$. Se $g$ appartiene allo spazio tangente (es. somme di funzioni di singoli blocchi), il termine di primo ordine è nullo.
• Caratterizzazione Mean-Field (Teorema 2): Per una famiglia mean-field strutturata con blocchi $\theta = (\theta_{B_1}, \dots, \theta_{B_m})$, lo spazio tangente è lo span lineare di funzioni della forma $\sum f_b(\theta_{B_b})$. Di conseguenza, qualsiasi funzionale che dipende dall'interazione tra blocchi (es. $f(\theta_{B_1})g(\theta_{B_2})$) ha una componente ortogonale non nulla e subirà un bias significativo.
• Distorsione Asintotica delle Covarianze (Proposizione 3): Nel regime asintotico locale (dove la posterior è approssimabile da una Gaussiana), l'errore nella stima della covarianza incrociata $\mathbb{E}[\theta_i \theta_j]$ (con $i \neq j$) sotto un'approssimazione mean-field è proporzionale alla vera covarianza $\Sigma_{ij}$ divisa per $n$. Questo conferma che le approssimazioni mean-field non riescono a catturare le dipendenze tra parametri a livello di primo ordine.
• Riduzione del Bias per Funzionali Additivi (Teorema 4): I funzionali che sono additivi sui blocchi di parametri (e quindi appartengono allo spazio tangente) eliminano automaticamente il termine di bias asintotico di primo ordine.

5. Significato e Implicazioni

Questo lavoro offre una comprensione profonda e strutturale dei limiti dell'inferenza variazionale, andando oltre le semplici misure di divergenza:

• Spiegazione Geometrica: Fornisce una ragione geometrica rigorosa per cui le approssimazioni mean-field falliscono nel catturare le correlazioni tra parametri (le interazioni giacciono nello spazio ortogonale allo spazio tangente).
• Guida alla Progettazione di Modelli: Suggerisce che per migliorare l'accuratezza di specifici riassunti posteriori, è necessario espandere la famiglia variazionale in modo che lo spazio tangente includa le direzioni rilevanti per quei funzionali. Ad esempio, l'uso di famiglie structured mean-field (che ammettono dipendenze all'interno di blocchi più grandi) riduce la dimensione del complemento ortogonale, migliorando l'accuratezza.
• Diagnostica: Propone un nuovo criterio per valutare le approssimazioni variazionali: non solo quanto sono vicine alla posterior globale, ma quali classi di funzionali (definite dallo spazio tangente) sono in grado di rappresentare senza bias di primo ordine.
• Connessione con la Teoria Semiparametrica: Collega l'inferenza variazionale alla teoria semiparametrica classica, dove l'efficienza degli stimatori è legata alle proiezioni ortogonali sugli spazi tangenti del modello.

In sintesi, il paper stabilisce che la geometria della famiglia variazionale determina non solo la qualità globale dell'approssimazione, ma anche la struttura specifica degli errori sistematici su cui gli statistici devono fare attenzione quando interpretano i risultati dell'inferenza variazionale.