Sintesi Tecnica: Inferenza Variazionale tramite Discesa di Trasporto Entropico

Definizione del Problema

Il campionamento approssimativo da distribuzioni target intrattabili $\pi(x) \propto \exp(-V(x))$ è una sfida fondamentale nell'inferenza bayesiana, nella modellazione generativa e nella simulazione scientifica. I metodi di Inferenza Variazionale basata su Particelle (ParVI) affrontano questo problema facendo evolvere un insieme di particelle interagenti per approssimare $\pi$. Tuttavia, gli approcci dominanti esistenti, come la Stein Variational Gradient Descent (SVGD), si affidano a una repulsione basata su kernel. Il documento identifica che questi metodi soffrono di collasso della varianza in dimensioni elevate e di collasso dei modi su target multimodali. Queste patologie sono attribuite all'assenza di una struttura di trasporto globale nelle interazioni mediate da kernel, che non riesce a coordinare efficacemente le particelle attraverso l'intero spazio di stato.

Metodologia: Discesa di Trasporto Entropico (ETD)

Gli autori introducono la Discesa di Trasporto Entropico (ETD), una famiglia di algoritmi ParVI che inquadra gli aggiornamenti delle particelle come problemi di trasporto ottimale entropicamente regolarizzato (EOT). La metodologia è derivata attraverso i seguenti passaggi teorici:

1. Lifting dello schema prossimale JKO: L'approccio si basa sullo schema Jordan-Kinderlehrer-Otto (JKO), che vede il campionamento come un flusso di gradiente della divergenza di Kullback-Leibler (KL) rispetto alla metrica di Wasserstein. Invece di ottimizzare direttamente sulle distribuzioni, gli autori "elevano" l'ottimizzazione allo spazio dei coupling (distribuzioni congiunte tra le particelle correnti e le proposte).
2. Rilassamento tramite la regola della catena KL: Per rendere il problema trattabile, la divergenza KL viene decomposta utilizzando la regola della catena. Ciò produce un limite superiore sull'obiettivo originale, trasformando il problema in un problema EOT semi-rilassato.
3. La famiglia $\tau$: L'obiettivo risultante è parametrizzato da uno scalare $\tau \ge 0$, che controlla la fedeltà del coupling rispetto alla marginale target:
   • Semi-rilassato ($\tau=0$): Il target entra solo come misura di riferimento nel regolarizzatore KL.
   • Bilanciato ($\tau \to \infty$): La marginale target è imposta esattamente.
   • Sbilanciato ($0 < \tau < \infty$): Un'interpolazione tra i due estremi.
4. Implementazione Algoritmica: Ogni iterazione prevede:
   • Proposta: Generazione di posizioni candidate (proposte) $\{y_j\}$, tramite cammino casuale o un passo guidato dallo score (Euler-Maruyama).
   • Accoppiamento (Couple): Risoluzione del problema EOT tra le particelle correnti e le proposte utilizzando l'algoritmo di Sinkhorn. Questo calcola un piano di trasporto (matrice di coupling) che minimizza il costo di trasporto più la regolarizzazione entropica.
   • Aggiornamento: Ricampionamento delle particelle basato sulla distribuzione condizionale definita dal piano di trasporto.

Fondamentalmente, l'ETD può operare in modalità score-free, richiedendo solo valutazioni puntuali della densità non normalizzata del target, sebbene possa anche incorporare informazioni sullo score.

Contributi Chiave

Il documento apporta tre contributi teorici e pratici:

1. Framework Algoritmico: Introduce l'ETD, una famiglia di ParVI derivata dallo schema JKO che riduce ogni iterazione a un calcolo di Sinkhorn. Ciò fornisce un meccanismo di coordinamento globale per le particelle, a differenza della repulsione locale dei kernel.
2. Caratterizzazione Teorica della Stazionarietà:
   • Teorema 2: Gli autori caratterizzano la distribuzione stazionaria dell'ETD bilanciato. Dimostrano che il bias è indipendente dal costo di trasporto e dalla regolarizzazione entropica, dipendendo solo dalla larghezza di banda della proposta.
   • Teorema 3: Propongono pesi del target corretti per l'importanza ($b_j \propto \pi(y_j)/q_\mu(y_j)$) che eliminano interamente questo bias, rendendo la distribuzione target $\pi$ esattamente stazionaria senza richiedere un passaggio di correzione di Metropolis-Hastings.
3. Performance Empirica: Gli esperimenti dimostrano che l'ETD eguaglia o supera SVGD, AGF-SVGD e SGLD, con miglioramenti significativi nei setting ad alta dimensionalità e multimodali.

Risultati Sperimentali

Il documento valuta l'ETD su quattro categorie di benchmark:

• Diagnostica del Collasso della Varianza: Su target gaussiani isotropici in dimensioni $d \in \{10, \dots, 200\}$, SVGD mostra un rapido collasso della varianza (DAMV $\approx 0.11$ a $d=200$), mentre le varianti ETD ottengono un recupero della varianza quasi perfetto (DAMV $\approx 1.0$), eguagliando o superando SGLD.
• Funzioni di Energia Multimodali: Su target 2D con strutture complesse (es. anelli, modi sinusoidali), SVGD e AGF-SVGD soffrono di collasso dei modi. Le varianti ETD, in particolare quelle che utilizzano la correzione del campionamento per importanza, catturano con successo l'intera struttura multimodale e ottengono distanze di energia inferiori.
• Regressione Logistica Bayesiana: Sul dataset Covertype ($d=56$), sebbene i punteggi NLL siano comparabili tra i metodi, le varianti ETD mostrano una copertura marginale significativamente superiore (0.97–0.99) rispetto a SVGD e SGLD (0.27–0.32), indicando una migliore quantificazione dell'incertezza a posteriori.
• Reti Neurali Bayesiane e Campionamento Molecolare: L'ETD supera i baseline nei compiti di regressione UCI e nelle distribuzioni di Boltzmann molecolari (Lennard-Jones 13). In particolare, sul target LJ-13, i metodi baseline (SVGD, SGLD, AGF-SVGD) hanno prodotto energie numericamente divergenti, mentre l'ETD ha prodotto campioni fisicamente significativi con bassa distanza di variazione totale.

Significato e Rivendicazioni

Il documento sostiene che l'ETD affronti i limiti fondamentali dei metodi ParVI basati su kernel introducendo una struttura di trasporto globale. Mediando le interazioni attraverso il trasporto ottimale entropicamente regolarizzato, l'ETD preserva naturalmente la struttura multimodale e previene il collasso della varianza in alte dimensioni.

Gli autori sottolineano che l'ETD offre un framework flessibile che può operare senza informazioni sul gradiente (score-free), rendendolo applicabile a problemi in cui i gradienti non sono disponibili o sono costosi da calcolare. Inoltre, il risultato teorico secondo cui il bias stazionario può essere eliminato tramite una semplice correzione dei pesi (Teorema 3) fornisce una via rigorosa verso il campionamento esatto senza l'overhead computazionale dei passaggi di Metropolis-Hastings.

Il documento riconosce i limiti, notando che il costo per iterazione è $O(NML)$ (dove $L$ è il numero di iterazioni di Sinkhorn), che è superiore a SVGD ($O(N^2)$) o SGLD ($O(N)$). Inoltre, come tutti i metodi che si basano su distanze euclidee, l'ETD affronta la maledizione della dimensionalità poiché il costo di trasporto concentra il kernel di Gibbs in dimensioni elevate, sebbene gli autori suggeriscano che il lavoro futuro potrebbe affrontare questo aspetto tramite costi appresi o metriche geometriche.