A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

Riepilogo Tecnico: Una Nota sulle Proprietà Uniche della Divergenza di Kullback–Leibler per il Campionamento tramite Flussi di Gradiente

Enunciato del Problema
Il lavoro affronta il problema fondamentale del campionamento da una distribuzione di probabilità target $\pi$ la cui densità è nota solo a meno di una costante di normalizzazione. Questa è una sfida pervasiva nella statistica computazionale e nell'apprendimento automatico. Un approccio standard a tale problema consiste nel formulare il campionamento come un compito di ottimizzazione sullo spazio delle distribuzioni di probabilità, dove l'obiettivo è minimizzare un funzionale di divergenza $F(\mu)$ che misura la dissimilarità tra una distribuzione candidata $\mu$ e il target $\pi$. Tale ottimizzazione viene tipicamente risolta tramite flussi di gradiente definiti sullo spazio delle misure di probabilità, dove la scelta della metrica (ad esempio, Wasserstein, Fisher–Rao) detta l'equazione differenziale specifica che governa il flusso.

Un vincolo pratico critico è che molti algoritmi di campionamento derivati da questi flussi di gradiente richiedono la conoscenza della costante di normalizzazione di $\pi$. Tuttavia, nella maggior parte degli scenari realistici, questa costante è intrattabile. Sebbene la divergenza di Kullback–Leibler (KL) inversa sia ampiamente utilizzata perché i suoi flussi di gradiente associati (come la diffusione di Langevin o i flussi Fisher–Rao) evitano naturalmente la necessità della costante di normalizzazione, la giustificazione teorica del motivo per cui solo la divergenza KL possiede questa proprietà all'interno di famiglie più ampie di divergenze non è stata pienamente stabilita.

Metodologia
Gli autori investigano la classe delle divergenze di Bregman, una famiglia flessibile di divergenze che include la divergenza KL, le $\beta$-divergenze e le norme $L_2$. Definiscono la divergenza di Bregman $B_\Phi(\mu|\pi)$ tramite un funzionale convesso $\Phi$ che agisce sulle densità di $\mu$ e $\pi$ rispetto a una misura dominante $\lambda$.

L'approccio metodologico centrale consiste nell'analizzare il comportamento del flusso di gradiente sotto la scalatura della distribuzione target. Nello specifico, gli autori esaminano la condizione in cui il flusso di gradiente di una divergenza $F(\mu) = B_\Phi(\mu|\pi)$ rimane invariato (o porta a problemi di minimizzazione equivalenti) quando il target $\pi$ viene sostituito da una versione scalata $c\pi$ (dove $c > 0$).

L'analisi procede in due fasi:

1. Invarianza Rigida: Gli autori considerano inizialmente la condizione in cui la differenza $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ è indipendente da $\mu$. Ciò garantisce che la prima variazione (derivata funzionale) $\delta F / \delta \mu$ sia identica per $\pi$ e $c\pi$, il che significa che la dinamica del flusso di gradiente rimane strettamente invariata.
2. Invarianza Rilassata: Successivamente, considerano una condizione rilassata in cui i minimizzatori di $D(\mu|\pi)$ e $D(\mu|c\pi)$ coincidono, anche se i flussi di gradiente stessi differiscono per una costante moltiplicativa. Ciò viene formalizzato come $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$.

Gli autori utilizzano l'analisi funzionale e le proprietà delle funzioni convesse per derivare condizioni necessarie sulla funzione generatrice $\Phi$ (per le divergenze di Bregman) e sulla funzione convessa $f$ (per le $f$-divergenze) che soddisfino queste proprietà di invarianza.

Contributi e Risultati Chiave

1. Unicità della KL nelle Divergenze di Bregman (Proposizione 1):
   Il risultato principale stabilisce che la divergenza di Kullback–Leibler è l'unica divergenza di Bregman (all'interno della classe definita dalle densità) tale che la differenza $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ sia indipendente da $\mu$.

   • Schema della Dimostrazione: Richiedendo che la differenza sia indipendente da $\mu$, gli autori derivano un'equazione funzionale per la derivata della funzione generatrice, $\Phi'$. Risolvendo questa equazione si scopre che $\Phi'(t)$ deve essere della forma $a \log t + b$. Di conseguenza, la divergenza risultante è proporzionale alla divergenza KL ($B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$).
   • Implicazione: Per qualsiasi altra divergenza di Bregman (incluso le $\beta$-divergenze e $L_2$), il flusso di gradiente dipende esplicitamente dalla costante di normalizzazione di $\pi$. Sostituire $\pi$ con la sua versione non normalizzata $\gamma$ altera la dinamica del flusso di gradiente, rendendo le implementazioni standard di campionamento non valide senza la conoscenza della costante.

2. Estensione alle $f$-Divergenze (Proposizione 3):
   Gli autori analizzano la condizione rilassata (11) per le $f$-divergenze. Identificano che le uniche $f$-divergenze che soddisfano questa condizione sono:

   • La divergenza di Kullback–Leibler diretta ($KL(\pi|\mu)$).
   • Una specifica e complessa famiglia di $f$-divergenze che coinvolge funzioni periodiche (Equazione 12).
   • Nota: Sebbene la KL diretta venga identificata, il lavoro nota che i flussi di gradiente per questa divergenza sono difficili da implementare senza ulteriori approssimazioni. La famiglia complessa identificata è teoricamente interessante ma non risulta generare algoritmi di campionamento pratici e implementabili in questo lavoro.

3. Esclusione di Altre Famiglie:
   Il lavoro chiarisce che, sebbene esistano altri metodi per evitare la costante di normalizzazione (come la Discrepanza di Stein a Nucleo o la Discrepanza del Massimo Mezzo con nuclei specifici), questi non rientrano nelle definizioni standard di divergenze di Bregman o $f$-divergenze utilizzate nei teoremi principali. Il risultato isola specificamente la divergenza KL come l'unica soluzione all'interno dei framework delle divergenze di Bregman e $f$-divergenze.

Significato e Affermazioni
Il lavoro afferma di fornire una giustificazione teorica rigorosa per il diffuso successo empirico della divergenza di Kullback–Leibler nei metodi di campionamento basati sul gradiente (come la dinamica di Langevin, SVGD e Monte Carlo Sequenziale).

• Completezza Teorica: Il risultato completa il lavoro precedente di Chen et al. [2023], che aveva stabilito una similar unicità per le $f$-divergenze nel contesto delle densità di Lebesgue. Questo lavoro estende l'ambito alla classe più ampia delle divergenze di Bregman e include misure discrete.
• Guida Pratica: I risultati spiegano perché le divergenze alternative (come le $\alpha$-divergenze o le $\beta$-divergenze), nonostante le loro proprietà desiderabili per catturare il comportamento delle code o mirare alle mode, generalmente falliscono nel produrre algoritmi di campionamento che funzionano con target non normalizzati. Gli autori affermano che, se si desidera utilizzare flussi di gradiente senza conoscere la costante di normalizzazione, la divergenza KL (o la KL diretta, sebbene più difficile da implementare) è essenzialmente l'unica opzione praticabile all'interno di queste famiglie standard di divergenze.
• Limitazioni: Gli autori notano modestamente che i loro risultati non precludono l'esistenza di divergenze non standard (come la Discrepanza di Stein a Nucleo) che possono bypassare la costante di normalizzazione, ma delineano fermamente i confini delle classi di divergenze di Bregman e $f$-divergenze.

In sintesi, il lavoro dimostra che la capacità di una divergenza di facilitare il campionamento tramite flussi di gradiente senza la conoscenza della costante di normalizzazione è una proprietà unica e definitoria della divergenza di Kullback–Leibler all'interno delle famiglie delle divergenze di Bregman e $f$-divergenze.