A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

Technische Samenvatting: Een Opmerking over de Unieke Eigenschappen van de Kullback–Leibler-divergentie voor Steekproeftrekking via Gradiëntstromen

Probleemstelling
Het artikel behandelt het fundamentele probleem van het trekken van steekproeven uit een doelprioriteit $\pi$ waarvan de dichtheid slechts bekend is tot een normalisatieconstante. Dit is een alomtegenwoordige uitdaging in computationele statistiek en machine learning. Een standaardbenadering voor dit probleem bestaat uit het formuleren van steekproeftrekking als een optimalisatietaken over de ruimte van waarschijnlijkheidsverdelingen, waarbij het doel is om een divergentiefunctionaal $F(\mu)$ te minimaliseren dat de dissimilariteit meet tussen een kandidaatverdeling $\mu$ en het doel $\pi$. Deze optimalisatie wordt doorgaans opgelost via gradiëntstromen gedefinieerd over de ruimte van waarschijnlijkheidsmaten, waarbij de keuze van de metriek (bijvoorbeeld Wasserstein, Fisher–Rao) de specifieke differentiaalvergelijking dicteert die de stroom bestuurt.

Een kritieke praktische beperking is dat veel steekproefalgoritmen die zijn afgeleid van deze gradiëntstromen kennis vereisen van de normalisatieconstante van $\pi$. Echter, in de meeste realistische situaties is deze constante onberekenbaar. Hoewel de omgekeerde Kullback–Leibler (KL)-divergentie wijdverbreid wordt gebruikt omdat de bijbehorende gradiëntstromen (zoals Langevin-diffusie of Fisher–Rao-stromen) van nature de behoefte aan de normalisatieconstante vermijden, is de theoretische rechtvaardiging voor waarom alleen de KL-divergentie deze eigenschap bezit binnen bredere families van divergenties, niet volledig vastgesteld.

Methodologie
De auteurs onderzoeken de klasse van Bregman-divergenties, een flexibele familie van divergenties die de KL-divergentie, $\beta$-divergenties en $L_2$-normen omvat. Zij definiëren de Bregman-divergentie $B_\Phi(\mu|\pi)$ via een convex functionaal $\Phi$ dat werkt op de dichtheden van $\mu$ en $\pi$ met betrekking tot een dominerende maat $\lambda$.

De kernmethodologische aanpak bestaat uit het analyseren van het gedrag van de gradiëntstroom onder schaling van de doelprioriteit. Specifiek onderzoeken de auteurs de voorwaarde waaronder de gradiëntstroom van een divergentie $F(\mu) = B_\Phi(\mu|\pi)$ invariant blijft (of leidt tot equivalente minimaliseringsproblemen) wanneer het doel $\pi$ wordt vervangen door een geschaalde versie $c\pi$ (waarbij $c > 0$).

De analyse verloopt in twee fasen:

1. Strikte Invariantie: De auteurs overwegen eerst de voorwaarde waarbij het verschil $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ onafhankelijk is van $\mu$. Dit zorgt ervoor dat de eerste variatie (functionele afgeleide) $\delta F / \delta \mu$ identiek is voor $\pi$ en $c\pi$, wat betekent dat de gradiëntstroomdynamica strikt onveranderd blijven.
2. Gereduceerde Invariantie: Zij overwegen vervolgens een gereduceerde voorwaarde waarbij de minimaliseerders van $D(\mu|\pi)$ en $D(\mu|c\pi)$ samenvallen, zelfs als de gradiëntstromen zelf verschillen door een multiplicatieve constante. Dit wordt geformaliseerd als $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$.

De auteurs maken gebruik van functionaalanalyse en eigenschappen van convexe functies om noodzakelijke voorwaarden af te leiden voor de generatorfunctie $\Phi$ (voor Bregman-divergenties) en de convexe functie $f$ (voor $f$-divergenties) die aan deze invariantie-eigenschappen voldoen.

Belangrijkste Bijdragen en Resultaten

1. Uniciteit van KL in Bregman-divergenties (Propositie 1):
   Het primaire resultaat stelt vast dat de Kullback–Leibler-divergentie de enige Bregman-divergentie is (binnen de klasse gedefinieerd door dichtheden) zodat het verschil $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ onafhankelijk is van $\mu$.

   • Schets van het bewijs: Door te eisen dat het verschil onafhankelijk is van $\mu, leiden de auteurs een functionale vergelijking af voor de afgeleide van de generatorfunctie,$\Phi'$. Het oplossen van deze vergelijking onthult dat $\Phi'(t)$ de vorm $a \log t + b$ moet hebben. Bijgevolg is de resulterende divergentie evenredig met de KL-divergentie ($B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$).
   • Implicatie: Voor elke andere Bregman-divergentie (inclusief $\beta$-divergenties en $L_2$) hangt de gradiëntstroom expliciet af van de normalisatieconstante van $\pi$. Het vervangen van $\pi$ door zijn niet-genormaliseerde versie $\gamma$ verandert de gradiëntstroomdynamica, waardoor standaard implementaties voor steekproeftrekking ongeldig worden zonder kennis van de constante.

2. Uitbreiding naar $f$-divergenties (Propositie 3):
   De auteurs analyseren de gereduceerde voorwaarde (11) voor $f$-divergenties. Zij identificeren dat de enige $f$-divergenties die aan deze voorwaarde voldoen zijn:

   • De voorwaartse Kullback–Leibler-divergentie ($KL(\pi|\mu)$).
   • Een specifieke, complexe familie van $f$-divergenties die periodieke functies omvat (Vergelijking 12).
   • Opmerking: Hoewel de voorwaartse KL wordt geïdentificeerd, merkt het artikel op dat gradiëntstromen voor deze divergentie moeilijk te implementeren zijn zonder aanvullende benaderingen. De geïdentificeerde complexe familie is theoretisch interessant, maar blijkt in dit werk geen praktische, implementeerbare steekproefalgoritmen op te leveren.

3. Uitsluiting van Andere Families:
   Het artikel verduidelijkt dat hoewel andere methoden bestaan om de normalisatieconstante te vermijden (zoals Kernel Stein Discrepancy of Maximum Mean Discrepancy met specifieke kernen), deze niet vallen onder de standaarddefinities van Bregman- of $f$-divergenties die in de belangrijkste stellingen worden gebruikt. Het resultaat isoleert specifiek de KL-divergentie als de unieke oplossing binnen de kaders van Bregman- en $f$-divergenties.

Betekenis en Claims
Het artikel claimt een rigoureuze theoretische rechtvaardiging te bieden voor het wijdverbreide empirische succes van de Kullback–Leibler-divergentie in op gradiënten gebaseerde steekproefmethoden (zoals Langevin-dynamica, SVGD en Sequential Monte Carlo).

• Theoretische Volledigheid: Het resultaat vult eerder werk van Chen et al. [2023] aan, dat een vergelijkbare uniciteit voor $f$-divergenties in de context van Lebesgue-dichtheden vestigde. Dit artikel breidt het toepassingsgebied uit naar de bredere klasse van Bregman-divergenties en omvat discrete maten.
• Praktische Richtlijnen: De bevindingen verklaren waarom alternatieve divergenties (zoals $\alpha$-divergenties of $\beta$-divergenties), ondanks hun wenselijke eigenschappen voor het vastleggen van staartgedrag of het richten op modi, over het algemeen falen om steekproefalgoritmen op te leveren die werken met niet-genormaliseerde doelen. De auteurs stellen dat als men gradiëntstromen wenst te gebruiken zonder kennis van de normalisatieconstante, de KL-divergentie (of de voorwaartse KL, hoewel moeilijker te implementeren) binnen deze standaarddivergentiefamilies essentieel de enige haalbare optie is.
• Beperkingen: De auteurs merken bescheiden op dat hun resultaten het bestaan van niet-standaard divergenties (zoals Kernel Stein Discrepancy) die de normalisatieconstante kunnen omzeilen, niet uitsluiten, maar zij trekken wel degelijk de grenzen van de klassen van Bregman- en $f$-divergenties.

Kortom, het artikel demonstreert dat het vermogen van een divergentie om steekproeftrekking via gradiëntstromen te faciliteren zonder kennis van de normalisatieconstante, een unieke en definiërende eigenschap is van de Kullback–Leibler-divergentie binnen de families van Bregman- en $f$-divergenties.