A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

Technisches Fazit: Eine Anmerkung zu den einzigartigen Eigenschaften der Kullback–Leibler-Divergenz für das Sampling mittels Gradientenflüssen

Problemstellung
Der Beitrag adressiert das fundamentale Problem des Samplings aus einer Zielwahrscheinlichkeitsverteilung $\pi$, deren Dichte nur bis auf eine Normierungskonstante bekannt ist. Dies stellt eine allgegenwärtige Herausforderung in der computergestützten Statistik und im maschinellen Lernen dar. Ein Standardansatz für dieses Problem besteht darin, das Sampling als Optimierungsproblem über den Raum der Wahrscheinlichkeitsverteilungen zu formulieren, wobei das Ziel darin besteht, ein Divergenzfunktional $F(\mu)$ zu minimieren, das die Dissimilarität zwischen einer Kandidatenverteilung $\mu$ und dem Ziel $\pi$ misst. Diese Optimierung wird typischerweise durch Gradientenflüsse gelöst, die über den Raum der Wahrscheinlichkeitsmaße definiert sind, wobei die Wahl der Metrik (z. B. Wasserstein, Fisher–Rao) die spezifische Differentialgleichung bestimmt, die den Fluss steuert.

Eine kritische praktische Einschränkung besteht darin, dass viele aus diesen Gradientenflüssen abgeleitete Sampling-Algorithmen Kenntnis der Normierungskonstante von $\pi$ erfordern. In den meisten realistischen Szenarien ist diese Konstante jedoch nicht handhabbar. Während die reverse Kullback–Leibler-Divergenz (KL-Divergenz) weit verbreitet ist, da ihre zugehörigen Gradientenflüsse (wie die Langevin-Diffusion oder Fisher–Rao-Flüsse) natürlicherweise die Notwendigkeit der Normierungskonstante umgehen, war die theoretische Begründung dafür, warum nur die KL-Divergenz diese Eigenschaft innerhalb breiterer Familien von Divergenzen besitzt, bisher nicht vollständig etabliert.

Methodik
Die Autoren untersuchen die Klasse der Bregman-Divergenzen, eine flexible Familie von Divergenzen, die die KL-Divergenz, $\beta$-Divergenzen und $L_2$-Normen umfasst. Sie definieren die Bregman-Divergenz $B_\Phi(\mu|\pi)$ über ein konvexes Funktional $\Phi$, das auf den Dichten von $\mu$ und $\pi$ bezüglich eines dominierenden Maßes $\lambda$ wirkt.

Der methodische Kernansatz besteht darin, das Verhalten des Gradientenflusses unter Skalierung der Zielverteilung zu analysieren. Konkret untersuchen die Autoren die Bedingung, unter der der Gradientenfluss einer Divergenz $F(\mu) = B_\Phi(\mu|\pi)$ invariant bleibt (oder zu äquivalenten Minimierungsproblemen führt), wenn das Ziel $\pi$ durch eine skalierte Version $c\pi$ ersetzt wird (wobei $c > 0$).

Die Analyse erfolgt in zwei Stufen:

1. Strikte Invarianz: Die Autoren betrachten zunächst die Bedingung, unter der die Differenz $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ unabhängig von $\mu$ ist. Dies stellt sicher, dass die erste Variation (funktionaler Ableitung) $\delta F / \delta \mu$ für $\pi$ und $c\pi$ identisch ist, was bedeutet, dass die Dynamik des Gradientenflusses strikt unverändert bleibt.
2. Gelockerte Invarianz: Anschließend betrachten sie eine gelockerte Bedingung, bei der die Minimierer von $D(\mu|\pi)$ und $D(\mu|c\pi)$ übereinstimmen, selbst wenn die Gradientenflüsse selbst sich um einen multiplikativen Faktor unterscheiden. Dies wird formalisiert als $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$.

Die Autoren nutzen Funktionalanalysis und Eigenschaften konvexer Funktionen, um notwendige Bedingungen für die Generatorfunktion $\Phi$ (für Bregman-Divergenzen) und die konvexe Funktion $f$ (für $f$-Divergenzen) abzuleiten, die diese Invarianzeigenschaften erfüllen.

Hauptbeiträge und Ergebnisse

1. Einzigartigkeit der KL-Divergenz bei Bregman-Divergenzen (Proposition 1):
   Das Hauptergebnis stellt fest, dass die Kullback–Leibler-Divergenz die einzige Bregman-Divergenz (innerhalb der durch Dichten definierten Klasse) ist, für die die Differenz $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ unabhängig von $\mu$ ist.

   • Skizze des Beweises: Durch die Forderung, dass die Differenz unabhängig von $\mu$ ist, leiten die Autoren eine Funktionalgleichung für die Ableitung der Generatorfunktion, $\Phi'$, ab. Die Lösung dieser Gleichung zeigt, dass $\Phi'(t)$ die Form $a \log t + b$ haben muss. Folglich ist die resultierende Divergenz proportional zur KL-Divergenz ($B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$).
   • Implikation: Für jede andere Bregman-Divergenz (einschließlich $\beta$-Divergenzen und $L_2$) hängt der Gradientenfluss explizit von der Normierungskonstante von $\pi$ ab. Der Ersatz von $\pi$ durch seine unnormalisierte Version $\gamma$ verändert die Dynamik des Gradientenflusses und macht Standard-Sampling-Implementierungen ohne Kenntnis der Konstante ungültig.

2. Erweiterung auf $f$-Divergenzen (Proposition 3):
   Die Autoren analysieren die gelockerte Bedingung (11) für $f$-Divergenzen. Sie identifizieren, dass die einzigen $f$-Divergenzen, die diese Bedingung erfüllen, sind:

   • Die vorwärtige Kullback–Leibler-Divergenz ($KL(\pi|\mu)$).
   • Eine spezifische, komplexe Familie von $f$-Divergenzen, die periodische Funktionen beinhaltet (Gleichung 12).
   • Hinweis: Obwohl die vorwärtige KL-Divergenz identifiziert wird, stellt der Beitrag fest, dass Gradientenflüsse für diese Divergenz ohne zusätzliche Approximationen schwer zu implementieren sind. Die identifizierte komplexe Familie ist theoretisch interessant, wird in dieser Arbeit jedoch nicht als Quelle für praktische, implementierbare Sampling-Algorithmen nachgewiesen.

3. Ausschluss anderer Familien:
   Der Beitrag klärt, dass zwar andere Methoden existieren, um die Normierungskonstante zu umgehen (wie die Kernel Stein Diskrepanz oder die Maximum Mean Discrepancy mit spezifischen Kernen), diese jedoch nicht unter die Standarddefinitionen von Bregman- oder $f$-Divergenzen fallen, die in den Hauptsätzen verwendet werden. Das Ergebnis isoliert spezifisch die KL-Divergenz als die eindeutige Lösung innerhalb der Rahmenwerke der Bregman- und $f$-Divergenzen.

Bedeutung und Behauptungen
Der Beitrag beansprucht, eine rigorose theoretische Begründung für den weit verbreiteten empirischen Erfolg der Kullback–Leibler-Divergenz bei gradientenbasierten Sampling-Methoden (wie Langevin-Dynamik, SVGD und Sequential Monte Carlo) zu liefern.

• Theoretische Vollständigkeit: Das Ergebnis ergänzt vorherige Arbeiten von Chen et al. [2023], die eine ähnliche Einzigartigkeit für $f$-Divergenzen im Kontext von Lebesgue-Dichten etablierten. Dieser Beitrag erweitert den Geltungsbereich auf die breitere Klasse der Bregman-Divergenzen und schließt diskrete Maße ein.
• Praktische Anleitung: Die Ergebnisse erklären, warum alternative Divergenzen (wie $\alpha$-Divergenzen oder $\beta$-Divergenzen), trotz ihrer wünschenswerten Eigenschaften zur Erfassung des Schwanzverhaltens oder zur Zielerreichung von Moden, im Allgemeinen keine Sampling-Algorithmen hervorbringen, die mit unnormalisierten Zielen funktionieren. Die Autoren behaupten, dass, wenn man Gradientenflüsse ohne Kenntnis der Normierungskonstante verwenden möchte, die KL-Divergenz (oder die vorwärtige KL, obwohl schwieriger zu implementieren) innerhalb dieser Standard-Divergenzfamilien im Wesentlichen die einzige gangbare Option ist.
• Einschränkungen: Die Autoren vermerken bescheiden, dass ihre Ergebnisse die Existenz nicht-standardisierter Divergenzen (wie der Kernel Stein Diskrepanz), die die Normierungskonstante umgehen können, nicht ausschließen, sie aber die Grenzen der Klassen der Bregman- und $f$-Divergenzen fest umreißen.

Zusammenfassend zeigt der Beitrag, dass die Fähigkeit einer Divergenz, das Sampling mittels Gradientenflüssen ohne Kenntnis der Normierungskonstante zu ermöglichen, eine einzigartige und definierende Eigenschaft der Kullback–Leibler-Divergenz innerhalb der Familien der Bregman- und $f$-Divergenzen ist.