A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

Résumé technique : Note sur les propriétés uniques de la divergence de Kullback–Leibler pour l'échantillonnage par flots de gradient

Énoncé du problème
L'article aborde le problème fondamental de l'échantillonnage à partir d'une distribution de probabilité cible $\pi$ dont la densité est connue à une constante de normalisation près. Il s'agit d'un défi omniprésent en statistique computationnelle et en apprentissage automatique. Une approche standard pour résoudre ce problème consiste à formuler l'échantillonnage comme une tâche d'optimisation sur l'espace des distributions de probabilité, où l'objectif est de minimiser un fonctionnel de divergence $F(\mu)$ mesurant la dissimilarité entre une distribution candidate $\mu$ et la cible $\pi$. Cette optimisation est généralement résolue via des flots de gradient définis sur l'espace des mesures de probabilité, où le choix de la métrique (par exemple, Wasserstein, Fisher–Rao) dicte l'équation différentielle spécifique régissant le flot.

Une contrainte pratique critique est que de nombreux algorithmes d'échantillonnage dérivés de ces flots de gradient nécessitent la connaissance de la constante de normalisation de $\pi$. Cependant, dans la plupart des scénarios réalistes, cette constante est intraitable. Bien que la divergence de Kullback–Leibler (KL) inverse soit largement utilisée car ses flots de gradient associés (tels que la diffusion de Langevin ou les flots de Fisher–Rao) évitent naturellement le besoin de la constante de normalisation, la justification théorique expliquant pourquoi seule la divergence KL possède cette propriété au sein de familles plus larges de divergences n'a pas été pleinement établie.

Méthodologie
Les auteurs étudient la classe des divergences de Bregman, une famille flexible de divergences qui inclut la divergence KL, les divergences $\beta$ et les normes $L_2$. Ils définissent la divergence de Bregman $B_\Phi(\mu|\pi)$ via un fonctionnel convexe $\Phi$ agissant sur les densités de $\mu$ et $\pi$ par rapport à une mesure dominante $\lambda$.

L'approche méthodologique centrale consiste à analyser le comportement du flot de gradient sous le changement d'échelle de la distribution cible. Plus précisément, les auteurs examinent la condition sous laquelle le flot de gradient d'une divergence $F(\mu) = B_\Phi(\mu|\pi)$ reste invariant (ou conduit à des problèmes de minimisation équivalents) lorsque la cible $\pi$ est remplacée par une version mise à l'échelle $c\pi$ (où $c > 0$).

L'analyse se déroule en deux étapes :

1. Invariance stricte : Les auteurs considèrent d'abord la condition où la différence $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ est indépendante de $\mu$. Cela garantit que la première variation (dérivée fonctionnelle) $\delta F / \delta \mu$ est identique pour $\pi$ et $c\pi$, ce qui signifie que la dynamique du flot de gradient reste strictement inchangée.
2. Invariance relâchée : Ils considèrent ensuite une condition relâchée où les minimiseurs de $D(\mu|\pi)$ et $D(\mu|c\pi)$ coïncident, même si les flots de gradient eux-mêmes diffèrent par une constante multiplicative. Cela est formalisé par $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$.

Les auteurs utilisent l'analyse fonctionnelle et les propriétés des fonctions convexes pour dériver les conditions nécessaires sur la fonction génératrice $\Phi$ (pour les divergences de Bregman) et la fonction convexe $f$ (pour les $f$-divergences) qui satisfont ces propriétés d'invariance.

Contributions et résultats clés

1. Unicité de la KL dans les divergences de Bregman (Proposition 1) :
   Le résultat principal établit que la divergence de Kullback–Leibler est la seule divergence de Bregman (au sein de la classe définie par les densités) telle que la différence $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ soit indépendante de $\mu$.

   • Ébauche de preuve : En exigeant que la différence soit indépendante de $\mu$, les auteurs dérivent une équation fonctionnelle pour la dérivée de la fonction génératrice, $\Phi'$. La résolution de cette équation révèle que $\Phi'(t)$ doit être de la forme $a \log t + b$. Par conséquent, la divergence résultante est proportionnelle à la divergence KL ($B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$).
   • Implication : Pour toute autre divergence de Bregman (y compris les divergences $\beta$ et $L_2$), le flot de gradient dépend explicitement de la constante de normalisation de $\pi$. Remplacer $\pi$ par sa version non normalisée $\gamma$ altère la dynamique du flot de gradient, rendant les implémentations d'échantillonnage standard invalides sans connaissance de la constante.

2. Extension aux $f$-divergences (Proposition 3) :
   Les auteurs analysent la condition relâchée (11) pour les $f$-divergences. Ils identifient que les seules $f$-divergences satisfaisant cette condition sont :

   • La divergence de Kullback–Leibler directe ($KL(\pi|\mu)$).
   • Une famille spécifique et complexe de $f$-divergences impliquant des fonctions périodiques (Équation 12).
   • Note : Bien que la KL directe soit identifiée, l'article note que les flots de gradient pour cette divergence sont difficiles à mettre en œuvre sans approximations supplémentaires. La famille complexe identifiée est théoriquement intéressante mais ne s'avère pas, dans ce travail, produire d'algorithmes d'échantillonnage pratiques et implémentables.

3. Exclusion d'autres familles :
   L'article précise que, bien que d'autres méthodes existent pour éviter la constante de normalisation (telles que la discrépance de Stein à noyau ou la discrépance maximale moyenne avec des noyaux spécifiques), celles-ci ne relèvent pas des définitions standard des divergences de Bregman ou des $f$-divergences utilisées dans les théorèmes principaux. Le résultat isole spécifiquement la divergence KL comme la solution unique au sein des cadres des divergences de Bregman et des $f$-divergences.

Portée et affirmations
L'article prétend fournir une justification théorique rigoureuse du succès empirique répandu de la divergence de Kullback–Leibler dans les méthodes d'échantillonnage basées sur le gradient (telles que la dynamique de Langevin, SVGD et le Monte Carlo séquentiel).

• Complétude théorique : Le résultat complète les travaux antérieurs de Chen et al. [2023], qui ont établi une unicité similaire pour les $f$-divergences dans le contexte des densités de Lebesgue. Cet article étend la portée à la classe plus large des divergences de Bregman et inclut les mesures discrètes.
• Orientation pratique : Les résultats expliquent pourquoi les divergences alternatives (comme les divergences $\alpha$ ou $\beta$), malgré leurs propriétés souhaitables pour capturer le comportement des queues ou cibler les modes, échouent généralement à produire des algorithmes d'échantillonnage fonctionnant avec des cibles non normalisées. Les auteurs affirment que si l'on souhaite utiliser des flots de gradient sans connaître la constante de normalisation, la divergence KL (ou la KL directe, bien que plus difficile à mettre en œuvre) est essentiellement la seule option viable au sein de ces familles de divergences standard.
• Limites : Les auteurs notent modestement que leurs résultats n'excluent pas l'existence de divergences non standard (comme la discrépance de Stein à noyau) capables de contourner la constante de normalisation, mais ils délimitent fermement les frontières des classes de divergences de Bregman et des $f$-divergences.

En résumé, l'article démontre que la capacité d'une divergence à faciliter l'échantillonnage par flots de gradient sans connaissance de la constante de normalisation est une propriété unique et définissante de la divergence de Kullback–Leibler au sein des familles de divergences de Bregman et des $f$-divergences.