A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

Resumen Técnico: Una nota sobre las propiedades únicas de la divergencia de Kullback–Leibler para el muestreo mediante flujos de gradiente

Planteamiento del Problema
El artículo aborda el problema fundamental de muestrear a partir de una distribución de probabilidad objetivo $\pi$ cuya densidad es conocida solo hasta una constante de normalización. Este es un desafío omnipresente en la estadística computacional y el aprendizaje automático. Un enfoque estándar para este problema consiste en formular el muestreo como una tarea de optimización sobre el espacio de distribuciones de probabilidad, donde el objetivo es minimizar un funcional de divergencia $F(\mu)$ que mide la disimilitud entre una distribución candidata $\mu$ y la objetivo $\pi$. Esta optimización se resuelve típicamente mediante flujos de gradiente definidos sobre el espacio de medidas de probabilidad, donde la elección de la métrica (por ejemplo, Wasserstein, Fisher–Rao) dicta la ecuación diferencial específica que gobierna el flujo.

Una restricción práctica crítica es que muchos algoritmos de muestreo derivados de estos flujos de gradiente requieren conocer la constante de normalización de $\pi$. Sin embargo, en la mayoría de los escenarios realistas, esta constante es intratable. Si bien la divergencia de Kullback–Leibler (KL) inversa se utiliza ampliamente porque sus flujos de gradiente asociados (como la difusión de Langevin o los flujos de Fisher–Rao) evitan naturalmente la necesidad de la constante de normalización, la justificación teórica de por qué solo la divergencia KL posee esta propiedad dentro de familias más amplias de divergencias no se ha establecido completamente.

Metodología
Los autores investigan la clase de divergencias de Bregman, una familia flexible de divergencias que incluye la divergencia KL, las divergencias $\beta$ y las normas $L_2$. Definen la divergencia de Bregman $B_\Phi(\mu|\pi)$ mediante un funcional convexo $\Phi$ que actúa sobre las densidades de $\mu$ y $\pi$ con respecto a una medida dominante $\lambda$.

El enfoque metodológico central implica analizar el comportamiento del flujo de gradiente bajo el escalado de la distribución objetivo. Específicamente, los autores examinan la condición bajo la cual el flujo de gradiente de una divergencia $F(\mu) = B_\Phi(\mu|\pi)$ permanece invariante (o conduce a problemas de minimización equivalentes) cuando la objetivo $\pi$ se reemplaza por una versión escalada $c\pi$ (donde $c > 0$).

El análisis procede en dos etapas:

1. Invarianza Estricta: Los autores consideran primero la condición donde la diferencia $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ es independiente de $\mu$. Esto asegura que la primera variación (derivada funcional) $\delta F / \delta \mu$ sea idéntica para $\pi$ y $c\pi$, lo que significa que la dinámica del flujo de gradiente permanece estrictamente sin cambios.
2. Invarianza Relajada: Posteriormente, consideran una condición relajada donde los minimizadores de $D(\mu|\pi)$ y $D(\mu|c\pi)$ coinciden, incluso si los propios flujos de gradiente difieren por una constante multiplicativa. Esto se formaliza como $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$.

Los autores utilizan el análisis funcional y las propiedades de las funciones convexas para derivar condiciones necesarias sobre la función generadora $\Phi$ (para las divergencias de Bregman) y la función convexa $f$ (para las divergencias $f$) que satisfacen estas propiedades de invarianza.

Contribuciones y Resultados Clave

1. Unicidad de la KL en Divergencias de Bregman (Proposición 1):
   El resultado principal establece que la divergencia de Kullback–Leibler es la única divergencia de Bregman (dentro de la clase definida por densidades) tal que la diferencia $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ es independiente de $\mu$.

   • Esquema de la prueba: Al exigir que la diferencia sea independiente de $\mu$, los autores derivan una ecuación funcional para la derivada de la función generadora, $\Phi'$. Resolver esta ecuación revela que $\Phi'(t)$ debe ser de la forma $a \log t + b$. En consecuencia, la divergencia resultante es proporcional a la divergencia KL ($B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$).
   • Implicación: Para cualquier otra divergencia de Bregman (incluidas las divergencias $\beta$ y $L_2$), el flujo de gradiente depende explícitamente de la constante de normalización de $\pi$. Reemplazar $\pi$ con su versión no normalizada $\gamma$ altera la dinámica del flujo de gradiente, invalidando las implementaciones estándar de muestreo sin conocimiento de la constante.

2. Extensión a Divergencias $f$ (Proposición 3):
   Los autores analizan la condición relajada (11) para las divergencias $f$. Identifican que las únicas divergencias $f$ que satisfacen esta condición son:

   • La divergencia de Kullback–Leibler directa ($KL(\pi|\mu)$).
   • Una familia específica y compleja de divergencias $f$ que involucran funciones periódicas (Ecuación 12).
   • Nota: Aunque se identifica la KL directa, el artículo señala que los flujos de gradiente para esta divergencia son difíciles de implementar sin aproximaciones adicionales. La familia compleja identificada es teóricamente interesante, pero no se demuestra que produzca algoritmos de muestreo prácticos e implementables en este trabajo.

3. Exclusión de Otras Familias:
   El artículo aclara que, aunque existen otros métodos para evitar la constante de normalización (como la Discrepancia de Stein con Núcleo o la Discrepancia de Media Máxima con núcleos específicos), estos no caen bajo las definiciones estándar de divergencias de Bregman o $f$ utilizadas en los teoremas principales. El resultado aísla específicamente a la divergencia KL como la solución única dentro de los marcos de divergencias de Bregman y $f$.

Significado y Afirmaciones
El artículo afirma proporcionar una justificación teórica rigurosa para el éxito empírico generalizado de la divergencia de Kullback–Leibler en métodos de muestreo basados en gradientes (como la dinámica de Langevin, SVGD y Monte Carlo Secuencial).

• Completitud Teórica: El resultado complementa el trabajo previo de Chen et al. [2023], que estableció una unicidad similar para las divergencias $f$ en el contexto de densidades de Lebesgue. Este artículo extiende el alcance a la clase más amplia de divergencias de Bregman e incluye medidas discretas.
• Orientación Práctica: Los hallazgos explican por qué las divergencias alternativas (como las divergencias $\alpha$ o $\beta$), a pesar de sus propiedades deseables para capturar el comportamiento de las colas o apuntar a modos, generalmente fallan en producir algoritmos de muestreo que funcionen con objetivos no normalizados. Los autores afirman que si uno desea utilizar flujos de gradiente sin conocer la constante de normalización, la divergencia KL (o la KL directa, aunque más difícil de implementar) es esencialmente la única opción viable dentro de estas familias estándar de divergencias.
• Limitaciones: Los autores notan modestamente que sus resultados no excluyen la existencia de divergencias no estándar (como la Discrepancia de Stein con Núcleo) que pueden eludir la constante de normalización, pero delimitan firmemente los límites de las clases de divergencias de Bregman y $f$.

En resumen, el artículo demuestra que la capacidad de una divergencia para facilitar el muestreo mediante flujos de gradiente sin conocimiento de la constante de normalización es una propiedad única y definitoria de la divergencia de Kullback–Leibler dentro de las familias de divergencias de Bregman y $f$.