A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

Resumo Técnico: Uma Nota sobre as Propriedades Únicas da Divergência de Kullback–Leibler para Amostragem via Fluxos de Gradiente

Enunciado do Problema
O artigo aborda o problema fundamental de amostrar a partir de uma distribuição de probabilidade alvo $\pi$ cuja densidade é conhecida apenas até uma constante de normalização. Este é um desafio pervasivo na estatística computacional e no aprendizado de máquina. Uma abordagem padrão para este problema envolve formular a amostragem como uma tarefa de otimização sobre o espaço de distribuições de probabilidade, onde o objetivo é minimizar um funcional de divergência $F(\mu)$ que mede a dissimilaridade entre uma distribuição candidata $\mu$ e o alvo $\pi$. Esta otimização é tipicamente resolvida via fluxos de gradiente definidos sobre o espaço de medidas de probabilidade, onde a escolha da métrica (por exemplo, Wasserstein, Fisher–Rao) dita a equação diferencial específica que governa o fluxo.

Uma restrição prática crítica é que muitos algoritmos de amostragem derivados desses fluxos de gradiente exigem o conhecimento da constante de normalização de $\pi$. No entanto, na maioria dos cenários realistas, essa constante é intratável. Embora a divergência de Kullback–Leibler (KL) reversa seja amplamente utilizada porque seus fluxos de gradiente associados (como a difusão de Langevin ou fluxos Fisher–Rao) naturalmente evitam a necessidade da constante de normalização, a justificação teórica de por que apenas a divergência KL possui essa propriedade dentro de famílias mais amplas de divergências não foi totalmente estabelecida.

Metodologia
Os autores investigam a classe das divergências de Bregman, uma família flexível de divergências que inclui a divergência KL, as divergências $\beta$ e as normas $L_2$. Eles definem a divergência de Bregman $B_\Phi(\mu|\pi)$ via um funcional convexo $\Phi$ atuando sobre as densidades de $\mu$ e $\pi$ em relação a uma medida dominante $\lambda$.

A abordagem metodológica central envolve analisar o comportamento do fluxo de gradiente sob a escala da distribuição alvo. Especificamente, os autores examinam a condição sob a qual o fluxo de gradiente de uma divergência $F(\mu) = B_\Phi(\mu|\pi)$ permanece invariante (ou leva a problemas de minimização equivalentes) quando o alvo $\pi$ é substituído por uma versão escalada $c\pi$ (onde $c > 0$).

A análise prossegue em dois estágios:

1. Invariância Estrita: Os autores consideram primeiro a condição em que a diferença $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ é independente de $\mu$. Isso garante que a primeira variação (derivada funcional) $\delta F / \delta \mu$ seja idêntica para $\pi$ e $c\pi$, significando que a dinâmica do fluxo de gradiente permanece estritamente inalterada.
2. Invariância Relaxada: Subsequentemente, eles consideram uma condição relaxada onde os minimizadores de $D(\mu|\pi)$ e $D(\mu|c\pi)$ coincidem, mesmo que os próprios fluxos de gradiente diferam por uma constante multiplicativa. Isso é formalizado como $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$.

Os autores utilizam análise funcional e propriedades de funções convexas para derivar condições necessárias sobre a função geradora $\Phi$ (para divergências de Bregman) e a função convexa $f$ (para $f$-divergências) que satisfazem essas propriedades de invariância.

Principais Contribuições e Resultados

1. Unicidade da KL em Divergências de Bregman (Proposição 1):
   O resultado primário estabelece que a divergência de Kullback–Leibler é a única divergência de Bregman (dentro da classe definida por densidades) tal que a diferença $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$ é independente de $\mu$.

   • Esboço da Prova: Ao exigir que a diferença seja independente de $\mu$, os autores derivam uma equação funcional para a derivada da função geradora, $\Phi'$. Resolver esta equação revela que $\Phi'(t)$ deve ser da forma $a \log t + b$. Consequentemente, a divergência resultante é proporcional à divergência KL ($B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$).
   • Implicação: Para qualquer outra divergência de Bregman (incluindo divergências $\beta$ e $L_2$), o fluxo de gradiente depende explicitamente da constante de normalização de $\pi$. Substituir $\pi$ pela sua versão não normalizada $\gamma$ altera a dinâmica do fluxo de gradiente, tornando implementações padrão de amostragem inválidas sem o conhecimento da constante.

2. Extensão para $f$-Divergências (Proposição 3):
   Os autores analisam a condição relaxada (11) para $f$-divergências. Eles identificam que as únicas $f$-divergências que satisfazem esta condição são:

   • A divergência de Kullback–Leibler direta ($KL(\pi|\mu)$).
   • Uma família específica e complexa de $f$-divergências envolvendo funções periódicas (Equação 12).
   • Nota: Embora a KL direta seja identificada, o artigo observa que os fluxos de gradiente para esta divergência são difíceis de implementar sem aproximações adicionais. A família complexa identificada é teoricamente interessante, mas não é demonstrada como geradora de algoritmos de amostragem práticos e implementáveis neste trabalho.

3. Exclusão de Outras Famílias:
   O artigo esclarece que, embora existam outros métodos para evitar a constante de normalização (como a Discrepância de Stein com Kernel ou a Discrepância de Máximo de Média com kernels específicos), estes não se enquadram nas definições padrão de divergências de Bregman ou $f$-divergências usadas nos teoremas principais. O resultado isola especificamente a divergência KL como a solução única dentro dos quadros de Bregman e $f$-divergências.

Significado e Alegações
O artigo alega fornecer uma justificação teórica rigorosa para o sucesso empírico generalizado da divergência de Kullback–Leibler em métodos de amostragem baseados em gradiente (como dinâmica de Langevin, SVGD e Monte Carlo Sequencial).

• Completude Teórica: O resultado complementa trabalhos anteriores de Chen et al. [2023], que estabeleceram uma unicidade similar para $f$-divergências no contexto de densidades de Lebesgue. Este artigo estende o escopo para a classe mais ampla de divergências de Bregman e inclui medidas discretas.
• Orientação Prática: As descobertas explicam por que divergências alternativas (como divergências $\alpha$ ou $\beta$), apesar de suas propriedades desejáveis para capturar comportamento de cauda ou atingir modos, geralmente falham em produzir algoritmos de amostragem que funcionam com alvos não normalizados. Os autores afirmam que, se se deseja usar fluxos de gradiente sem conhecer a constante de normalização, a divergência KL (ou a KL direta, embora mais difícil de implementar) é essencialmente a única opção viável dentro dessas famílias padrão de divergências.
• Limitações: Os autores observam modestamente que seus resultados não precluem a existência de divergências não padrão (como a Discrepância de Stein com Kernel) que podem contornar a constante de normalização, mas delimitam firmemente os limites das classes de Bregman e $f$-divergências.

Em resumo, o artigo demonstra que a capacidade de uma divergência de facilitar a amostragem via fluxos de gradiente sem conhecimento da constante de normalização é uma propriedade única e definidora da divergência de Kullback–Leibler dentro das famílias de divergências de Bregman e $f$-divergências.