Resumo Técnico: Inferência Variacional via Descida de Transporte Entrópico

Declaração do Problema

A amostragem aproximada de distribuições alvo intratáveis $\pi(x) \propto \exp(-V(x))$ é um desafio fundamental na inferência Bayesiana, modelagem generativa e simulação científica. Métodos de Inferência Variacional Baseada em Partículas (ParVI) abordam isso evoluindo um conjunto de partículas interagentes para aproximar $\pi$. No entanto, as abordagens dominantes existentes, como o Gradiente de Descida de Stein Variacional (SVGD), dependem de repulsão baseada em kernels. O artigo identifica que esses métodos sofrem de colapso de variância em altas dimensões e colapso de modo em alvos multimodais. Essas patologias são atribuídas à ausência de uma estrutura de transporte global nas interações mediadas por kernels, que falha em coordenar as partículas efetivamente por todo o espaço de estados.

Metodologia: Descida de Transporte Entrópico (ETD)

Os autores introduzem a Descida de Transporte Entrópico (ETD), uma família de algoritmos ParVI que enquadra as atualizações de partículas como problemas de transporte ótimo com regularização entrópica (EOT). A metodologia é derivada através dos seguintes passos teóricos:

1. Elevação do Esquema Proximal JKO: A abordagem baseia-se no esquema Jordan-Kinderlehrer-Otto (JKO), que visualiza a amostragem como um fluxo de gradiente da divergência de Kullback-Leibler (KL) em relação à métrica de Wasserstein. Em vez de otimizar diretamente sobre distribuições, os autores "elevam" a otimização para o espaço de acoplamentos (distribuições conjuntas entre as partículas atuais e as propostas).
2. Relaxação via Regra da Cadeia KL: Para tornar o problema tratável, a divergência KL é decomposta usando a regra da cadeia. Isso gera um limite superior para o objetivo original, transformando o problema em um problema de EOT semi-relaxado.
3. A Família $\tau$: O objetivo resultante é parametrizado por um escalar $\tau \ge 0$, que controla a fidelidade do acoplamento em relação à marginal alvo:
   • Semi-relaxado ($\tau=0$): O alvo entra apenas como uma medida de referência no regularizador KL.
   • Balanceado ($\tau \to \infty$): A marginal alvo é imposta exatamente.
   • Não balanceado ($0 < \tau < \infty$): Uma interpolação entre os dois extremos.
4. Implementação Algorítmica: Cada iteração envolve:
   • Propor: Gerar posições candidatas (propostas) $\{y_j\}$, seja via random walk ou um passo guiado pelo score (Euler-Maruyama).
   • Acoplar: Resolver o problema de EOT entre as partículas atuais e as propostas usando o algoritmo de Sinkhorn. Isso computa um plano de transporte (matriz de acoplamento) que minimiza o custo de transporte mais a regularização entrópica.
   • Atualizar: Reamostrar partículas com base na distribuição condicional definida pelo plano de transporte.

Crucialmente, o ETD pode operar de forma livre de score (score-free), exigindo apenas avaliações pontuais da densidade alvo não normalizada, embora também possa incorporar informações de score.

Principais Contribuições

O artigo apresenta três contribuições teóricas e práticas:

1. Estrutura Algorítmica: Introduz o ETD, uma família ParVI derivada do esquema JKO que reduz cada iteração a um cálculo de Sinkhorn. Isso fornece um mecanismo de coordenação global para as partículas, ao contrário da repulsão local por kernel.
2. Caracterização Teórica de Estacionariedade:
   • Teorema 2: Os autores caracterizam a distribuição estacionária do ETD balanceado. Eles mostram que o viés é independente do custo de transporte e da regularização entrópica, dependendo apenas da largura de banda da proposta.
   • Teorema 3: Eles propõem pesos de alvo corrigidos por importância ($b_j \propto \pi(y_j)/q_\mu(y_j)$) que eliminam esse viés inteiramente, tornando a distribuição alvo $\pi$ exatamente estacionária sem exigir um passo de correção de Metropolis-Hastings.
3. Desempenho Empírico: Experimentos demonstram que o ETD iguala ou supera o SVGD, AGF-SVGD e SGLD, com melhorias significativas em configurações de alta dimensão e multimodais.

Resultados Experimentais

O artigo avalia o ETD em quatro categorias de benchmarks:

• Diagnósticos de Colapso de Variância: Em alvos Gaussianos isotrópicos em dimensões $d \in \{10, \dots, 200\}$, o SVGD exibe um rápido colapso de variância (DAMV $\approx 0.11$ em $d=200$), enquanto as variantes do ETD alcançam uma recuperação de variância quase perfeita (DAMV $\approx 1.0$), igualando ou excedendo o SGLD.
• Funções de Energia Multimodais: Em alvos 2D com estruturas complexas (ex: anéis, modos sinusoidais), o SVGD e o AGF-SVGD sofrem de colapso de modo. As variantes do ETD, particularmente as que utilizam correção de amostragem por importância, capturam com sucesso a estrutura multimodal completa e alcançam menores distâncias de energia.
• Regressão Logística Bayesiana: No dataset Covertype ($d=56$), embora os scores de NLL sejam comparáveis entre os métodos, as variantes do ETD mostram uma cobertura marginal significativamente superior (0.97–0.99) comparado ao SVGD e SGLD (0.27–0.32), indicando uma melhor quantificação de incerteza posterior.
• Redes Neurais Bayesianas e Amostragem Molecular: O ETD supera os baselines em tarefas de regressão UCI e distribuições de Boltzmann molecular (Lennard-Jones 13). Notavelmente, no alvo LJ-13, os métodos baselines (SVGD, SGLD, AGF-SVGD) produziram energias numericamente divergentes, enquanto o ETD gerou amostras fisicamente significativas com baixa distância de variação total.

Significância e Alegações

O artigo afirma que o ETD aborda as limitações fundamentais dos métodos ParVI baseados em kernel ao introduzir uma estrutura de transporte global. Ao mediar interações através de transporte ótimo entrópico, o ETD preserva naturalmente a estrutura multimodal e evita o colapso de variância em altas dimensões.

Os autores enfatizam que o ETD oferece um framework flexível que pode operar sem informação de gradiente (score-free), tornando-o aplicável a problemas onde gradientes não estão disponíveis ou são caros. Além disso, o resultado teórico de que o viés estacionário pode ser eliminado via simples correção de peso (Teorema 3) fornece um caminho principiado para amostragem exata sem o overhead computacional de passos de Metropolis-Hastings.

O artigo reconhece limitações, observando que o custo por iteração é $O(NML)$ (onde $L$ é o número de iterações de Sinkhorn), que é superior ao do SVGD ($O(N^2)$) ou SGLD ($O(N)$). Adicionalmente, como todos os métodos que dependem de distâncias euclidianas, o ETD enfrenta a maldição da dimensionalidade, conforme o custo de transporte concentra o kernel de Gibbs em altas dimensões, embora os autores sugiram que trabalhos futuros possam abordar isso via custos aprendidos ou métricas geométricas.