Resumo Técnico: Contração de Wasserstein da Inferência Variacional de Ascensão Coordenada

Declaração do Problema

O artigo aborda as garantias teóricas de convergência para o algoritmo de Inferência Variacional de Ascensão Coordenada (CAVI). O CAVI é um método fundamental para aproximar distribuições-alvo intratáveis $\pi$ (tipicamente distribuições a posteriori em estatística bayesiana) minimizando a divergência de Kullback–Leibler (KL) sobre uma família de distribuições tratáveis e fatoradas (por exemplo, $\mu \otimes \nu$). Embora o CAVI seja amplamente utilizado devido à sua eficiência computacional, garantias rigorosas de convergência têm sido historicamente limitadas. A literatura existente frequentemente depende de suposições fortes, como a log-concavidade forte global da distribuição-alvo, o que exclui muitos modelos práticos (por exemplo, modelos de mistura, regressão logística) onde o alvo não é fortemente log-côncavo ou onde o espaço envolve componentes discretos ou não suaves.

Os autores visam estabelecer a convergência exponencial local das iterações do CAVI $(\mu_k, \nu_k)$ para um ponto fixo na distância de Wasserstein, sob condições que são mais fracas e mais verificáveis do que a log-concavidade forte global.

Metodologia

Os autores analisam as atualizações do CAVI como uma sequência de operadores atuando sobre medidas de probabilidade. Seja o alvo $\pi = e^{-f} \in \mathcal{P}(Z \times B)$. As atualizações do CAVI são definidas via mapas de otimalidade:
$$\mu_k = \mu^\star[\nu_{k-1}], \quad \nu_k = \nu^\star[\mu_k]$$
onde $\mu^\star[\nu] \propto \exp(-\mathbb{E}_\nu f(\cdot, \beta))$ e $\nu^\star[\mu] \propto \exp(-\mathbb{E}_\mu f(Z, \cdot))$.

A análise de convergência baseia-se em duas condições primárias definidas no espaço de medidas de probabilidade equipado com a distância de Wasserstein-$p$ ($W_p$):

1. Suavidade de Fisher (Suavidade Cruzada): Os mapas de otimalidade $\mu^\star[\cdot]$ e $\nu^\star[\cdot]$ são requeridos para serem "suaves de Fisher" ao redor dos pontos fixos. Um operador $\gamma^\star[\cdot]$ é suave de Fisher com constante $L$ se:
   $$I(\gamma^\star[\varrho] \| \gamma^\star[\varrho']) \leq L^2 W_p^2(\varrho, \varrho')$$
   onde $I$ é a Informação de Fisher Relativa. Esta condição essencialmente limita o quanto o gradiente do potencial muda em relação à outra coordenada (suavidade cruzada do termo de interação $\omega$ em $f = f_1 + f_2 + \omega$).

2. Desigualdade Transporte-Informação (TI): As distribuições de ponto fixo $\mu^\star$ e $\nu^\star$ devem satisfazer uma desigualdade TI com constantes $\lambda_1, \lambda_2$:
   $$\lambda^2 W_p^2(\varrho, \gamma) \leq I(\varrho \| \gamma)$$
   Esta é uma condição de curvatura sobre os pontos fixos. É mais fraca do que desigualdades de Sobolev logarítmicas e log-concavidade forte, e ela tensoriza, tornando-a adequada para configurações de alta dimensão.

Os autores também estendem esta estrutura para configurações de Aumento de Dados (onde $Z$ representa variáveis auxiliares). Neste caso, eles mostram que a convergência da marginal de parâmetro $\nu_k$ pode ser estabelecida unicamente com base na suavidade do mapa composto $\nu^\star[\mu^\star[\cdot]]$ e na desigualdade TI de $\nu^\star$, sem exigir condições de curvatura no ponto fixo auxiliar $\mu^\star$. Isso é crucial quando $Z$ é discreto ou não suave.

Principais Contribuições

1. Teorema Geral de Convergência (Teorema 1)

O artigo prova que se as constantes de suavidade cruzada ($L_{1|2}, L_{2|1}$) e as constantes TI ($\lambda_{1|2}, \lambda_{2|1}$) satisfazem a condição $L_{1|2}L_{2|1} < \lambda_{1|2}\lambda_{2|1}$, então as iterações do CAVI convergem exponencialmente rápido para o ponto fixo na distância de Wasserstein com uma taxa de $\frac{L_{1|2}L_{2|1}}{\lambda_{1|2}\lambda_{2|1}}$.

• Generalidade: O resultado vale para variedades riemannianas suaves gerais e permite espaços não suaves (via a extensão de aumento de dados).
• Local vs. Global: O teorema fornece garantias de convergência local. A convergência global é possível se as condições valerem globalmente, mas os autores enfatizam que garantias locais são suficientes para muitos cenários práticos onde múltiplos pontos fixos existem.
• Nitidez: Para alvos Gaussianos, a taxa derivada coincide com a norma espectral da matriz de correlação, demonstrando a nitidez do limite.

2. Estrutura de Aumento de Dados (Teorema 4)

Uma contribuição significativa é o relaxamento de suposições para problemas de aumento de dados. Os autores mostram que, se o interesse reside apenas no parâmetro $\beta$ (marginal $\nu$), a convergência pode ser provada sem exigir que o ponto fixo auxiliar $\mu^\star$ satisfaça uma desigualdade TI. Isso permite a aplicação da teoria de convergência do CAVI a modelos com variáveis latentes discretas (por exemplo, Modelos de Mistura Gaussianos) onde o espaço auxiliar é não suave.

3. Aplicação a Modelos Bayesianos Específicos

Os autores aplicam sua estrutura teórica a três modelos específicos, derivando taxas e condições explícitas de convergência:

• Modelos de Mistura Gaussianos (GMM) Desbalanceados:

  • A convergência é governada por uma transição de fase posterior.
  • A taxa depende da separação dos modos posteriores. Se os modos estiverem bem separados, o algoritmo converge localmente e exponencialmente rápido.
  • No caso balanceado ($p=0.5$), a convergência global exige uma condição específica de relação sinal-ruído ($r < 1$). Se isso falhar, a posterior torna-se multimodal, e o CAVI converge para modos diferentes dependendo da inicialização.
  • Os resultados destacam que misturas desbalanceadas (assimétricas $p$) facilitam uma convergência mais rápida ao reduzir a ambiguidade de rótulos.

• Regressão Probit Bayesiana:

  • Os autores analisam as atualizações do CAVI para regressão Probit com aumento de dados (Albert e Chib, 1993).
  • Eles provam convergência exponencial global com uma taxa determinada pela fração bayesiana de informação faltante: $\lambda_{\max}((Q_0 + X^\top X)^{-1}X^\top X)$.
  • Eles mostram que, em configurações de alta dimensão ($n, p \to \infty$), a taxa permanece limitada longe de 1 sob escalonamento adequado do prior (por exemplo, priores $g$ ou escalonamento direto), garantindo estabilidade mesmo à medida que a dimensionalidade cresce.

• Regressão Logística Bayesiana (Algoritmo Jaakkola-Jordan):

  • O artigo analisa o algoritmo usando aumentações Pólya-Gamma.
  • Eles derivam uma taxa de convergência local $r_\varepsilon$ que depende da derivada da função de ligação logística e da curvatura da posterior.
  • Crucialmente, eles estabelecem que a taxa de convergência para a regressão Logística é estritamente melhor (menor) do que para a regressão Probit sob condições comparáveis, devido às propriedades da aumentação Pólya-Gamma e à forma específica dos termos de interação. Este é o primeiro resultado de taxa de convergência disponível para o algoritmo Jaakkola-Jordan.

Significado e Alegações

O artigo alega fornecer uma prova nítida, direta e curta da convergência do CAVI que depende de desigualdades funcionais em vez de log-concavidade forte global.

• Relaxamento de Suposições: Ao utilizar desigualdades Transporte-Informação e suavidade de Fisher, os autores contornam a necessidade de a distribuição-alvo $\pi$ ser fortemente log-côncava. Este é um relaxamento significativo, pois modelos padrão como modelos de mistura e regressão logística não satisfazem a log-concavidade forte.
• Tratamento de Espaços Não Suaves: A extensão de aumento de dados permite análise de convergência em configurações com variáveis latentes discretas, uma característica comum em modelos de mistura que era anteriormente difícil de analisar sob suposições de variedades suaves.
• Dualidade Precisão-Convergência: O artigo observa que as condições que garantem convergência rápida (termos de interação pequenos em relação à curvatura) também implicam que a aproximação variacional é de alta qualidade (baixa divergência KL). Isso estabelece uma dualidade entre a velocidade do algoritmo e a precisão da aproximação.
• Relevância Prática: As taxas derivadas para regressão de alta dimensão (Probit e Logística) demonstram que o CAVI permanece estável e eficiente mesmo à medida que a dimensão $p$ e o tamanho da amostra $n$ crescem, desde que o prior seja escalonado corretamente.

Os autores afirmam explicitamente que sua análise atual é restrita ao cenário de dois blocos ($m=2$) e que extensões para dinâmicas de múltiplos blocos ficam para trabalhos futuros. Eles também observam que, embora seus resultados sejam locais, eles se alinham e explicam o comportamento empírico do CAVI em paisagens complexas e não convexas.