Stability of Finite-Batch Particle Mean-Field Variational Inference Beyond Strong Convexity

Resumo Técnico: Estabilidade da Inferência Variacional de Campo Médio de Partículas com Lotes Finitos Além da Convexidade Forte

Enunciado do Problema
O artigo aborda a estabilidade e a convergência não assintótica do Algoritmo de Partículas de Lote Finito para a Inferência Variacional de Campo Médio (PAVI). Enquanto a Inferência Variacional de Campo Médio (MFVI) aproxima uma densidade alvo $p(x) \propto e^{-V(x)}$ minimizando a entropia relativa sobre medidas de produto, as implementações práticas dependem de aproximações de partículas, avaliações estocásticas de lotes de drifts projetados e discretização temporal.

Análises existentes, como as de Du et al., tipicamente assumem que o potencial alvo $V$ é globalmente fortemente convexo. Essa suposição garante a contratividade da dinâmica, mas é frequentemente violada em aplicações modernas. Este artigo investiga a estabilidade do PAVI quando $V$ é globalmente suave (gradiente Lipschitz) mas não é necessariamente fortemente convexo. O desafio reside em quantificar como a perda de contratividade (devido a regiões não convexas) afeta os limites de erro do algoritmo totalmente discreto de lote finito.

Metodologia e Estrutura
Os autores modelam o algoritmo PAVI como uma aproximação de aproximação estocástica totalmente discreta da dinâmica de Wasserstein projetada. A principal inovação metodológica é a introdução de uma métrica de defeito de curvatura para quantificar a falha da convexidade forte.

1. Defeito de Curvatura: Em vez de assumir $\nabla^2 V \succeq \alpha I$, o artigo define uma função de defeito:
   $$d_\alpha(x, y) = \left[ \alpha \|x - y\|^2 - \langle \nabla V(x) - \nabla V(y), x - y \rangle \right]_+$$
   Isso mede a perda aditiva na estimativa de contração de um passo de Euler. A análise assume um limite uniforme $d_\alpha(x, y) \le \beta$, o que permite a não convexidade, desde que a "curvatura negativa" seja limitada.

2. Matriz de Comparação Estacionária: Para derivar limites não assintóticos, os autores constroem um processo de comparação estacionário. Este processo consiste em uma matriz de partículas cujas marginais por linha são acoplamentos ótimos para o minimizador real de MFVI $q^\star$. Crucialmente, o produto das medidas empíricas por linha desta matriz estacionária é uma medida aleatória, distinta da lei de produto determinística $q^\star$. A análise controla explicitamente a discrepância entre o drift projetado avaliado nesta lei empírica aleatória e o drift em $q^\star$.

3. Decomposição de Erros: A prova utiliza uma recursão de um passo que separa o erro total em componentes distintos:

   • Erro de inicialização (contração transiente).
   • Erro de aproximação de produto-empírico (número finito de partículas $N$).
   • Erro de drift de lote finito (amostragem estocástica de tamanho $B$).
   • Erro de discretização temporal (tamanho do passo $h$).
   • Defeitos de curvatura acumulados ao longo das trajetórias acopladas.

Principais Contribuições e Resultados

• Limite de Estabilidade Não Assintótico: O resultado principal (Corolário 7.3) fornece um limite de estabilidade de Wasserstein para o esquema de lote finito. Sob o limite de defeito uniforme $d_\alpha \le \beta$, a distância de Wasserstein raiz-quadrada do erro entre a iterante de partícula $q_{X_n}$ e qualquer minimizador de MFVI $q^\star$ satisfaz:
  $$\left( \mathbb{E} W_2^2(q_{X_n}, q^\star) \right)^{1/2} \lesssim (1 - c\alpha h)^{n/2} \left( \mathbb{E} W_2^2(q_{X_0}, q^\star) \right)^{1/2} + \left(1 + \frac{\kappa}{\alpha}\right)\varepsilon_N(q^\star) + \sqrt{\frac{\beta}{\alpha}} + \sqrt{\frac{h\Gamma^\star}{\alpha B}} + \sqrt{\frac{L}{\alpha}\sqrt{h(h\Gamma^\star + m)}}$$
  Aqui, $\varepsilon_N$ é o erro de aproximação empírica, $\kappa$ mede a sensibilidade do drift projetado a perturbações na lei de produto, e $\Gamma^\star$ é o segundo momento do gradiente sob $q^\star$.

• Separação de Parâmetros: O limite separa explicitamente os efeitos do número de partículas $N$, do tamanho do lote $B$ e do tamanho do passo $h$. Demonstra que aumentar $B$ é benéfico apenas até que o erro de lote se torne comparável aos erros de partícula e de discretização.

• Existência e Limites de Momentos: O artigo estabelece a existência de minimizadores de MFVI sob a condição de defeito uniforme e deriva limites de momentos explícitos para as marginais estacionárias sem assumir log-concavidade. Prova que o defeito uniforme implica coercitividade quadrática do potencial. Os autores observam explicitamente que, embora a existência seja garantida, a unicidade não é implicada; o conjunto de minimizadores pode conter múltiplos elementos distintos quando $\beta > 0$.

• Sensibilidade Independente de Dimensão: Os autores introduzem estimativas de defeito por coordenada e mostram que, sob estruturas de interação esparsas, a constante de sensibilidade $\kappa$ pode ser independente da dimensão, mitigando a maldição da dimensionalidade no limite de erro.

• Benchmark Não Convexo: Um novo benchmark não convexo suave de dimensão arbitrária é construído com um minimizador de MFVI único de forma fechada. Isso permite a medição direta dos erros algorítmicos sem contaminação pela incerteza de otimização da solução de referência.

• Limitações no Crescimento do Drift: O artigo esclarece que o esquema de Euler explícito usado em PAVI é instável para potenciais com gradientes de crescimento superlinear (crescimento polinomial), mesmo que sejam fortemente convexos. Argumenta-se que esquemas suavizados (tamed) ou implícitos seriam necessários para tais regimes, pois o taming padrão destruiria a imparcialidade (unbiasedness) do estimador de lote finito essencial para a prova.

Significância e Alegações
O artigo fornece uma análise de estabilidade não assintótica de MFVI de partículas de lote finito que relaxa a suposição de convexidade forte. Ao quantificar o "defeito de curvatura", o trabalho separa os requisitos numéricos da continuidade de Lipschitz dos mecanismos geométricos de contração. Esta análise baseia-se e estende trabalhos anteriores sobre contração local e dinâmica de Langevin não convexa.

Os autores enfatizam que seus resultados são modestos em relação à convergência para um minimizador específico quando $\beta > 0$; nesses casos, o algoritmo permanece estável dentro de um vizinhança $O(\sqrt{\beta/\alpha})$ do conjunto de minimizadores, em vez de convergir para um único ponto. A análise destaca que a não unicidade da solução de MFVI em configurações não convexas é controlada quantitativamente pela mesma escala de defeito.

Os experimentos numéricos validam as leis de escala teóricas, mostrando que o erro de lote escala como $B^{-1/2}$ e o erro de partícula escala próximo a $N^{-1/2}$ para benchmarks suaves, enquanto o erro terminal aumenta monotonicamente com a magnitude do defeito de curvatura. O artigo conclui que a perspectiva do defeito de curvatura oferece um framework rigoroso para entender os compromissos entre precisão, custo computacional e a geometria do potencial alvo na inferência variacional.