Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

Resumo Técnico: Garantias Generalizadas para Inferência Variacional na Presença de Simetria Par e Elíptica

Declaração do Problema
A Inferência Variacional (VI) aproxima uma densidade alvo $p$ ao encontrar o melhor ajuste $q$ dentro de uma família tratável de distribuições $\mathcal{Q}$, tipicamente minimizando uma divergência $D(p||q)$. Embora diferentes divergências (ex: KL reversa, KL direta, $\alpha$-divergências) frequentemente resultem em diferentes aproximações, permanece incerto sob quais condições a VI fornece estimativas comprovadamente precisas de propriedades estatísticas, como a média e a matriz de correlação. Trabalhos anteriores estabeleceram que a minimização da divergência de Kullback-Leibler (KL) reversa recupera a média e a matriz de correlação de um alvo $p$ se $p$ for log-côncavo e exibir simetria par ou elíptica. No entanto, essas garantias estavam limitadas a divergências específicas e exigiam pressupostos fortes (log-concavidade) que excluem distribuições de caudas pesadas comuns na prática.

Metodologia
Os autores generalizam essas garantias para uma ampla classe de funções objetivo e relaxam as condições de regularidade da densidade alvo.

1. Funções Objetivo: A análise foca em $f$-divergências, uma ampla família definida como $D_f(p||q) = \int f(p(z)/q(z))q(z)dz$, que inclui as divergências KL reversa e direta, $\alpha$-divergências e distâncias de variação total suavizadas.
2. Definições de Simetria: O artigo formaliza a simetria par (simetria em torno de um ponto $\nu$), simetria elíptica (simetria definida por uma matriz de dispersão $M$) e simetria parcial (simetria ao longo de um subconjunto de coordenadas $\sigma$).
3. Família Variacional: A família de aproximação $\mathcal{Q}$ é assumida como uma família de localização-escala elíptica, onde as distribuições são simétricas elipticamente em torno de um parâmetro de localização $\nu$ e uma matriz de dispersão proporcional a uma matriz de escala $S$.
4. Estrutura Teórica:
   • Diagonalização Conjunta: Os autores empregam uma transformação de coordenadas (Lema 1) que diagonaliza simultaneamente as matrizes de dispersão de $p$ e $q$ via congruência. Isso reformula a $f$-divergência em termos de variáveis transformadas, simplificando a análise de pontos estacionários.
   • Unimodalidade vs. Log-concavidade: Em vez de exigir que $p$ seja log-côncavo, os autores assumem que $p$ e $q$ são estritamente unimodais (suas funções radiais são estritamente decrescentes). Isso permite a inclusão de distribuições de caudas pesadas como as distribuições Student-$t$ e Cauchy.
   • Regra da Cadeia para Simetria Parcial: Para simetrias parciais, os autores utilizam uma propriedade de regra da cadeia das $f$-divergências (Definição 9) para decompor a divergência em componentes condicionais e marginais, permitindo a análise de coordenadas com e sem simetria.

Principais Contribuições
O artigo apresenta três teoremas principais que generalizam resultados anteriores:

• Teorema 1 (Recuperação da Média sob Simetria Par): Para qualquer $f$-divergência estritamente convexa, se o alvo $p$ for elipticamente simétrico e estritamente unimodal, o único minimizador da divergência em relação ao parâmetro de localização $\nu$ é a verdadeira média de $p$ ($\nu = \mu$). Isso ocorre mesmo se $p$ tiver caudas pesadas e não for log-côncavo.
• Teorema 2 (Recuperação da Média e Matriz de Dispersão sob Simetria Elíptica): Sob as mesmas condições do Teorema 1, acrescidas do requisito de que a função radial de $p$ é radialmente decrescente em sua cauda, qualquer ponto estacionário da divergência em relação aos parâmetros de localização-escala $(\nu, S)$ satisfaz $\nu = \mu$ e $S = \gamma^2 M$ para algum $\gamma > 0$. Consequentemente, a VI recupera a matriz de correlação de $p$.
• Teorema 3 (Garantias de Simetria Parcial): Se $p$ exibe simetria apenas ao longo de um subconjunto de coordenadas $\sigma$ (com a distribuição condicional $p(z_\sigma | z_{\bar{\sigma}})$ sendo elipticamente simétrica com uma média condicional linear e matriz de dispersão constante), a aproximação variacional recupera a média condicional e a matriz de dispersão ao longo de $\sigma$. Se a média condicional for constante, a média marginal e a correlação ao longo de $\sigma$ também são recuperadas.

Resultados

• Teóricos: As provas demonstram que as soluções de correspondência de simetria são pontos estacionários para todas as $f$-divergências estritamente convexas. Os autores mostram que, para alvos unimodais, esses pontos estacionários são minimizadores únicos para os parâmetros de média e escala.
• Experimentos Numéricos: Os autores avaliaram a VI em alvos sintéticos (Student-$t$ multivariada, funil elíptico, distribuição em crescente) e modelos hierárquicos Bayesianos (dados de educação, modelagem de doenças, dados genéticos).
  • Eles mediram a assimetria das distribuições posteriores e descobriram que a VI produz erros absolutos menores na estimativa da média para alvos mais simétricos.
  • Em modelos com simetria parcial (ex: o funil elíptico), a VI recuperou com precisão a média e as correlações ao longo das coordenadas simétricas ($\theta$), mesmo quando falhou em recuperar a média da coordenada assimétrica ($\tau$).
  • Experimentos confirmaram que estratégias de parametrização (ex: parametrização não centrada ou marginalização) que reduzem a assimetria em modelos hierárquicos levam a um melhor desempenho da VI.

Significância e Alegações
O artigo alega fornecer um quadro teórico unificado mostrando que as propriedades de correspondência de simetria da VI são robustas através de uma ampla gama de funções objetivo ($f$-divergências) e não dependem do restritivo pressuposto de log-concavidade. Os autores enfatizam que esses resultados oferecem "prescrições para praticantes", sugerindo que o desempenho da VI em modelos hierárquicos Bayesianos pode ser melhorado ao reparametrizar modelos para explorar simetrias parciais (ex: usando parametrizações não centradas ou posteriors colapsados). O trabalho expande a compreensão de quando a VI é comprovadamente precisa, indo além de escolhas específicas de divergência para uma classe mais ampla de objetivos e distribuições alvo mais realistas (incluindo caudas pesadas). Os autores observam que, embora foquem em garantias teóricas, suas descobertas complementam o trabalho existente sobre diagnósticos e correções post-hoc.