A Generalized Tangent Approximation based Variational Inference Framework for Strongly Super-Gaussian Likelihoods

Resumo Técnico: Uma Estrutura de Inferência Variacional baseada em Aproximação de Tangente Generalizada para Verossimilhanças Fortemente Super-Gaussianas

Definição do Problema
A Inferência Variacional (VI) tornou-se um pilar para o cálculo Bayesiano escalável, oferecendo uma alternativa determinística ao amostragem por Cadeias de Markov Monte Carlo (MCMC). No entanto, as abordagens existentes enfrentam uma dicotomia: métodos estruturados como a Inferência Variacional de Campo Médio (MFVI) frequentemente dependem de formulações rígidas e específicas do modelo que podem subestimar a incerteza, enquanto métodos de VI de "caixa-preta" (BBVI), embora flexíveis, frequentemente sacrificam a eficiência computacional devido à sua dependência de estimadores de gradiente estocástico e aproximações de Monte Carlo. Além disso, as garantias teóricas para a convergência da BBVI e a otimalidade estatística são frequentemente limitadas. O desafio específico abordado neste trabalho é o desenvolvimento de uma estrutura de VI principiada, escalável e teoricamente fundamentada para uma ampla classe de modelos de probabilidade caracterizados por verossimilhanças fortemente super-Gaussianas (SSG). Estas incluem distribuições de erro de caudas pesadas (ex: Student's-t, Laplace) e modelos de resposta discretos (ex: Binomial Negativa, Logística), que são prevalentes em regressão robusta e bioestatística, mas permanecem difíceis de lidar com as técnicas padrão de VI conjugada.

Metodologia: TAVIE-SSG
Os autores propõem o TAVIE-SSG (Inferência Variacional baseada em Aproximação de Tangente para verossimilhanças SSG), uma estrutura que aproveita as propriedades geométricas das verossimilhanças SSG para induzir conjugação em configurações que de outra forma seriam intratáveis. A metodologia procede através de três componentes principais:

1. Minorante de Tangente via Dualidade Convexa:
   A estrutura explora a convexidade da função $h$ que define a verossimilhança SSG. Ao aplicar a dualidade convexa, os autores constroem um minorante de tangente (um substituto exponencial-quadrático) para a log-verossimilhança. Este minorante é tangente à verdadeira verossimilhança em um ponto específico determinado pelos parâmetros variacionais $\xi$. Diferente de simples aproximações Gaussianas, este substituto adapta sua curvatura com base nos parâmetros variacionais, preservando a robustez de modelos de caudas pesadas ou a natureza discreta de dados de contagem localmente, enquanto torna a otimização global tratável.

2. Formulação de Verossimilhança $\alpha$-Fracionária:
   O método opera dentro de um cenário de verossimilhança $\alpha$-fracionária, onde a verossimilhança original é elevada a uma potência $\alpha \in (0, 1]$. Este temperamento alinha a estrutura com a literatura sobre posteriors fracionários Bayesianos. O minorante de tangente é aplicado a esta verossimilhança temperada e, combinado com um prior conjugado (Normal-Gamma para SSG Tipo I, Gaussiana para SSG Tipo II), resulta em uma posterior variacional $\alpha$-fracionária de forma fechada.

3. Algoritmo de Expectativa-Maximização Variacional (EM):
   A otimização dos parâmetros variacionais é formulada como um problema de estimativa de máxima verossimilhança onde os parâmetros do modelo são tratados como variáveis latentes. Isso leva a um algoritmo EM eficiente:

   • E-step: Atualiza os hiperparâmetros da posterior variacional (média e covariância) em forma fechada.
   • M-step: Atualiza os parâmetros variacionais $\xi$ via maximização coordenada-a-coordenada. Crucialmente, a otimização multivariada se decompõe em $n$ atualizações univariadas independentes com soluções de forma fechada.
     Esta decomposição permite que o algoritmo escale linearmente com o tamanho da amostra $n$ e seja embaralhadamente paralelizável, com uma complexidade por iteração de $O(np^2 + p^3)$.

Principais Contribuições

• Generalização da Aproximação de Tangente: O artigo estende a utilidade da aproximação de tangente além da regressão logística para uma ampla classe de verossimilhanças SSG, incluindo regressão linear de caudas pesadas e modelos de contagem discretos.
• Garantias de Convergência Algorítmica: Ao contrário de muitos métodos de VI de caixa-preta, os autores estabelecem garantias de convergência rigorosas para o algoritmo TAVIE-SSG. Ao aproveitar a propriedade Kurdyka–Łojasiewicz (KŁ), eles provam que a sequência de iterados converge para um ponto fixo (um ponto crítico da função objetivo) a partir de qualquer inicialização arbitrária, apesar da natureza não-convexa do objetivo variacional. Eles também derivam taxas de convergência local (linear ou sub-linear) dependendo do expoente KŁ.
• Limites de Risco Estatístico: Os autores derivam limites de risco integrado quase-minimax otimizais. Estes limites são estabelecidos sob divergência $\alpha$-Rényi (para a verossimilhança fracionária) e distância de Hellinger (para a verossimilhança padrão), demonstrando que o proxy variacional alcança uma precisão estatística comparável ao estimador Bayesiano ótimo até fatores logarítmicos.
• Calibração de $\alpha$: O artigo fornece uma estratégia prática para calibrar o parâmetro de temperamento $\alpha$ para equilibrar a precisão da estimativa de ponto com a cobertura frequentista dos intervalos de credibilidade, abordando o problema comum de sub-cobertura em métodos variacionais.

Resultados Empíricos
O desempenho do TAVIE-SSG foi avaliado tanto em dados simulados quanto em conjuntos de dados do mundo real, incluindo o Censo dos EUA de 2000 (Regressão Quantílica Bayesiana) e dados de transcriptômica espacial STARmap.

• Escalabilidade: O TAVIE-SSG demonstrou eficiência computacional superior comparado aos competidores de estado da arte, incluindo ADVI (Campo Médio e Rank Total), ADVI Determinístico (DADVI) e amostradores MCMC (NUTS). Em cenários de grande escala (ex: $n=10^6$), o TAV even TAVIE-SSG foi ordens de magnitude mais rápido que os métodos de BBVI enquanto mantinha estabilidade.
• Precisão: Em termos de Erro Quadrático Médio (MSE) para estimativa de parâmetros e qualidade da aproximação da posterior (medida pela distância de Sliced Wasserstein), o TAVIE-SSG consistentemente superou ou igualou as variantes de ADVI e frequentemente superou o DADVI, particularmente na estimativa de parâmetros de dispersão ($\tau^2$) em modelos de caudas pesadas.
• Robustez: O método capturou com sucesso estruturas de dados complexas subjacentes, como padrões de expressão gênica espacial, onde métodos de caixa-preta como o ADVI falharam em convergir para representações precisas.

Significância e Alegações
Os autores posicionam o TAVIE-SSG como um meio-termo principiado entre a VI estruturada rígida e a VI de caixa-preta computacionalmente cara. A significância do trabalho reside na sua capacidade de fornecer garantias de convergência prováveis e otimalidade estatística para uma ampla classe de modelos não-conjugados sem depender de gradientes estocásticos. Ao induzir conjugação através da minoração de tangente, a estrutura alcança a escalabilidade dos métodos de campo médio enquanto retém a flexibilidade para modelar estruturas de dados não-Gaussianas complexas. O artigo alega que o TAVIE-SSG oferece uma abordagem unificada, escalável e teoricamente sólida para inferência Bayesiana em aplicações modernas de grandes dados, particularmente onde a robustez a outliers ou respostas discretas é necessária.