Functional Bias and Tangent-Space Geometry in Variational Inference

Este artigo estabelece uma estrutura geométrica que demonstra como o viés de ordem principal de funcionais posteriores na inferência variacional é determinado pela componente ortogonal ao espaço tangente da família variacional, explicando geometricamente a distorção sistemática das dependências entre blocos no método de campo médio.

O essencial

Imagine que você é um cartógrafo tentando desenhar um mapa de um território muito complexo e cheio de montanhas, vales e rios (o Universo Real ou a Distribuição Posterior). O problema é que o território é tão grande e detalhado que é impossível desenhar cada pedra e cada folha de árvore.

Então, você decide usar um "kit de desenhar" simplificado (o Método Variacional). Esse kit só permite desenhar formas geométricas simples: retângulos, círculos e linhas retas. Você tenta ajustar essas formas simples para que se pareçam o mais possível com o território real.

O artigo de Sean Plummer explica o que acontece quando você tenta usar formas simples para descrever um mundo complexo. Ele descobre que nem todos os detalhes do território são distorcidos da mesma maneira.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: O Mapa Simplificado

Na estatística, queremos saber tudo sobre um fenômeno (como a média, a variação ou a chance de algo raro acontecer). Mas calcular tudo exatamente é impossível. Então, usamos uma aproximação.

• A Analogia: É como tentar descrever uma orquestra completa (com violinos, trompetes, bateria) usando apenas um piano. O piano pode tocar algumas notas, mas não consegue reproduzir a interação complexa entre todos os instrumentos.

2. A Descoberta Principal: O "Espaço de Movimento"

O autor usa uma ideia geométrica chamada Espaço Tangente.

• A Analogia: Imagine que o seu "kit de desenho" (o piano) só permite que você mova as teclas de uma maneira específica. Se você quiser mudar a música, pode subir ou descer o volume de cada instrumento individualmente (isso é o Espaço Tangente).
• O que o papel diz: Se a informação que você quer saber (por exemplo, "qual é o volume do violino?") depende apenas de um instrumento individual, o seu "piano" consegue capturar isso perfeitamente. O erro será minúsculo.
• O problema: Se a informação que você quer saber depende de como dois instrumentos tocam juntos (a interação entre o violino e o trompete), o seu piano não tem uma tecla para isso. Essa é a parte que fica fora do espaço de movimento permitido.

3. O Viés (O Erro)

O artigo mostra que o erro principal (o Viés) acontece exatamente onde o seu "piano" não consegue tocar.

• Resumo Simples:
  • Coisas que o modelo entende bem: Somatórios simples. Se você pergunta "qual é a média do grupo A?" e "qual é a média do grupo B?", o modelo acerta quase tudo.
  • Coisas que o modelo erra feio: Interações. Se você pergunta "como o grupo A e o grupo B se influenciam mutuamente?" ou "qual a chance de ambos acontecerem ao mesmo tempo?", o modelo falha. Ele tende a achar que os grupos são independentes, mesmo quando não são.

4. A Geometria do Erro (A Metáfora da Sombra)

O autor diz que podemos pensar no erro como uma sombra.

• Imagine que a "verdade" é uma estátua complexa.
• O seu modelo é uma luz que só projeta sombras em uma parede plana.
• Se a estátua tiver partes que se projetam diretamente na parede (partes alinhadas com o modelo), a sombra fica perfeita.
• Mas se a estátua tiver detalhes que "saltam" para fora da parede (interações entre partes), a luz não consegue projetar essa parte na parede. Essa parte "perdida" é onde o erro acontece.

5. Por que isso importa na vida real?

O artigo explica por que, em inteligência artificial e estatística, métodos chamados "Mean-Field" (que assumem que tudo é independente) funcionam bem para algumas coisas e mal para outras:

• Funciona bem: Para estimar a média de um preço de casa ou a temperatura média.
• Falha: Para prever se uma crise financeira vai derrubar vários mercados ao mesmo tempo (porque isso depende da interação entre eles, que o modelo ignora).

Conclusão em uma frase

O artigo nos ensina que não adianta apenas olhar para o "erro geral" do modelo; precisamos olhar para o que o modelo está tentando medir. Se a pergunta envolve a relação entre partes diferentes (interações), o modelo simplificado vai distorcer a resposta. Se a pergunta é sobre partes individuais, o modelo será muito preciso.

É como dizer: "Se você quer saber a altura de cada jogador de um time de futebol, um modelo simples funciona. Mas se você quer saber como a química entre eles cria uma jogada perfeita, esse mesmo modelo vai falhar, porque ele não consegue 'ver' a conexão entre eles."

Resumo técnico

Resumo Técnico: Viés Funcional e Geometria do Espaço Tangente na Inferência Variacional

1. Problema e Motivação

A Inferência Variacional (IV) é um método amplamente utilizado para aproximar distribuições posteriores bayesianas complexas, projetando-as em uma família de distribuições tratável (geralmente minimizando a divergência de Kullback-Leibler - KL). Embora a análise teórica tradicional da IV foque em medidas globais de qualidade da aproximação (como a própria divergência KL ou taxas de contração posterior), muitas aplicações práticas dependem de resumos específicos da posterior, como expectativas, variâncias, covariâncias ou probabilidades de cauda.

O problema central abordado é: quais resumos da posterior podem ser estimados com precisão a partir de uma aproximação variacional? A literatura existente não explica completamente a estrutura do viés sistemático introduzido pela IV para esses funcionais específicos, especialmente em famílias de média campo estruturada (structured mean-field), onde dependências cruzadas entre blocos de parâmetros são frequentemente distorcidas.

2. Metodologia: Uma Abordagem Geométrica

O autor desenvolve um quadro geométrico para analisar o viés de funcionais da posterior sob aproximações variacionais. A metodologia baseia-se nos seguintes pilares:

• Projeção de KL: A solução variacional $q^*$ é interpretada como a projeção de Kullback-Leibler da posterior verdadeira $\pi$ sobre a família variacional $\mathcal{Q}$.
• Espaço Tangente Variacional ($T_{q^*}\mathcal{Q}$): Define-se o espaço tangente da família variacional no ponto $q^*$ como o espaço gerado pelas funções de pontuação (score functions) da família. Intuitivamente, este espaço representa as direções nas quais a distribuição variacional pode ser perturbada localmente sem sair da família.
• Resíduo de Densidade: Utiliza-se o resíduo logarítmico $\Delta(\theta) = \log(q^*(\theta)/\pi(\theta))$. Uma propriedade chave (Lema 1) é que, devido à otimalidade da projeção KL, este resíduo é ortogonal ao espaço tangente variacional ($E_{q^*}[h \Delta] = 0$ para todo $h \in T_{q^*}\mathcal{Q}$).
• Decomposição de Funções: Qualquer funcional de interesse $g$ (uma função dos parâmetros) é decomposto ortogonalmente em $g = g_{\parallel} + g_{\perp}$, onde $g_{\parallel}$ pertence ao espaço tangente e $g_{\perp}$ pertence ao seu complemento ortogonal.

3. Principais Contribuições

O artigo apresenta cinco contribuições principais:

1. Decomposição de Viés Funcional: Deriva uma identidade que expressa o viés de um funcional da posterior ($E_\pi[g] - E_{q^*}[g]$) em termos da componente ortogonal do funcional em relação ao espaço tangente variacional.
2. Caracterização de Viés de Segunda Ordem: Demonstra que funcionais alinhados com o espaço tangente ($g_{\parallel}$) sofrem apenas viés de segunda ordem (em relação ao resíduo $\Delta$), enquanto componentes ortogonais ($g_{\perp}$) geram o erro de primeira ordem.
3. Caracterização Explícita para Média Campo: Para famílias de média campo estruturada, caracteriza explicitamente o espaço tangente como o conjunto de funções aditivas por blocos (block-additive). Consequentemente, o complemento ortogonal consiste em termos de interação que acoplam múltiplos blocos de parâmetros.
4. Expansões Assintóticas Locais: Sob condições de normalidade assintótica local (Bernstein-von Mises), deriva expansões explícitas para o viés assintótico, mostrando como a estrutura geométrica determina o erro em grandes amostras.
5. Explicação Geométrica de Propriedades Conhecidas: Fornece uma explicação unificada para fenômenos conhecidos, como a distorção sistemática de dependências cruzadas (covariâncias) em aproximações de média campo.

4. Resultados Chave

• Teorema da Identidade de Projeção Variacional: O viés de primeira ordem de um funcional $g$ é determinado exclusivamente pela sua projeção no complemento ortogonal do espaço tangente. Se $g$ pertence ao espaço tangente, o viés é $O(\|\Delta\|^2)$. Se $g$ tem componente ortogonal, o viés é $O(\|\Delta\|)$.
• Média Campo e Interações: Em famílias de média campo estruturada ($q(\theta) = \prod q_b(\theta_b)$), o espaço tangente contém apenas funções da forma $\sum f_b(\theta_b)$.
  • Resumos Aditivos: Sumários que são aditivos nos blocos de parâmetros (ex: variância de um único bloco) são capturados com alta precisão (viés de segunda ordem).
  • Resumos de Interação: Sumários que dependem de interações entre blocos (ex: covariância entre $\theta_i$ e $\theta_j$ de blocos diferentes, ou probabilidades de cauda conjuntas) residem no complemento ortogonal. Estes sofrem viés de primeira ordem.
• Análise Assintótica (Teorema 3 e Proposição 3): Em modelos paramétricos regulares onde a posterior converge para uma Gaussiana $N(\mu, \Sigma/n)$ e a aproximação variacional para $N(\mu, V/n)$:
  • O viés assintótico de um funcional $g$ é dado por $\frac{1}{2n} \text{tr}(H_g(\Sigma - V))$, onde $H_g$ é o Hessiano de $g$.
  • Para o funcional de covariância cruzada $g(\theta) = \theta_i \theta_j$ ($i \neq j$), o viés assintótico é $\Sigma_{ij}/n + o(n^{-1})$. Como a matriz $V$ de uma aproximação de média campo é diagonal, o termo de interação $\Sigma_{ij}$ não é capturado, resultando em um viés não nulo de primeira ordem.
  • Funcionais aditivos (onde $H_g$ não tem termos cruzados) eliminam automaticamente o termo de viés de primeira ordem.

5. Significado e Implicações

• Explicação Estrutural do Viés: O trabalho oferece uma explicação geométrica rigorosa para por que a inferência de média campo falha em capturar dependências entre variáveis. Não é apenas uma questão de "aproximação grosseira", mas uma consequência direta da ortogonalidade entre os termos de interação e o espaço tangente da família variacional.
• Guia para Seleção de Famílias Variacionais: A análise sugere que a escolha da família variacional deve ser guiada pelos funcionais de interesse. Se o objetivo é estimar covariâncias ou dependências conjuntas, famílias de média campo pura são inadequadas devido ao viés de primeira ordem. Estruturas variacionais mais ricas (que expandem o espaço tangente para incluir termos de interação) reduzem a dimensão do complemento ortogonal e, portanto, o viés.
• Complemento às Medidas Globais: O artigo argumenta que a avaliação de métodos variacionais não deve se basear apenas em divergências globais (como KL), mas também na capacidade do espaço tangente da família de representar a classe de funcionais relevantes para a aplicação específica.
• Conexão com Teoria Semiparamétrica: A abordagem estabelece uma ponte teórica entre a Inferência Variacional e a teoria de estimadores eficientes em estatística semiparamétrica, onde o erro de estimação é governado pela projeção da função de influência no espaço tangente do modelo.

Em suma, o paper estabelece que a geometria da família variacional determina não apenas a qualidade global da aproximação, mas especificamente quais resumos estatísticos podem ser estimados consistentemente e como o viés se comporta assintoticamente, fornecendo uma ferramenta teórica para diagnosticar e mitigar erros em inferência variacional.