📊 statistics

Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

Este artigo desafia o senso comum de que a Inferência Variacional de Campo Médio sempre subestima a incerteza ao demonstrar que, na Regressão Linear Bayesiana, ela pode, na verdade, superestimar a variância preditiva em dados dentro da distribuição devido a um compromisso onde a subestimação em algumas direções de parâmetros necessita a superestimação em outras, um fenômeno que pode ser mitigado através de escalonamento de temperatura.

Autores originais: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Publicado 2026-06-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Mal-entendido

Durante muito tempo, os cientistas acreditaram que um método específico chamado Inferência Variacional de Campo Médio (MFVI) era sempre "confiante demais". Eles pensavam que o método olhava para os dados, fazia um palpite e então dizia: "Tenho certeza disso", mesmo quando deveria estar mais incerto. Em termos técnicos, pensavam que ele subestimava a variância (incerteza).

Este artigo inverte essa história. Os autores mostm que, embora a MFVI seja de fato confiante demais sobre os detalhes internos do modelo, ela pode, na verdade, ser incerta demais (superestimar a incerteza) quando se trata de fazer previsões sobre dados que se parecem com os dados de treinamento.

A Analogia: O Mapa e a Estrada

Imagine que você está tentando desenhar um mapa de uma cidade baseando-se em algumas fotos de uma única rua.

A Visão "Interna" (Espaço dos Parâmetros):
Se você olhar para o mapa em si, a MFVI desenha um círculo muito pequeno e apertado ao redor da rua. Ela pensa: "Eu sei exatamente onde esta rua está". Ela ignora o fato de que o resto da cidade está nebuloso e desconhecido. Nesse sentido, ela é confiante demais sobre os detalhes do mapa.
A Visão da "Previsão" (Espaço Preditivo):
Agora, imagine que você é um motorista tentando prever para onde a estrada vai à frente de você.
- A Verdade Exata: A estrada real é reta e estreita. A incerteza é baixa porque a estrada é bem definida.
- A Previsão da MFVI: Como a MFVI desenhou um círculo tão pequeno e apertado ao redor da rua no passo 1, ela fica confusa sobre como esse círculo apertado se traduz na estrada à frente. Ela acaba desenhando uma nuvem enorme e difusa de "talvez a estrada vá para a esquerda, talvez para a direita, talvez desapareça".
- O Resultado: Na estrada real (os dados de treinamento), a MFVI está com medo demais. Ela acha que a estrada é muito mais perigosa e imprevisível do que realmente é.

O "Equilíbrio" (O Gangorra)

O artigo explica uma regra estranha sobre este método: Ele não pode errar de apenas um jeito.

Pense na incerteza do modelo como uma gangorra.

Se o modelo é confiante demais (subestima a incerteza) em algumas direções, ele deve ser incerto demais (superestima a incerteza) em outras direções para manter a matemática equilibrada.
O artigo prova que, para dados que se parecem com os dados de treinamento (In-Distribution), o lado da gangorra que é "incerto demais" é o que vence. O modelo superestima o risco.

O Ajuste "Frio"

Os autores descobriram uma maneira de corrigir esse excesso de cautela. No mundo da matemática Bayesiana, existe um conceito chamado Temperatura.

Temperatura Alta: Torna o modelo mais relaxado e espalhado (mais incerto).
Temperatura Baixa (Fria): Torna o modelo mais nítido e focado (menos incerto).

Normalmente, as pessoas pensam que você precisa "esfriar" um modelo para torná-lo menos confiante. Mas aqui, como a MFVI já está com medo demais (superestimando a incerteza), os autores descobriram que baixar a temperatura (torná-la "Fria") ajuda de fato.

É como dizer a um motorista nervoso: "Você está superestimando o perigo. Respire fundo e foque". Ao baixar a temperatura, as previsões do modelo voltam à realidade, aproximando-se muito mais da resposta exata e verdadeira.

A Armadilha de Alta Dimensionalidade

O artigo mostra um cenário assustador onde isso piora conforme as coisas ficam mais complexas (altas dimensões).

Imagine tentar navegar em uma cidade com 1.000 ruas em vez de apenas uma.
Se todas as suas fotos são de apenas uma rua específica, o modelo MFVI fica tão confuso com as outras 999 ruas vazias que ele esquece a única rua que ele realmente viu.
Ele acaba prevendo que a estrada é tão incerta quanto se ele não tivesse visto dados nenhum. Ele falha completamente em aprender com os dados de treinamento.
No entanto, aplicar o ajuste "Frio" (baixar a temperatura) salva o dia, permitindo que o modelo perceba: "Ah, eu sei algo sobre esta rua", e corrija sua previsão.

O "Efeito do Posterior Frio"

No mundo do Deep Learning, pesquisadores notaram que os modelos costumam funcionar melhor quando são "esfriados" (um fenômeno chamado Efeito do Posterior Frio). Normalmente, as pessoas culpavam isso por dados ruins ou modelos ruins.

Este artigo oferece uma nova razão: Mesmo com dados perfeitos e um modelo perfeito, a matemática da MFVI naturalmente faz o modelo ficar com medo demais. Portanto, "esfriar" o modelo não é um truque; é uma correção necessária para impedir que o modelo superestime a incerteza em dados que ele deveria conhecer bem.

Resumo

Crença Antiga: A MFVI é sempre confiante demais.
Nova Descoberta: A MFVI é confiante demais sobre as configurações internas do modelo, mas incerta demais sobre as previsões que faz em dados familiares.
O Ajuste: Baixar a "temperatura" (tornar o posterior "Frio") corrige esse excesso de cautela, tornando as previsões precisas novamente.
O Aviso: Em situações muito complexas e de alta dimensionalidade, esse excesso de cautela pode ficar tão ruim que o modelo esquece totalmente o que aprendeu, a menos que você aplique o ajuste "Frio".

Resumo Técnico: A Inferência Variacional de Campo Médio Gaussiano Pode Superestimar a Variância Preditiva

Declaração do Problema
A Inferência Variacional de Campo Médio (MFVI) é amplamente caracterizada na literatura como uma aproximação que subestima a variância posterior, levando a previsões excessivamente confiantes. Essa caracterização decorre da observação de que a MFVI, ao fatorizar a posterior nos parâmetros, atua como uma aproximação de ajuste de modo (mode-fitting) no espaço de parâmetros, evitando regiões de baixa probabilidade e, assim, reduzindo a variância da distribuição dos parâmetros. No entanto, este artigo argumenta que essa caracterização é incompleta quando o objetivo muda da inferência de parâmetros para a predição. Especificamente, os autores demonstram que, embora a MFVI possa subestimar a variância no espaço de parâmetros, ela pode paradoxalmente superestimar a variância preditiva para pontos de teste extraídos da distribuição de treinamento (dados In-Distribution ou ID). Essa superestimação é particularmente pronunciada em direções onde os dados de treinamento se concentram.

Metodologia
Os autores conduzem uma análise teórica rigorosa utilizando a Regressão Linear Bayesiana Conjugada (BLR) como um cenário tratável para derivar resultados exatos.

Configuração: Eles assumem um modelo linear $y = \theta^\top x + \epsilon$ com ruído Gaussiano, uma prior Gaussiana $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$ , e um conjunto de dados de treinamento $D$ .
Exato vs. Aproximado: Eles comparam a posterior exata $p(\theta|D)$ , que é uma Gaussiana Multivariada com covariância $\Sigma$ , contra a posterior MFVI $q(\theta) = \mathcal{N}(m, S)$ , onde $S$ é restrita a ser diagonal.
Derivação Teórica:
- Eles derivam que a média ótima da MFVI $m^*$ é igual à média da posterior exata $\mu$ .
- Eles mostram que os autovalores da covariância ótima da MFVI $d_p^*$ são as médias harmônicas ponderadas dos autovalores da posterior exata $\delta_q$ , ponderadas pelas projeções quadráticas dos autovetores da posterior exata sobre os vetores da base canônica.
- Usando essas propriedades, eles analisam a variância preditiva $x^\top S^* x$ versus $x^\top \Sigma x$ para diferentes distribuições de pontos de teste.
Escalonamento de Temperatura: Para abordar a discrepância, os autores exploram o Efeito da Posterior Fria (CPE). Eles definem uma posterior "MFVI Fria" minimizando a divergência KL em relação a uma posterior temperada (fria) $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ com $T < 1$ . No caso Gaussiano conjugado, isso simplesmente escala a covariância da MFVI por $T$ ( $S^*_T = T S^*$ ).

Principais Contribuições

Prova Teórica de Superestimação: O artigo prova que, para BLR com priors esféricos, a MFVI superestima a variância preditiva ao longo do primeiro componente principal dos dados de treinamento. Crucialmente, para pontos de teste distribuídos de acordo com a distribuição empírica de treinamento, a variância preditiva esperada da MFVI excede a da posterior exata (Teorema 3.7).
Restrição de Calibração: Os autores estabelecem uma propriedade de "calibração" (Lema 3.6): a razão entre a variância da MFVI e a variância exata, média sobre os autovetores da verdadeira posterior, é igual a 1. Isso implica que, se a MFVI subestima a variância em algumas direções (tipicamente aquelas ortogonais aos dados), ela deve superestimá-la em outras (tipicamente nas direções de alta variância dos dados) para compensar.
Limite Patológico de Alta Dimensionalidade: Em um cenário patológico onde os dados residem em um subespaço de posto 1, os autores mostram que, conforme a dimensão $P \to \infty$ , a posterior da MFVI não consegue reduzir a variância preditiva em relação à prior de forma alguma. A informação da única direção de dados é diluída através dos $P$ componentes alinhados aos eixos, fazendo com que a preditiva da MFVI colapse em direção à preditiva da prior.
Reinterpretação do Efeito da Posterior Fria (CPE): O artigo fornece uma explicação inovadora para o Efeito da Posterior Fria (CPE) na ausência de erro de especificação do modelo ou aumento de dados (data augmentation). Eles argumentam que baixar a temperatura ( $T < 1$ ) corrige a superestimação da variância preditiva em dados ID, aproximando as predições da MFVI da posterior exata. Inversamente, para dados Fora da Distribuição (OOD), posteriors "quentes" ( $T > 1$ ) podem ser necessários para corrigir a subestimação.

Resultados

Experimentos Sintéticos: Em configurações de baixa dimensão ( $P=2$ ), a MFVI em $T=1$ aproxima bem a posterior exata. No entanto, em configurações de alta dimensão ( $P=1024$ ) com dados de posto deficiente, a MFVI em $T=1$ torna-se indistinguível da prior, falhando em capturar a informação dos dados.
Ajuste de Temperatura: Experimentos em tarefas de regressão UCI sintéticas e reais (usando Regressão de Funções de Base) confirmam que:
- Para dados de teste ID, a temperatura ótima $T^*$ é consistentemente menor que 1, minimizando várias divergências estatísticas (KL, Wasserstein, etc.) entre as distribuições preditivas da MFVI e a exata.
- Para dados de teste OOD (ortogonais às direções de treinamento), a temperatura ótima é frequentemente maior que 1.
Regressão de Funções de Base: A aplicação desses insights à regressão não linear via Funções de Base Radial (RBF) mostra que a patologia de superestimação escala com o número de funções de base (dimensionalidade), espelhando os achados da regressão linear.

Significância e Alegações
O artigo afirma fornecer um entendimento mecanístico de por que a MFVI pode ser inconfiante (superestimar a variância) em dados dentro da distribuição, desafiando o dogma padrão de que a MFVI é sempre excessivamente confiante.

Completude da Caracterização: Os autores afirmam que a narrativa de que "a MFVI subestima a incerteza" é incompleta; a direção do erro depende da distribuição de teste relativa aos dados de treinamento.
Justificativa para o CPE: O trabalho oferece uma nova justificativa para o Efeito da Posterior Fria (CPE), distinta de explicações envolvendo likelihoods ou priors mal especificados. Sugere que o temperamento é uma correção necessária para os erros específicos de aproximação introduzidos pela suposição de campo médio em configurações de dados de alta dimensão e correlacionados.
Implicação Prática: Os achados sugerem que para tarefas onde os dados de teste se assemelham aos dados de treinamento, aplicar uma posterior fria (baixando a temperatura) à MFVI pode melhorar significativamente a calibração preditiva e o desempenho, alinhando a posterior aproximada mais de perto com a solução Bayesiana exata.

Os autores mantêm a modéstia, observando que seus resultados teóricos foram derivados para modelos lineares conjugados, mas demonstram empiricamente que essas intuições se estendem à regressão de funções de base não lineares e a conjuntos de dados reais. Eles não pretendem resolver todas as limitações da VI, mas sim corrigir um modo de falha específico e contraintuitivo da MFVI em configurações preditivas.