Riemannian Laplace Approximation with the Fisher Metric

Este artigo corrige as limitações de viés e estreitamento excessivo da aproximação de Laplace Riemanniana baseada na métrica de Fisher, propondo duas variantes alternativas que garantem exatidão no limite de dados infinitos e demonstram melhorias práticas em diversos experimentos.

O essencial

Imagine que você é um explorador tentando desenhar um mapa de um território desconhecido (que chamaremos de "o Terreno da Probabilidade"). O seu objetivo é encontrar o ponto mais alto desse território (o "Modo" ou a melhor estimativa) e, em seguida, desenhar um círculo ao redor dele para representar onde você acha que o resto do território está.

O método clássico, chamado Aproximação de Laplace, é como usar uma régua e um compasso em um terreno perfeitamente plano. Você encontra o topo, mede a inclinação ao redor e desenha um círculo perfeito (uma distribuição Gaussiana).

• O problema: Se o terreno for montanhoso, cheio de vales e curvas estranhas (o que acontece com dados reais e modelos complexos), um círculo simples não serve. Ele ou fica muito pequeno (subestimando o perigo) ou não cobre as curvas certas.

A Solução Geométrica: O Mapa Curvo

Os autores deste paper propõem uma evolução: em vez de usar uma régua reta (geometria euclidiana), eles usam uma Geometria Riemanniana.

• A Analogia: Imagine que o seu mapa não é mais uma folha de papel plana, mas sim uma superfície elástica que se adapta às curvas do terreno. Se o terreno tem uma curva, o seu mapa se estica e se contrai para seguir essa curva perfeitamente.
• A Ferramenta: Para fazer isso, eles usam algo chamado "Métrica". Pense na métrica como a "regra de como medir distâncias" naquele terreno específico.

O Problema da Versão Antiga (RLA-B)

Recentemente, alguém tentou usar essa ideia de mapa curvo, mas escolheu a "regra de medição" errada (chamada Métrica de Monge).

• O que aconteceu: Eles usaram a inclinação do terreno (o gradiente) para definir a regra. O resultado foi um mapa que, embora parecesse inteligente, era muito apertado.
• A Metáfora: É como se você estivesse tentando desenhar um mapa de uma montanha, mas sua régua encolhia cada vez que você se afastava do topo. No final, seu mapa cobria apenas uma pequena parte da montanha real, ignorando áreas importantes. Além disso, mesmo com infinitos dados, esse mapa continuava torto (viés).

A Nova Solução: A Métrica de Fisher

Os autores deste paper dizem: "Espera aí! A gente escolheu a régua errada." Eles propõem usar a Métrica de Fisher (Fisher Information Matrix).

• A Analogia da Régua Perfeita: A Métrica de Fisher é como uma régua que entende a "natureza estatística" do terreno. Ela não olha apenas para a inclinação, mas para como a informação se comporta.
• O Resultado:
  1. Precisão: Se o terreno for uma transformação suave de uma montanha perfeita (Gaussiana), a Métrica de Fisher desenha o mapa exato, sem erros.
  2. Estabilidade: Ela evita que o mapa encolha demais.
  3. Eficiência: Surpreendentemente, mesmo sendo mais complexa matematicamente, ela muitas vezes é mais rápida de calcular porque o "caminho" (geodésica) que o explorador precisa seguir é mais direto e menos tortuoso.

Como Funciona na Prática?

Imagine que você quer gerar amostras (pontos no mapa) para entender o território:

1. Método Antigo (RLA-B): Você joga uma bola no topo da montanha e ela rola seguindo uma regra estranha. A bola para cedo demais, e você acha que o território é menor do que é.
2. Novo Método (RLA-F): Você usa a Métrica de Fisher. A bola rola seguindo as curvas naturais do terreno. Ela vai exatamente para onde deveria ir, cobrindo toda a área necessária.

Por que isso importa?

Na Inteligência Artificial e na Ciência de Dados, precisamos fazer previsões com incerteza.

• Se o seu mapa é muito apertado (como o método antigo), você pode achar que sua previsão é super segura, quando na verdade está errada.
• Com o novo método (RLA-F), o mapa é fiel à realidade. Você sabe exatamente o quão incerto é o seu modelo, seja ele um simples modelo de regressão logística ou uma rede neural complexa.

Resumo da Ópera:
O papel mostra que, para navegar em terrenos de probabilidade complexos, não basta apenas olhar para o topo da montanha. Você precisa da régua certa (Métrica de Fisher) para desenhar o mapa. O método antigo usou uma régua que encolhia o mundo; o novo método usa uma régua que expande o mundo para cobrir a verdade, tornando as previsões de IA mais seguras e precisas.

Resumo técnico

Título: Aproximação de Laplace Riemanniana com a Métrica de Fisher

1. O Problema

A Aproximação de Laplace (LA) é um método clássico e computacionalmente eficiente para inferência bayesiana. Ela aproxima uma densidade alvo (pós-verossimilhança) por uma distribuição Gaussiana centrada no estimativo de Máxima A Posteriori (MAP). Embora seja assintoticamente exata para grandes volumes de dados (devido ao Teorema de Bernstein-von Mises), a LA padrão (Euclidiana) frequentemente falha em capturar a complexidade de distribuições posteriores com dados finitos ou não-Gaussianos, sendo uma aproximação muito "rude" e limitada.

Uma generalização recente, proposta por Bergamin et al. (2023), introduziu a Aproximação de Laplace Riemanniana (RLA). Esta abordagem utiliza a geometria Riemanniana para transformar amostras de uma Gaussiana através de mapas exponenciais ao longo de geodésicas definidas por uma métrica escolhida. No entanto, o artigo identifica uma falha crítica na variante proposta anteriormente (chamada aqui de RLA-B, baseada na métrica de Monge):

• Viés (Bias): A aproximação é tendenciosa, subestimando a incerteza (ficando excessivamente estreita).
• Não exatidão assintótica: Mesmo no limite de dados infinitos ou para alvos Gaussianos isotrópicos, a RLA-B falha em recuperar a distribuição correta.
• Dependência da métrica: As propriedades do método dependem fortemente da métrica escolhida, e a métrica anterior não era adequada para garantir a exatidão teórica.

2. Metodologia

Os autores propõem corrigir essas deficiências através de duas abordagens principais, ambas baseadas em princípios de geometria Riemanniana, mas com escolhas distintas de métrica e pontos de partida.

A. Correção via Mapa Logarítmico (RLA-BLog)

• Conceito: Mantém a métrica original de Bergamin et al. (Monge), mas introduz um mapa logarítmico para corrigir o viés.
• Mecanismo: Em vez de amostrar diretamente a velocidade no espaço tangente, o método amostra um ponto em uma variedade auxiliar (definida por uma Gaussiana) e usa o mapa logarítmico para encontrar a velocidade inicial correta que, ao ser integrada pelo mapa exponencial, retorna à distância Euclidiana correta do MAP.
• Resultado: Torna a aproximação exata para alvos Gaussianos, mas é computacionalmente mais custosa e instável devido à necessidade de resolver um problema de valor de contorno (BVP) para o mapa logarítmico.

B. Apropriação da Métrica de Fisher (RLA-F)

• Conceito: Substitui a métrica de Monge pela Métrica de Fisher (baseada na Informação de Fisher, FIM).
• Definição da Métrica: A métrica tensorial $G(\theta)$ é definida como a soma da Informação de Fisher esperada (derivada da verossimilhança) e o Hessiano negativo do log-prior.
  $$G(\theta) = \mathbb{E}_{Y|\theta}[-\nabla^2 \log \pi(Y|\theta)] - \nabla^2 \log \pi(\theta)$$
• MAP de Hausdorff: Para garantir invariância sob reparametrizações, os autores sugerem o uso do MAP de Hausdorff (que maximiza a densidade em relação à medida de Hausdorff, incluindo o determinante do tensor métrico) em vez do MAP Euclidiano padrão.
• Vantagens Teóricas:
  • Exatidão Assintótica: Para modelos onde a posterior converge a uma Gaussiana (ex: famílias exponenciais com dados infinitos), a RLA-F é exata.
  • Difeomorfismos: É exata para distribuições alvo que são difeomorfismos de uma Gaussiana (ex: distribuição "Squiggle" ou "Funnel"), desde que o prior seja invariante (como o prior de Jeffreys).
  • Geodésicas Retas: Para métricas constantes (ou que convergem para constantes), as geodésicas tornam-se linhas retas no sentido Euclidiano, recuperando a exatidão da LA clássica.

3. Contribuições Principais

1. Identificação e Correção do Viés: Demonstração teórica e empírica de que a RLA proposta anteriormente (RLA-B) é tendenciosa e subestima a incerteza, mesmo em casos simples.
2. Novas Variantes Teóricas: Desenvolvimento de duas variantes corrigidas:
   • RLA-BLog: Uma correção algorítmica via mapa logarítmico.
   • RLA-F: Uma correção fundamental através da escolha da métrica de Fisher, que oferece propriedades teóricas superiores e maior estabilidade.
3. Fundamentação Teórica: Prova de que a RLA-F é exata para uma classe ampla de problemas (Gaussianos, famílias exponenciais e distribuições difeomorfas a Gaussianas) sob condições específicas de prior e parametrização.
4. Implementação Prática: Fornecimento de fórmulas para calcular a métrica de Fisher e os símbolos de Christoffel para redes neurais profundas, permitindo a aplicação do método em modelos complexos.

4. Resultados Experimentais

Os autores compararam a ELA (Laplace Euclidiana), RLA-B (Monge), RLA-BLog e RLA-F em diversos cenários:

• Distribuição Banana (2D):
  • A ELA falha em capturar a curvatura.
  • A RLA-B é estreita demais e enviesada.
  • A RLA-F (especialmente com MAP de Hausdorff) fornece a melhor aproximação, capturando corretamente a geometria e a incerteza.
• Regressão Logística Bayesiana:
  • A RLA-F superou consistentemente todas as outras métodos em 5 conjuntos de dados (Ripl, Pima, Hear, Aust, Germ), tanto com dados padronizados quanto brutos.
  • A RLA-B e RLA-BLog exigiram até 1000 vezes mais avaliações de função para integração numérica em comparação com a RLA-F, indicando superfícies de integração mais suaves com a métrica de Fisher.
• Regressão com Redes Neurais (1D):
  • Em tarefas de regressão com dados completos e com "gaps" (interpolacão), a RLA-F foi indistinguível das amostras do NUTS (padrão-ouro via MCMC) em termos de erro quadrático médio (MSE) e verossimilhança negativa (NLL).
  • A RLA-B e RLA-BLog superestimaram a variância preditiva e produziram amostras de posterior desviadas.
  • Eficiência: A RLA-F foi significativamente mais rápida (menos avaliações de função e tempo de execução) do que as variantes Riemannianas anteriores, mesmo para redes com milhares de parâmetros.

5. Significado e Conclusão

O trabalho estabelece que a escolha da métrica na Aproximação de Laplace Riemanniana é crítica. A métrica de Fisher, combinada com o MAP de Hausdorff, oferece uma solução robusta que:

• Preserva a eficiência computacional da LA clássica.
• Elimina o viés sistemático encontrado em generalizações anteriores.
• Garante exatidão assintótica e para classes específicas de distribuições não-Gaussianas.
• É aplicável a modelos complexos, incluindo redes neurais profundas.

A conclusão prática é que, para problemas de pequena a média escala, a RLA-F é a escolha superior devido à sua precisão e estabilidade. Para problemas de grande escala (como redes neurais muito grandes), a RLA-F ainda é competitiva e mais rápida que métodos anteriores, embora a escalabilidade para dimensões extremas possa exigir aproximações adicionais da Informação de Fisher. O artigo abre novas direções de pesquisa para o uso de métricas intrínsecas em tarefas de inferência aproximada.