Resumo Técnico: Aproximação de Laplace Auto-Supervisionada para Quantificação de Incerteza Bayesiana

Declaração do Problema

A inferência bayesiana aproximada (ABI) tradicionalmente foca no cálculo da distribuição posterior dos parâmetros do modelo, $p(\theta | D)$. No entanto, em aplicações práticas, o objeto principal de interesse é frequentemente a distribuição preditiva posterior, $p(\hat{y}_{n+1} | x_{n+1}, D)$, que quantifica a incerteza das previsões e não dos próprios parâmetros.

Métodos padrão para aproximar a preditiva posterior, como Inferência Variacional (VI), Cadeias de Markov Monte Carlo (MCMC) ou aproximações de Laplace clássicas aplicadas à posterior dos parâmetros seguidas de amostragem Monte Carlo (MC), frequentemente incorrem em sobrecarga computacional significativa. Especificamente, em Redes Neurais Bayesianas (BNNs), a necessidade de amostragem MC para integrar sobre a posterior dos parâmetros aumenta drasticamente os custos de inferência. Além disso, alternativas determinísticas existentes frequentemente dependem de fortes suposições distribucionais ou restringem a modelagem de incerteza à camada final, limitando sua aplicabilidade a modelos gerais de regressão profunda.

Metodologia

Os autores propõem a Aproximação de Laplace Auto-Supervisionada (SSLA), uma técnica que contorna o cálculo explícito da posterior dos parâmetros para aproximar diretamente a distribuição preditiva posterior. O método é inspirado em conceitos de auto-treinamento e aprendizado semi-supervisionado, especificamente a ideia de aprender a partir de dados auto-previstos.

Mecanismo Central

A ideia fundamental da SSLA é quantificar a incerteza preditiva observando como o ajuste de um modelo muda quando ele é "reajustado" sobre seus próprios dados auto-previstos.

1. Conjunto de Dados Aumentado: Dado um conjunto de dados de treinamento $D$ e uma nova entrada $x_{n+1}$, o modelo gera uma previsão pontual $\hat{y}_{n+1}$ (por exemplo, a previsão MAP). Um conjunto de dados aumentado $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ é construído.
2. Reajuste: O modelo é reajustado em $D_{n+1}$ para encontrar um novo ótimo $\tilde{\theta}$.
3. Quantificação de Incerteza: A incerteza preditiva é derivada da mudança na verossimilhança do modelo, no prior e na curvatura (informação de Fisher) induzida pela inclusão da auto-previsão.
   • Se o modelo atribuir alta verossimilhança à sua auto-previsão (ou seja, $\tilde{\theta} \approx \hat{\theta}$), a previsão é considerada de baixa incerteza.
   • Se a auto-previsão causar uma mudança significativa no ajuste do modelo (grande mudança na verossimilhança ou curvatura), a previsão recebe alta incerteza.

Formulação Matemática

Os autores derivam uma aproximação tratável para a densidade log-preditiva posterior, $\log p(\hat{y}_{n+1} | x_{n+1}, D)$, que se decompõe em três incrementos interpretáveis avaliados nos ajustes do modelo:
$$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{Incremento de Verossimilhança}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{Incremento de Prior}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{Incremento de Curvatura}}$$
Onde:

• $\hat{\theta}$ é a estimativa MAP em $D$.
• $\tilde{\theta}$ é a estimativa MAP em $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$.
• $\ell$ e $\tilde{\ell}$ são log-verossimilhanças.
• $J$ e $\tilde{J}$ são matrizes de informação de Fisher observadas (Hessianas negativas).

Variante Aproximada (ASSLA)

Para eliminar o custo computacional de reajustar o modelo (resolver para $\tilde{\theta}$), os autores introduzem a SSLA Aproximada (ASSLA).

• Expansão Assintótica: Resultados teóricos (Lema 1, Teorema 1) mostram que, para $n$ grande, a diferença entre o ótimo aumentado $\tilde{\theta}$ e o ótimo original $\hat{\theta}$ é da ordem $O(n^{-1})$.
• Simplificação: A ASSLA aproxima $\tilde{\theta} \approx \hat{\theta}$ e retém apenas os termos de ordem principal. Isso permite que o método avalie a incerteza preditiva usando apenas o ajuste original $\hat{\theta}$ e as contribuições de curvatura local da nova pseudo-observação, evitando a necessidade de uma segunda etapa de otimização.
• Modularidade do Prior: Na aproximação ASSLA, o incremento de prior é descartado como um termo de ordem superior, tornando o método computacionalmente eficiente enquanto mantém a sensibilidade às mudanças de verossimilhança e curvatura.

Contribuições Principais

1. Aproximação Preditiva Direta: Um novo framework que aproxima a distribuição preditiva posterior diretamente, contornando a posterior dos parâmetros e a necessidade de amostragem Monte Carlo.
2. Mecanismo Auto-Supervisionado: A introdução de uma aproximação de Laplace baseada em auto-treinamento onde a incerteza é quantificada via a sensibilidade do ajuste do modelo aos dados auto-previstos.
3. Modularidade: A formulação SSLA permite a inserção de diferentes especificações de prior sem retreinamento, facilitando a análise de sensibilidade bayesiana em relação à escolha do prior.
4. Eficiência Computacional: A derivação da ASSLA, que remove o requisito de reajuste, tornando o método escalável para grandes modelos e conjuntos de dados, mantendo calibração competitiva.
5. Justificativa Teórica: Provas rigorosas caracterizando o erro de aproximação da ASSLA, demonstrando que o erro diminui linearmente com o tamanho da amostra $n$ sob condições de regularidade padrão.

Resultados Experimentais

Os autores avaliaram a (A)SSLA em tarefas de regressão que variam de modelos analíticos conjugados a regressão heterocedástica complexa com redes neurais.

• Modelos Conjugados: Em configurações Normal-Normal e Poisson-Gama, a SSLA e a ASSLA corresponderam estreitamente às distribuições preditivas posteriores calculadas analiticamente em tamanhos de amostra de $n=20$ a $n=1.000.000$. Instabilidades numéricas na ASSLA foram observadas apenas em $n$ muito grandes ($>10^6$) devido ao cancelamento de ponto flutuante, o que foi resolvido usando precisão dupla.
• Regressão Heterocedástica (Sintética): Em dados sintéticos com ruído dependente da entrada, a ASSLA produziu intervalos de credibilidade mais suaves e apertados do que as aproximações de Laplace clássicas (que foram excessivamente conservadoras) e foi competitiva com Inferência Variacional (VI) e Monte Carlo Hamiltoniano (HMC). No entanto, a ASSLA mostrou uma tendência a subestimar ligeiramente a incerteza em intervalos amplos em comparação com o HMC.
• Benchmarks do Mundo Real: Avaliados em diversos conjuntos de dados UCI (por exemplo, Concreto, Qualidade do Vinho, Compartilhamento de Bicicletas):
  • Calibração: A ASSLA geralmente alcançou melhor Negativa Log-Verossimilhança (NLL) e Pontuação de Probabilidade Ordenada Contínua (CRPS) do que a Laplace clássica, indicando previsões mais nítidas e melhor calibradas.
  • Cobertura: Embora a ASSLA às vezes tenha exibido subcobertura em regimes difíceis (por exemplo, conjunto de dados de Distúrbios Hepáticos com baixo sinal-ruído), ela frequentemente superou a linha de base conservadora de Laplace, que produzia intervalos excessivamente amplos.
  • Eficiência: A ASSLA forneceu uma troca favorável entre custo computacional e qualidade preditiva, evitando a alta sobrecarga da amostragem MC.

Significado e Alegações

O artigo afirma que a (A)SSLA oferece uma alternativa determinística e livre de amostragem às técnicas padrão de inferência bayesiana para quantificação de incerteza preditiva. O significado reside em:

• Contornar a Intratabilidade: Evita o gargalo computacional de integrar sobre o espaço de parâmetros via amostragem MC, que é uma limitação majoritária no Aprendizado Profundo Bayesiano.
• Aplicabilidade Prática: O método é aplicável a modelos genéricos de regressão profunda e suporta especificação modular de prior, o que é particularmente relevante para campos emergentes como Aprendizado Profundo Bayesiano Credal.
• Gestão de Trade-offs: Os autores posicionam a ASSLA como um método que equilibra a tratabilidade computacional com calibração probabilística competitiva, oferecendo uma solução prática para tarefas de regressão do mundo real onde a inferência bayesiana completa é muito cara.

Os autores permanecem modestos quanto às limitações, reconhecendo que a SSLA pode tornar-se instável em conjuntos de dados muito grandes ou com conflitos prior-dados, e que a ASSLA pode subestimar a incerteza em regiões de alta variância. Eles sugerem que esses métodos devem ser usados juntamente com detecção de desvio/OOD e modelagem robusta de verossimilhança.