📊 statistics

Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties

Este artigo propõe um framework de treinamento cooperativo que integra uma rede de estimação de variância com uma rede neural bayesiana para efetivamente desentrelaçar incertezas aleatórias e epistêmicas, ao mesmo tempo em que melhora a estimação da média em diversos conjuntos de dados.

Autores originais: Jiaxiang Yi, Miguel A. Bessa

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiaxiang Yi, Miguel A. Bessa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando prever o tempo. Você tem um modelo que diz: "Amanhã fará 75°F". Mas quão certo está o modelo?

No mundo da IA, há duas razões principais pelas quais um modelo pode estar inseguro:

O Problema dos "Dados Bagunçados" (Incerteza Aleatória): O termômetro está quebrado, ou o vento está soprando de forma selvagem. Não importa o quão inteligente seja seu modelo, você não pode prever a temperatura exata porque os próprios dados são ruidosos. Isso é como tentar adivinhar o resultado exato de rolar um dado; o ruído está embutido no processo.
O Problema do "Nunca Vi Isso Antes" (Incerteza Epistêmica): Você pergunta ao seu modelo sobre um padrão climático que ele nunca viu em seus dados de treinamento. O modelo está inseguro porque falta conhecimento, não porque os dados são ruidosos. Isso é como pedir a um chef que cozinha apenas comida italiana para adivinhar o sabor de um prato de uma culinária que ele nunca estudou.

O Problema com a IA Atual
A maioria dos modelos de IA é como alunos excessivamente confiantes. Eles dão uma única resposta (a média), mas agem como se soubessem tudo. Se estiverem errados, não avisam.

Alguns modelos tentam admitir que estão inseguros sobre os "dados bagunçados", mas ficam confusos e frequentemente sofrem overfitting (memorizam o ruído), levando a previsões ruins.
Outros modelos (Redes Neurais Bayesianas) tentam admitir que estão inseguros sobre sua "falta de conhecimento", mas são incrivelmente difíceis de treinar e frequentemente ficam presos em um beco sem saída matemático.

Tentar treinar um modelo para fazer as duas coisas ao mesmo tempo é como pedir a um aluno para resolver um problema de matemática enquanto, simultaneamente, tenta descobrir o quão bagunçada está sua caneta. As duas tarefas lutam entre si, e o resultado geralmente é uma bagunça.

A Solução: Uma Equipe Cooperativa (VeBNN)
Os autores deste artigo propõem uma nova maneira de treinar IA chamada VeBNN (Rede Neural Bayesiana de Estimativa de Variância). Em vez de forçar um único modelo a fazer tudo de uma vez, eles dividem o trabalho em três etapas distintas, como uma corrida de revezamento onde cada corredor se especializa em uma etapa.

Etapa 1: O Corredor da "Média"
Primeiro, eles treinam um modelo simples apenas para encontrar a resposta média (a média). Eles fingem que os dados estão perfeitamente limpos por um momento. Isso lhes fornece uma previsão sólida de base, sem se distrair com o ruído.

Etapa 2: O Detetive do "Ruído"
Em seguida, eles pegam essa base sólida e treinam um segundo modelo especializado apenas para observar os erros que o primeiro modelo cometeu. Este "Detetive do Ruído" aprende a mapear onde os dados são bagunçados e onde são limpos. Ele aprende a Incerteza Aleatória (o ruído irreduzível). Crucialmente, ele faz isso sem tentar alterar a previsão média, para não ficar confuso.

Etapa 3: O Especialista em "Conhecimento"
Finalmente, eles treinam uma complexa Rede Neural Bayesiana. Este é o especialista que sabe lidar com situações de "eu não sei". Mas aqui está o truque: eles dão a este especialista o mapa do "ruído" criado pelo detetive na Etapa 2. Como o especialista já sabe exatamente onde os dados são bagunçados, ele pode focar inteiramente em descobrir onde ele falta conhecimento. Isso permite que ele meça com precisão a Incerteza Epistêmica.

Por Que Isso Funciona (A Analogia)
Pense nisso como uma equipe de médicos diagnosticando um paciente:

Médico A mede a temperatura e a frequência cardíaca do paciente (a Média).
Médico B examina o histórico do paciente e nota que o termômetro é instável e o paciente está suando (o Ruído Aleatório).
Médico C (o especialista Bayesiano) usa as medições de A e o contexto de B para decidir: "Esta é uma doença rara que nunca vi?" (A Incerteza Epistêmica).

Se você pedir ao Médico C para fazer as três funções ao mesmo tempo, ele pode ficar sobrecarregado. Mas, ao fazê-los trabalhar cooperativamente em sequência, o diagnóstico é muito mais preciso.

O Que Eles Encontraram
Os autores testaram este método em vários conjuntos de dados, incluindo:

Problemas matemáticos padrão.
Tarefas de reconhecimento de imagem.
Um conjunto de dados especial que eles criaram envolvendo ciência dos materiais (prevendo como o metal se deforma sob tensão). Neste caso específico, eles realmente sabiam a quantidade verdadeira de ruído nos dados, permitindo-lhes provar que seu método estava correto.

Os Resultados

Melhor Precisão: Os modelos previram o resultado médio melhor do que métodos anteriores.
Desemaranhamento Real: O modelo separou com sucesso os "dados bagunçados" da "falta de conhecimento". Em métodos anteriores, essas duas incertezas frequentemente se misturavam, tornando o modelo excessivamente confiante ou excessivamente temeroso.
Robustez: O método funcionou bem mesmo quando os dados eram escassos ou quando o modelo foi solicitado a prever coisas fora de sua faixa de treinamento (extrapolação).

Em Resumo
Este artigo introduz uma estratégia de "dividir para conquistar" para a incerteza da IA. Ao treinar três redes especializadas em uma ordem específica, os autores criaram um sistema que pode dizer não apenas o que acontecerá, mas quão certo está sobre o ruído dos dados versus sua própria falta de conhecimento. É uma maneira mais simples e robusta de fazer a IA admitir o que não sabe.

Resumo Técnico: Estimativa Cooperativa de Variância e Redes Neurais Bayesianas para Desemaranhar Incertezas Aleatórias e Epistêmicas

Declaração do Problema

Dados do mundo real contêm inerentemente dois tipos distintos de incerteza: incerteza aleatória (ruído de dados decorrente de medições imperfeitas ou processos de geração estocástica) e incerteza epistêmica (incerteza do modelo decorrente de dados limitados ou capacidade do modelo). Embora redes de estimativa média-variância (MVE) possam aprender incerteza aleatória, elas frequentemente sofrem de sobreajuste e falham em prever incerteza epistêmica. Por outro lado, Redes Neurais Bayesianas (BNNs) podem prever incerteza epistêmica, mas são notoriamente difíceis de treinar, particularmente ao tentar modelar simultaneamente ruído aleatório heterocedástico (dependente da entrada).

Abordagens existentes para treinar conjuntamente redes MVE frequentemente encontram desafios de otimização. A função de perda de Negativa de Verossimilhança (NLL) usada para treinamento conjunto cria uma paisagem não convexa com pontos de sela. Especificamente, o gradiente em relação à variância contém termos de alta ordem no denominador, levando a desequilíbrios onde a rede pode ou sobreajustar o ruído (levando a variância a zero) ou falhar em convergir (levando a variância ao infinito). Além disso, tentativas de desemaranhar incertezas usando métodos de ensemble ou MC-Dropout em redes MVE mostraram-se capazes de produzir resultados não confiáveis, frequentemente confundindo os dois tipos de incerteza.

Metodologia: VeBNN

Os autores propõem o VeBNN (Rede Neural Bayesiana de Estimativa de Variância), uma estratégia de treinamento cooperativa que desacopla sequencialmente a estimativa da média, da incerteza aleatória e da incerteza epistêmica. O método procede em três etapas distintas:

Treinamento da Rede de Média (Etapa 1): Uma rede determinística é treinada para estimar a média ( $\mu$ ) assumindo incerteza aleatória constante (homocedástica). Isso simplifica a paisagem de otimização, permitindo que a rede encontre uma estimativa pontual robusta da média sem a interferência de gradientes de variância.
Treinamento da Rede de Estimativa de Variância (Etapa 2): Uma rede separada é treinada para prever a incerteza aleatória ( $\sigma^2_a$ ) com base nos resíduos da estimativa de média fixa da Etapa 1. Crucialmente, em vez de usar a perda NLL Gaussiana padrão (que sofre de desequilíbrio de gradiente), os autores propõem modelar os resíduos quadrados usando uma distribuição Gama. Isso leva a uma perda NLL baseada em Gama onde os gradientes em relação aos parâmetros da rede não contêm termos de denominador de alta ordem, garantindo otimização estável. A variância aleatória é então derivada como o valor esperado dessa distribuição Gama.
Treinamento da Rede Neural Bayesiana (Etapa 3): Uma BNN é treinada com um "início quente" usando a estimativa de média da Etapa 1 e a estimativa de variância aleatória fixa da Etapa 2. Como o ruído aleatório é agora tratado como uma quantidade conhecida e fixa durante esta etapa, a BNN foca exclusivamente em aprender a distribuição posterior dos pesos para capturar a incerteza epistêmica.

A previsão final para uma nova entrada $x'$ decompõe a incerteza total em:

Média Preditiva: A expectativa da saída da BNN.
Incerteza Aleatória: A estimativa de variância fixa da Etapa 2.
Incerteza Epistêmica: A variância da média preditiva da BNN através da distribuição posterior.

Os autores observam que o processo pode iterar entre as Etapas 2 e 3 para refinar o desemaranhamento, embora os resultados empíricos sugiram que a convergência é frequentemente alcançada com uma única iteração ( $K=1$ ou $K=2$ ).

Contribuições Principais

Estratégia de Treinamento Cooperativa: O artigo introduz um framework de treinamento sequencial que evita os problemas de otimização acoplada inerentes ao treinamento conjunto MVE. Ao separar as tarefas, o método mitiga os problemas de não convexidade e desequilíbrio de gradiente associados à estimativa conjunta média-variância.
Verossimilhança Gama para Estimativa de Variância: Os autores propõem o uso de uma verossimilhança Gama para modelar resíduos quadrados para estimativa de variância. Isso evita a instabilidade numérica da perda NLL Gaussiana e fornece um problema de otimização convexa teoricamente fundamentado para a rede de variância.
Desemaranhamento Eficaz: O método separa com sucesso incertezas aleatórias e epistêmicas, uma tarefa onde muitos métodos existentes (incluindo ensembles profundos e MC-Dropout aplicados a MVE) falham em fornecer separação confiável.
Escalabilidade e Implementação: A abordagem é simples de implementar usando arquiteturas padrão (MLPs, GRUs, ResNets) e métodos de inferência (pSGLD, Ensembles, BBB, MC-Dropout), demonstrando que o treinamento cooperativo pode aprimorar até mesmo métodos de inferência "fracos" como o BBB.

Resultados Experimentais

Os autores avaliaram o VeBNN em cinco categorias de conjuntos de dados:

Exemplos ilustrativos unidimensionais: Demonstraram que o VeBNN evita previsões de variância excessivamente confiantes e estimativas de média pobres vistas no treinamento conjunto MVE, particularmente em regiões de extrapolação.
Conjuntos de Dados de Regressão UCI: O VeBNN melhorou consistentemente a Verossimilhança Logarítmica de Teste (TLL) e o Erro Quadrático Médio Raiz (RMSE) através de vários métodos de inferência (Ensembles, MC-Dropout, BBB, pSGLD) em comparação com suas contrapartes MVE conjuntas. Notavelmente, o VeBNN (BBB) alcançou desempenho competitivo, enquanto o MVE conjunto (BBB) frequentemente falhava em convergir.
Regressão de Imagem em Grande Escala: Sob deslocamentos de distribuição do mundo real, o VeBNN (Ensembles) alcançou TLL mais alto e melhor cobertura de teste do que as linhas de base, demonstrando uma capacidade mais forte de lidar com dados deslocados.
Descoberta de Lei de Plasticidade de Materiais (Verdade Terrena Conhecida): Usando um conjunto de dados personalizado onde a incerteza aleatória da verdade terrena é conhecida (via múltiplas simulações físicas), o VeBNN (pSGLD) superou todas as linhas de base em RMSE, distância de Wasserstein (medindo a proximidade da incerteza aleatória estimada à verdade terrena) e TLL Epistêmica. O método identificou corretamente que a incerteza aleatória permaneceu estável enquanto a incerteza epistêmica aumentava em regiões fora da distribuição.
Conjunto de Dados APPA-REAL: O VeBNN alcançou o melhor desempenho em todas as métricas (RMSE, WA, TLL Epistêmica) em comparação com as linhas de base MVE.

Estudos de ablação confirmaram que a perda Gama é superior à NLL Gaussiana ou $\beta$ -NLL para a rede de variância e que o método converge rapidamente, frequentemente exigindo apenas uma iteração adicional além do treinamento inicial.

Significado e Alegações

O artigo alega que a estratégia de treinamento cooperativa proposta oferece uma solução robusta, eficiente e escalável para quantificação de incerteza em aprendizado profundo. Ao desacoplar a estimativa de incertezas aleatórias e epistêmicas, o método supera os obstáculos de otimização que limitaram a adoção generalizada da regressão heterocedástica bayesiana.

Os autores enfatizam que, embora o treinamento de BNNs permaneça mais desafiador do que o treinamento de redes determinísticas, sua abordagem facilita esse processo fornecendo um início quente de alta qualidade (a média) e uma estimativa fixa de ruído aleatório. Eles afirmam que este método é particularmente valioso para aplicações críticas de segurança onde distinguir entre incerteza redutível (epistêmica) e irredutível (aleatória) é essencial para aprendizado ativo e tomada de decisão sensível ao risco. O artigo conclui que o VeBNN é uma alternativa prática e implementável aos métodos atuais de última geração, capaz de melhorar a estimativa de média e o desemaranhamento de incerteza através de diversas arquiteturas de modelo e técnicas de inferência.