🤖 machine learning

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

Este artigo propõe uma estrutura de teoria da decisão para avaliar a incerteza epistêmica baseada na minimização do arrependimento em vez de tarefas de aproximação tradicionais, demonstrando que as métricas de correlação padrão falham em prever a utilidade operacional e revelando discrepâncias significativas entre os rankings de métodos de incerteza baseados em teoria da decisão e em tarefas de aproximação.

Autores originais: Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

Publicado 2026-07-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jakub Paplhám, Willem Waegeman, Eyke Hüllermeier, Vojtěch Franc

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o capitão de uma nave espacial navegando através de uma nebulosa caótica. O computador da sua nave é incrivelmente inteligente, mas ele precisa relatar dois tipos distintos de "incerteza" para você. O primeiro é a incerteza aleatória (aleatoric uncertainty): é a "névoa de guerra", o ruído nos sensores, a estática no rádio, o fato de que a própria nebulosa é apenas desordenada e imprevisível. Não importa o quão bom o seu computador se torne, esse ruído sempre estará lá; é o caos irredutível do universo. A segunda é a incerteza epistêmica (epistemic uncertainty): é o "sentimento de ignorância" do computador. É a sensação que o computador tem quando olha para uma região do espaço que nunca viu antes e pensa: "Eu não tenho ideia do que há ali porque ainda não estudei esta região". Esse tipo de incerteza é redutível; se o computador aprender mais, esse medo desaparece.

Por muito tempo, cientistas tentando construir IAs melhores foram obcecados em ensinar os computadores a distinguir entre a "névoa" e a sua própria "ignorância". Por quê? Porque se um computador sabe que é ignorante, ele pode dizer: "Eu não sei, não me pergunte", e evitar cometer um erro perigoso. Mas aqui está a parte difícil: como testar se um computador é realmente bom em detectar sua própria ignorância? Tradicionalmente, pesquisadores usaram dois principais "testes de aproximação" (proxies). Um é a detecção de Fora da Distribuição (OOD - Out-of-Distribution), que pergunta: "Você consegue perceber quando está vendo algo totalmente estranho que nunca viu antes?". O outro é o Aprendizado Ativo (Active Learning), que pergunta: "Se você pudesse escolher um novo dado para estudar, qual deles te ensinaria mais?". A grande questão é: esses testes realmente dizem se um computador é bom em detectar sua própria ignorância, ou eles estão testando algo completamente diferente?

Este artigo, intitulado "Avaliando a Incerteza Epistêmica: Além da Detecção de OOD e do Aprendizado Ativo", argumenta que estamos jogando o jogo errado. Os autores, uma equipe de pesquisadores de universidades de Praga, Ghent e Munique, descobriram que a "resposta matemática perfeita" para detectar dados estranhos (OOD) ou escolher o melhor material de estudo (Aprendizado Ativo) é, na verdade, completamente diferente da "resposta perfeita" para detectar a ignorância (Arrependimento/Regret).

Para entender isso, imagine que você é um professor corrigindo um aluno.

O Teste OOD é como perguntar ao professor: "Você consegue dizer se esta pergunta foi escrita por um alienígena?". A resposta perfeita depende apenas de como a pergunta parece, não de se o aluno sabe a resposta ou não.
O Teste de Aprendizado Ativo é como perguntar: "Qual pergunta devemos fazer a seguir para ajudar o aluno a aprender mais?". A resposta perfeita depende de quanto o conhecimento futuro do aluno irá melhorar.
O Teste de Arrependimento (Incerteza Epistêmica) é perguntar: "Para esta pergunta específica agora, o quanto é provável que o aluno erre porque ele simplesmente não conhece o conteúdo?".

O artigo prova matematicamente que essas três "respostas perfeitas" frequentemente apontam para direções completamente diferentes. Um computador pode ser incrível em detectar perguntas alienígenas (OOD), mas terrível em saber quando está prestes a falhar em um problema de matemática específico (Arrependimento). De fato, os autores construíram um "mundo de areia" (sandbox) unidimensional simples (inspirado em uma função chamada função de Rossellini) para mostrar que a melhor estratégia para detecção de OOD pode dizer para você rejeitar uma região específica do espaço, enquanto a melhor estratégia para minimizar o arrependimento diz para você aceitar essa mesma região. Elas são fundamentalmente desalinhadas.

Devido a esse descompasso, os autores argumentam que usar a detecção de OOD ou o Aprendizado Ativo como um "proxy" para julgar o quão bem um modelo entende sua própria ignorância é falho. Eles mostram que métodos que ocupam o 1º lugar em testes de OOD podem ocupar o 10º lugar em testes de arrependimento, e vice-versa. Por exemplo, em seus testes no conjunto de dados CIFAR-10H (uma coleção de imagens com muitas opiniões humanas sobre o que elas são), um método chamado "Redes Evidenciais" (Evidential Networks) foi terrível em detectar dados estranhos (OOD), mas foi o melhor absoluto em identificar quando era ignorante e provavelmente cometeria um erro. Por outro lado, os "Ensembles Profundos" (Deep Ensembles) foram ótimos em detectar dados estranhos, mas falharam em minimizar o arrependimento.

O artigo também aborda uma ideia popular no campo chamada "desentrelaçamento" (disentanglement). Recentemente, alguns pesquisadores argumentaram que, se as pontuações de "névoa" e de "ignorância" de um computador forem altamente correlacionadas (sobem e descem juntas), o computador falhou em separar os dois conceitos. Os autores desafiam isso. Eles mostram que, mesmo que as pontuações sejam altamente correlacionadas, o computador ainda pode ser capaz de tomar decisões perfeitas. Em vez de apenas verificar se as pontuações são correlacionadas, eles propõem um teste mais prático: o hiato de Pareto (Pareto-gap).

Pense no hiato de Pareto como um "mapa de decisão". Imagine um gráfico 3D onde você pode trocar entre quantas perguntas responde (Cobertura), quantos erros comete (Risco) e quanta "ignorância" você evita (Arrependimento). O computador "perfeito" desenha uma curva suave e ideal nesse mapa. Os autores medem o quão próximo a curva de um computador real está dessa linha perfeita. Eles descobriram que métodos com alta correlação entre suas pontuações (que alguns pensavam ser algo ruim) podiam, na verdade, desenhar curvas muito próximas da linha perfeita, o que significa que eram operacionalmente úteis.

Em resumo, os autores provam que não podemos apenas olhar para o quão bem um modelo detecta dados estranhos ou escolhe tópicos de estudo para saber se ele entende sua própria ignorância. Eles fornecem um novo framework que trata a incerteza como uma ferramenta para tomar melhores decisões, mostrando que as velhas formas de testar estão frequentemente nos levando às conclusões erradas sobre quais modelos de IA são realmente seguros e confiáveis. Suas descobertas baseiam-se em provas matemáticas rigorosas e extensos benchmarks em conjuntos de dados do mundo real com anotações humanas densas, sugerindo que o campo precisa parar de depender desses testes de aproximação convenientes, mas enganosos, e começar a medir a incerteza com base no arrependimento real que ela ajuda a evitar.

Resumo Técnico: Avaliando a Incerteza Epistêmica Além da Detecção de OOD e do Aprendizado Ativo

Definição do Problema
A avaliação atual da incerteza epistêmica (ignorância do modelo) baseia-se fortemente em tarefas substitutas (surrogate tasks), como a detecção de Fora de Distribuição (OOD) e o Aprendizado Ativo (Active Learning). No entanto, os autores argumentam que as estratégias de decisão Bayes-ótimas para essas tarefas substitutas não se alinham matematicamente com os escores utilizados para quantificar a incerteza epistêmica para implantação. A detecção de OOD otimiza razões de verossimilhança de entrada independentemente da perda preditiva, enquanto o Aprendizado Ativo otimiza a redução global do erro, ao passo que a incerteza epistêmica, em um contexto de implantação, é definida como o erro redutível local (regret). Esse descompasso teórico leva a uma situação em que métodos classificados com alto desempenho em tarefas de aproximação podem ter um desempenho ruim quando avaliados em sua utilidade operacional real: a minimização do regret. Além disso, a literatura recente critica o desmembramento (disentanglement) da incerteza baseado em altas correlações de rank entre componentes aleatórios e epistêmicos aprendidos, uma métrica que os autores argumentam falhar em capturar a utilidade funcional.

Metodologia
O artigo propõe um framework unificado para avaliar a incerteza epistêmica medindo diretamente sua capacidade de identificar o regret, em vez de depender de tarefas substitutas.

Unificação Teórica: Os autores unificam a classificação seletiva padrão (incerteza total) e a opção de rejeição epistêmica em um único framework de otimização restrita. Eles formulam a predição seletiva como um problema de otimização sobre cobertura ( $\rho$ ), risco esperado ($Ri$) e regret ($Re$).
Prova do Seletor Ótimo: Eles provam (Teorema 1) que o seletor ótimo para qualquer combinação desses vínculos é uma combinação convexa limiarizada das incertezas aleatórias ( $A^*$ ) e epistêmicas ( $E^*$ ) da verdade fundamental (ground-truth). O escore ótimo assume a forma $(1-\lambda)A^* + \lambda E^*$ , onde $\lambda \in [1/2, 1]$ .
Métrica Diagnóstica (Pareto-gap): Em vez de depender da correlação de rank para avaliar o desmembramento, os autores propõem medir a distância entre a superfície alcançável de um método no espaço (Cobertura, Risco, Regret) e a superfície Pareto-ótima teórica ( $S^*$ ). Essa distância, denominada "Pareto-gap", serve como um diagnóstico para determinar se os componentes aprendidos contêm conjuntamente a informação necessária para decisões de implantação ótimas.
Benchmarking Empírico: Para contornar a não computabilidade do regret verdadeiro em configurações padrão de rótulo único, os autores utilizam conjuntos de dados com anotações humanas densas (ex: CIFAR-10H, APPA-REAL, suíte DCIC) para aproximar a distribuição geradora de dados real $p^*(y|x)$ . Isso permite o cálculo exato do preditor Bayes-ótimo e do regret frequentista verdadeiro. Eles testam métodos padrão de quantificação de incerteza (MC-Dropout, Deep Ensembles, DDU, Redes Evidenciais) contra essas verdades fundamentais e comparam-nos com resultados de tarefas substitutas (Detecção de OOD, Aprendizado Ativo).

Principais Contribuições

Desalinhamento Teórico: O artigo demonstra que os pontuadores Bayes-ótimos para detecção de OOD, Aprendizado Ativo (BALD, EER) e minimização de regret em rejeição focam em regiões fundamentalmente diferentes do espaço de entrada. Um método otimizado para um critério pode falhar sob outro.
Framework Unificado: Os autores fornecem uma prova matemática de que a regra de decisão ótima para minimizar o risco excessivo sob restrições de cobertura é sempre um limiar em uma combinação convexa das incertezas aleatória e epistêmica.
Novo Diagnóstico: Eles questionam a dependência da correlação de rank para avaliar o desmembramento da incerteza. Mostram que uma alta correlação não indica necessariamente uma falha de separação se os componentes ainda puderem formar uma fronteira de decisão ótima via combinação linear. Introduzem o Pareto-gap como uma métrica operacionalmente mais relevante.
Evidência Empírica: Através de benchmarking extensivo em conjuntos de dados com distribuições anotadas por humanos, os autores mostram que os rankings baseados na teoria da decisão (baseados em regret) frequentemente discordam substancialmente dos rankings de tarefas substitutas. Notadamente, observam inversões de rank pareadas onde métodos no topo do ranking em OOD ou Aprendizado Ativo ficaram na base do ranking em regret, e vice-versa.

Resultos

Inversões de Rank: No conjunto de dados CIFAR-10H, as Redes Evidenciais alcançaram a melhor utilidade epistêmica pura (menor AuReC) e o menor Pareto-gap, apesar de terem tido desempenho ruim nos benchmarks de detecção de OOD e Aprendizado Ativo. Por outro lado, o Deep Ensembles e o DDU, que dominaram a detecção de OOD, apresentaram desempenho ruim no isolamento do erro redutível (regret).
Correlação vs. Utilidade: No CIFAR-10H, as Redes Evidenciais exibiram uma correlação de rank quase perfeita ( $\rho_S = 0.999$ ) entre seus componentes aleatórios e epistêmicos aprendidos. Métricas tradicionais classificariam isso como uma falha de desmembramento. No entanto, esses mesmos componentes alcançaram a menor distância para o ótimo teórico (Pareto-gap = 0.0379), demonstrando que alta correlação não impede a utilidade operacional.
Correlação da Verdade Fundamental: Os autores também observaram que mesmo as incertezas aleatórias e epistêmicas da verdade fundamental ( $A^*, E^*$ ) podem exibir alta correlação de rank (até 0.882 no CIFAR-10H), sugerindo que a alta correlação nos componentes aprendidos pode refletir o processo gerador de dados em vez de uma falha metodológica.

Significância
O artigo afirma que a dependência do campo em relação à detecção de OOD e ao Aprendizado Ativo como proxies para a incerteza epistêmica é teoricamente falha e leva a conclusões enganosas sobre quais estimadores de incerteza são úteis para implantação. Ao deslocar o foco da avaliação para a capacidade de minimizar o regret e ao introduzir o Pareto-gap como um diagnóstico de utilidade operacional conjunta, os autores fornecem uma base mais rigorosa para avaliar a quantificação de incerteza. Eles argumentam que os pesquisadores devem definir explicitamente a ação subsequente (ex: abster-se de predições arriscadas) em vez de depender de noções ambíguas de ignorância ou de tarefas substitutas que otimizam objetivos matemáticos diferentes. O trabalho destaca que as métricas de avaliação padrão podem selecionar modelos que são subótimos para o objetivo real de reduzir o erro redutível em uma implantação no mundo real.

Mais como este