📊 statistics

CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

O artigo propõe o CLEAR, um método de calibração que combina parâmetros distintos para incerteza aleatória e epistêmica para melhorar significativamente a cobertura condicional e a eficiência de intervalos preditivos em tarefas de regressão através de diversos conjuntos de dados do mundo real.

Autores originais: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Publicado 2026-07-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ilia Azizi, Juraj Bodik, Jakob Heiss, Bin Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando prever o futuro, como adivinhar por quanto uma casa será vendida ou a que velocidade um carro irá. Você quer que seu palpite esteja correto, mas também quer saber o quão "instável" é esse palpite. No mundo do aprendizado de máquina, existem dois motivos principais pelos quais seu palpite pode ser instável, e por muito tempo, a maioria das ferramentas olhava apenas para um deles.

Os Dois Tipos de "Instabilidade"

Pense na Incerteza Aleatória como o "estático" de um rádio. É o ruído que simplesmente está lá, como um erro de medição ou uma rajada de vento aleatória. Não importa o quanto você estude o rádio ou quantas vezes você o escute, esse estático não desaparecerá, a menos que você conserte o próprio rádio. É o caos inerente aos dados.

Então, há a Incerteza Epistêmica. Este é o sentimento de "eu nunca estive aqui antes". Imagine que você é um cartógrafo que só desenhou mapas para o centro da cidade. Se você tentar adivinhar como é o terreno em uma floresta distante e inexplorada, seu palpite será instável porque lhe faltam dados, não porque a floresta seja barulhenta. Se você saísse para coletar mais dados, esse tipo de instabilidade desapareceria.

O Problema dos Mapas Antigos

A maioria dos métodos antigos para fazer previsões era como um cartógrafo que só se importava com o estático. Eles desenhavam uma zona de segurança (um intervalo de previsão) ao redor de seu palpite para cobrir o "estático", mas ignoravam completamente o fato de que estavam adivinhando sobre um lugar que nunca visitaram. Isso significava que, em áreas familiares, seus mapas eram aceitáveis, mas assim que você se movia para a borda do mundo conhecido (extrapolação), suas zonas de segurança tornavam-se perigosamente estreitas, proporcionando uma falsa sensação de segurança.

Outros métodos tentaram corrigir esse problema do "nunca estive aqui" criando zonas de segurança enormes e largas em todos os lugares, por precaução. Mas isso tornava os mapas inúteis, porque as zonas eram tão largas que não diziam nada de específico.

Apresentando o CLEAR: O Equilibrador Inteligente

Os autores deste artigo, publicado na conferência ICLR 2026, introduziram um novo método chamado CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk). Pense no CLEAR como um cartógrafo superinteligente que carrega duas réguas diferentes: uma para o "estático" e outra para o "território desconhecido".

Em vez de apenas adivinhar o quanto ampliar a zona de segurança, o CLEAR usa dois botões especiais, chamados $\gamma_1$ e $\gamma_2$ , para equilibrar esses dois tipos de incerteza.

Um botão ajusta o ruído (aleatório).
O outro ajusta a falta de dados (epistêmico).

A mágica acontece porque o CLEAR não define esses botões com um número fixo. Ele observa os dados e pergunta: "Neste momento, qual tipo de instabilidade é o maior problema?". Se os dados forem ruidosos, ele aumenta o primeiro botão. Se os dados forem esparsos (como aquela floresta distante), ele aumenta o segundo botão. Ele encontra a mistura perfeita para tornar a zona de segurança o mais justa possível, mantendo-se segura.

O Que Eles Descobriram (e o Que Não Descobriram)

Os pesquisadores testaram o CLEAR em 17 conjuntos de dados diferentes do mundo real, variando de preços de casas à eficiência energética. Eles também realizaram simulações para ver como ele se comportava em ambientes controlados.

Aqui está o que os dados mostraram:

Os Resultados: Nesses testes, o CLEAR conseguiu reduzir a largura dos intervalos de previsão em uma média de 28,3% e 17,5% em comparação com métodos antigos que eram calibrados separadamente. Crucialmente, ele fez isso mantendo o nível de "segurança" exatamente onde deveria estar (mantendo a cobertura nominal).
Os "E Se": O artigo argumenta explicitamente contra a ideia de que você deve apenas somar as duas incertezas em uma proporção fixa de 1 para 1 (como definir $\lambda = 1$ ). Eles mostram que essa abordagem fixa é frequentemente suboptimal porque o equilíbrio muda dependendo dos dados.
Os Limites: O artigo observa que, embora o CLEAR funcione muito bem nesses conjuntos de dados, ele depende da qualidade dos modelos base que utiliza. Se os modelos base forem terríveis, o CLEAR não consegue consertá-los. Além disso, as garantias teóricas de que discutem sustentam-se principalmente em cenários "assintóticos" (significando com dados infinitos) ou em simulações; no mundo real com dados finitos, eles dependem de evidências empíricas de que funciona bem, em vez de uma prova matemática de que deve funcionar em cada caso extremo impossível.

O "Porquê" Por Trás da Mágica

Os autores sugerem que a razão pela qual o CLEAR funciona tão bem é que ele corrige uma falha específica no comportamento de métodos antigos.

Métodos antigos focados apenas em "ruído" (como o CQR) tendem a ser excessivamente confiantes em lugares onde há pouquíssimos dados. Eles desenham caixas minúsculas na floresta desconhecida.
Métodos antigos focados em "falta de dados" (como ensembles) tendem a ser excessivamente cautelosos em lugares com muitos dados, desenhando caixas enormes no centro da cidade movimentada.

O CLEAR age como um mediador. Ele percebe que, na cidade, a régua do "ruído" é a que deve ser confiada, e na floresta, a régua do "desconhecido" é a que deve ser confiada. Ao deixar os dados decidirem a proporção entre os dois, ele cria uma zona de segurança que é justa onde deve ser e ampla onde precisa ser.

A Conclusão

Este artigo sugere que, ao tratar a incerteza como dois ingredientes distintos que precisam ser misturados na proporção correta, em vez de um único bloco, podemos criar previsões de aprendizado de máquina que são tanto mais seguras quanto mais precisas. Não é uma varinha mágica que resolve todos os problemas do universo, mas nos testes realizados, superou consistentemente a concorrência, provando que, às vezes, a melhor maneira de lidar com o desconhecido é saber exatamente que tipo de desconhecido você está enfrentando.

Resumo Técnico: CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk

1. Definição do Problema

A quantificação precisa da incerteza (UQ - Uncertainty Quantification) é crítica para modelos preditivos confiáveis, porém os métodos existentes frequentemente falham em abordar ambas as fontes de incerteza de maneira equilibrada.

Incerteza Aleatória (Aleatoric Uncertainty): Surge da variabilidade inerente aos dados (ruído de medição, covariáveis ausentes) e não pode ser reduzida com a coleta de mais dados.
Incerteza Epistêmica (Epistemic Uncertainty): Surge de dados limitados, erro de especificação do modelo ou escolhas subjetivas no processamento de dados. É redutível com mais dados ou melhores modelos, mas costuma ser grande em regiões de extrapolação.

Abordagens atuais tipicamente tratam apenas um tipo ou os combinam com razões fixas e não adaptativas (por exemplo, definindo o peso da incerteza epistêmica para a aleatória como 1:1). Isso leva a uma má cobertura condicional, onde os intervalos de predição são bem calibrados em média (cobertura marginal), mas falham em fornecer cobertura confiável para subgrupos específicos ou em regiões de extrapolação. Além disso, os métodos existentes frequentemente fixam implicitamente os parâmetros de escala entre esses componentes de incerteza, o que pode ser suboptimal, já que a importância relativa de cada fonte varia entre diferentes conjuntos de dados e tarefas de predição.

2. Metodologia: CLEAR

Os autores propõem o CLEAR (Calibrated Learning for Epistemic and Aleatoric Risk), um framework de calibração que equilibra adaptativamente a incerteza aleatória e a epistêmica usando dois parâmetros distintos, $\gamma_1$ e $\gamma_2$ .

2.1 Formulação do Intervalo de Predição

O CLEAR constrói intervalos de predição $C(x)$ para uma estimativa pontual $\hat{f}(x)$ como:
$C(x) = \left[ \hat{f}(x) \pm \left( \gamma_1 \times \text{aleatoric}_{\pm}(x) + \gamma_2 \times \text{epistemic}_{\pm}(x) \right) \right]$
onde $\gamma_2 = \lambda \gamma_1$ . O parâmetro $\lambda$ controla o compromisso (trade-off) entre os dois tipos de incerteza:

$\lambda = 0$ : O intervalo reflete apenas a incerteza aleatória.
$\lambda \to \infty$ : O intervalo reflete apenas a incerteza epistêmica.
$\lambda > 0$ : Um equilíbrio baseado em dados é alcançado.

2.2 Componentes de Estimativa

O CLEAR é compatível com qualquer par de estimadores, mas demonstra desempenho utilizando:

Estimador Aleatório: Modelos de regressão quantílica treinados nos resíduos ( $Y_i - \hat{f}(X_i)$ ) em vez de alvos brutos. Os autores argumentam que ajustar quantis diretamente nos alvos pode distorcer as estimativas aleatórias se o modelo de média subajustar (underfit), enquanto o ajuste nos resíduos é mais estável. Um conjunto desses modelos (bagging) é usado para estimar os quantis condicionais $\hat{q}^{ale}_{\alpha/2}$ e $\hat{q}^{ale}_{1-\alpha/2}$ .
Estimador Epistêmico: Intervalos derivados do framework PCS (Predictability–Computability–Stability). Isso envolve o treinamento de um conjunto de modelos através de diferentes versões de pré-processamento de dados e arquiteturas de modelos, seguido pelo bootstrapping dos modelos de melhor desempenho. Os quantis pontuais deste conjunto definem a banda de incerteza epistêmica não calibrada $\hat{q}^{epi}_{\alpha/2}$ e $\hat{q}^{epi}_{1-\alpha/2}$ .

2.3 Procedimento de Calibração

O método emprega um processo de calibração em duas etapas em um conjunto de dados de validação/calibração:

Busca em Grade para $\lambda$ : Uma grade de valores positivos $\Lambda$ é avaliada. Para cada candidato $\lambda$ , o fator de escala $\gamma_1$ é determinado via predição conformal de divisão padrão (split conformal prediction) para garantir a cobertura marginal de $1-\alpha$ .
Otimização: O $\lambda^*$ ideal é selecionado minimizando a Perda de Quantil (equivalente à perda pinball ou ao escore de intervalo) no conjunto de validação. Esta métrica equilibra tanto a cobertura quanto a largura do intervalo, incentivando a veracidade (truthfulness).

2.4 Propriedades Teóricas

O artigo estabelece que, sob suposições brandas (consistência dos estimadores base e uma grade compacta para $\lambda$ ), o CLEAR alcança validade assintótica condicional. Embora o componente epistêmico desapareça assintoticamente no limite de dados infinitos, ele desempenha um papel crucial em amostras finitas ao evitar a subcobertura em regiões de escassez de dados, onde métodos conformes padrão (como o CQR) falham.

3. Principais Contribuições

Calibração de Parâmetros Duplos: A introdução de dois parâmetros de calibração distintos ( $\gamma_1$ e $\gamma_2$ , vinculados por $\lambda$ ) para equilibrar as escalas da incerteza aleatória e epistêmica, indo além das combinações de razão fixa.
Estimativa Aleatória Baseada em Resíduos: Demonstração de que o ajuste de quantis nos resíduos produz estimadores de incerteza aleatória mais sensatos e estáveis do que o ajuste diretamente nos alvos.
Integração de PCS e CQR: A primeira combinação dos intervalos de perturbação de conjunto PCS (para incerteza epistêmica) com a Regressão Quantílica Conformalizada (CQR) sobre resíduos (para incerteza aleatória).
Benchmarking em Larga Escala: Avaliação extensiva em 17 conjuntos de dados de regressão do mundo real e simulações sintéticas.

4. Resultados Experimentais

O artigo avalia o CLEAR contra baselines que incluem CQR (apenas aleatória), conjuntos PCS (apenas epistêmica) e suas versões calibradas individualmente.

Métricas de Desempenho: O CLEAR alcança consistentemente uma menor Largura de Intervalo Calibrado Normalizada (NCIW) e Perda de Quantil enquanto mantém a cobertura nominal (95%).
Ganhos Quantitativos: Em 17 conjuntos de dados do mundo real, o CLEAR alcançou uma melhoria média de 28,3% na largura do intervalo em comparação com a baseline de incerteza aleatória calibrada individualmente (ALEATORIC-R) e de 17,5% em relação à baseline epistêmica (PCS), mantendo a cobertura.
Robustez: O CLEAR superou as baselines em 15 dos 17 conjuntos de dados. Foi particularmente eficaz em cenários dominados por alta incerteza aleatória ou epistêmica.
Generalização: O método também foi testado com Deep Ensembles (epistêmica) e Regressão Quantílica Simultânea (aleatória), mostrando melhorias semelhantes (por exemplo, redução de 28,6% na largura com Deep Ensembles).
Estudo de Caso: Em um estudo de caso da residência Ames (Ames Housing), o CLEAR ajustou adaptativamente seu peso ( $\lambda$ ) com base nas características dos dados. Em regimes de baixa informação (poucas variáveis), priorizou a incerteza aleatória; em regimes de muitas variáveis e poucos dados, mudou drasticamente o peso para a incerteza epistêmica, identificando corretamente a fonte dominante de incerteza.

5. Significância e Alegações

O artigo afirma que o CLEAR oferece uma melhoria significativa sobre os métodos clássicos que tratam tipos de incerteza isoladamente ou dependem de combinações fixas e não adaptativas.

Cobertura Condicional: Ao equilibrar adaptativamente as fontes de incerteza, o CLEAR mantém a cobertura condicional aproximada em todo o espaço de entrada, particularmente em regiões de extrapolação onde métodos conformes padrão (como o CQR) costumam apresentar subcobertura.
Interpretabilidade: O parâmetro aprendido $\lambda$ fornece insights sobre qual fonte de incerteza (epistêmica vs. aleatória) domina um conjunto de dados ou região específica, auxiliando praticantes a entender as limitações do modelo.
Robustez: A abordagem de parâmetros duplos permite que o método compense as deficiências dos estimadores base (por exemplo, se a incerteza aleatória for super ou subestimada, $\gamma_1$ pode corrigir a escala).

Os autores reconhecem limitações, observando que a precisão do CLEAR depende da qualidade dos estimadores base e que o overfitting de parâmetros pode ocorrer com conjuntos de dados de calibração muito pequenos. Eles sugerem que trabalhos futuros poderiam estender o CLEAR para classificação, séries temporais e aprendizado ativo.