Learning Credal Ensembles via Distributionally Robust Optimization

Each language version is independently generated for its own context, not a direct translation.

Imagine que você é um médico tentando diagnosticar uma doença. Você olha para os exames e diz: "Tenho 90% de certeza que é isso". Mas e se você estiver errado? E se o paciente vier de uma cidade diferente, com uma dieta diferente, e seus exames tiverem um padrão que você nunca viu antes?

Aqui é onde entra a Incerteza Epistêmica. Não é apenas sobre o acaso (como um dado que pode cair de qualquer lado), mas sobre o que o médico não sabe porque nunca viu aquele tipo de caso antes.

O artigo que você enviou apresenta uma nova técnica chamada CreDRO. Vamos explicar como ela funciona usando uma analogia simples: O Conselho de Especialistas.

1. O Problema: O Conselho "Cego"

Atualmente, os melhores sistemas de IA para medir essa incerteza funcionam como um conselho de especialistas que todos treinaram exatamente da mesma forma, mas com um pequeno detalhe: cada um começou a estudar com um "caderno de anotações" ligeiramente diferente (isso é o que chamam de "inicialização aleatória").

Como funciona hoje: Se o conselho discorda, o sistema diz: "Ei, temos incerteza!".
O defeito: Essa discordância acontece apenas porque eles começaram de lugares diferentes, não porque o caso atual é realmente estranho ou difícil. É como se o conselho discutisse sobre qual cor de tinta usar, quando o problema real é que o paciente tem uma doença que ninguém no conselho já viu. Eles são bons em detectar erros de cálculo, mas ruins em detectar quando o mundo mudou.

2. A Solução: O Conselho "Adaptável" (CreDRO)

Os autores do artigo criaram o CreDRO. Em vez de apenas mudar o caderno de anotações, eles treinam cada especialista do conselho de uma maneira diferente: simulando cenários de desastre.

Imagine que você está treinando um time de bombeiros.

Método antigo: Você manda todos para o mesmo incêndio, mas eles chegam em horários diferentes.
Método CreDRO: Você manda um grupo para um incêndio pequeno, outro para um incêndio com vento forte, outro para um prédio antigo, e outro para um prédio novo. Você os força a lidar com diferentes graus de dificuldade e mudança de cenário.

No mundo da IA, isso significa que o sistema treina vários modelos, mas cada um deles é forçado a focar em partes "difíceis" ou "raras" dos dados, como se o mundo real fosse mudar drasticamente amanhã.

3. Como funciona na prática? (O "Filtro de Pessimismo")

O sistema usa uma técnica chamada Otimização Robusta Distribucional (DRO).

Imagine que você tem uma pilha de 100 exames.
O sistema diz ao primeiro modelo: "Estude apenas os 50 exames mais difíceis".
Diz ao segundo: "Estude os 75 mais difíceis".
Diz ao terceiro: "Estude os 90 mais difíceis".

Ao fazer isso, cada modelo desenvolve uma "opinião" diferente sobre o que é importante. Quando chega um novo paciente (o teste), se o modelo vê algo que se parece com esses cenários difíceis que ele treinou, ele fica mais cauteloso.

4. O Resultado: A "Caixa de Incerteza"

Quando o CreDRO faz uma previsão, ele não dá apenas um número (ex: "80% de chance"). Ele desenha uma caixa (um intervalo).

Se todos os especialistas concordam que é fácil, a caixa é pequena (ex: "80% a 82%").
Se os especialistas treinados em cenários difíceis acham que pode ser algo estranho, a caixa fica enorme (ex: "40% a 90%").

Essa "caixa" é o que chamam de Conjunto Credal. É uma forma honesta de dizer: "Não tenho certeza absoluta, e minha incerteza é grande porque o mundo pode ter mudado".

Por que isso é incrível?

O artigo testou isso em várias situações, como:

Detectar "Forasteiros": Quando a IA vê uma imagem que não tem nada a ver com o que ela aprendeu (como um gato em um teste de carros), o CreDRO levanta a mão e diz: "Ei, isso não faz parte do meu mundo!". Outros métodos muitas vezes tentam adivinhar e erram feio.
Medicina: Em um teste com imagens de tumores de hospitais diferentes (com máquinas de raio-X diferentes), o CreDRO conseguiu identificar melhor quando estava inseguro, permitindo que o médico humano interviesse.

Resumo em uma frase

O CreDRO é como treinar um time de especialistas não apenas para resolver problemas comuns, mas para se prepararem para o pior cenário possível, garantindo que, quando algo estranho acontecer, eles não fiquem confiantes demais, mas sim honestos sobre o quanto não sabem.

Isso torna a Inteligência Artificial mais segura, mais confiável e menos propensa a cometer erros catastróficos em situações do mundo real.

Each language version is independently generated for its own context, not a direct translation.

1. Problema e Motivação

A quantificação de incerteza preditiva em redes neurais profundas é crucial para aplicações críticas de segurança. É fundamental distinguir entre dois tipos de incerteza:

Incerteza Aleatória (Aleatoric Uncertainty - AU): Inerente aos dados (ruído).
Incerteza Epistêmica (Epistemic Uncertainty - EU): Decorrente do conhecimento limitado do modelo sobre a relação entrada-saída.

O Desafio:
Os métodos state-of-the-art (SOTA) atuais para estimar a incerteza epistêmica, como Deep Ensembles (Ensembles Profundos) e abordagens credais baseadas em eles (ex: CreWra, CreDE), definem a EU principalmente como a discordância entre modelos treinados com inicializações aleatórias diferentes.

Limitação Principal: Essa abordagem reflete principalmente a sensibilidade à aleatoriedade da otimização, e não necessariamente a incerteza proveniente de fontes mais substanciais, como deslocamentos de distribuição entre treino e teste (train-test distribution shifts).
Consequência: Modelos podem subestimar a incerteza quando enfrentam dados fora da distribuição (OOD) que não são capturados apenas pela variação de inicialização.

2. Metodologia: CreDRO

Os autores propõem o CreDRO (Credal Distributionally Robust Optimization), um framework que aprende um ensemble de modelos plausíveis utilizando a Otimização Robusta Distribucional (DRO) para simular diferentes graus de deslocamento de distribuição.

2.1. Treinamento via DRO Adversarial

Em vez de depender apenas de inicializações aleatórias, o CreDRO treina um ensemble onde cada membro é especializado em diferentes "graus de relaxação" da suposição de dados independentes e identicamente distribuídos (i.i.d.).

Mecanismo: Utiliza o aprendizado reponderado adversarialmente (Adversarially Reweighted Learning - ARL). Durante o treino em batches, apenas uma fração $\delta$ das amostras com maior perda (loss) é utilizada para a retropropagação.
Simulação de Deslocamento: Amostras de alta perda são tratadas como potenciais grupos minoritários ou dados fora da distribuição. Ao variar o hiperparâmetro $\delta$ , o modelo simula diferentes níveis de divergência entre as distribuições de treino e teste.
Estratégia do Ensemble: Um hiperparâmetro global $\delta_G$ $δ_{G}$ define o pior caso de divergência. Para um ensemble de tamanho $M$ $M$ , cada modelo $i$ $i$ recebe um $\delta_i$ $δ_{i}$ interpolado uniformemente entre $\delta_G$ $δ_{G}$ e 1.
- $\delta_i = (1 - \delta_G) \cdot \frac{i-1}{M-1} + \delta_G$ .
- Isso garante que os membros do ensemble capturem discordâncias informativas devido a potenciais shifts de distribuição, não apenas ruído de otimização.

2.2. Predição Credal

No momento da inferência, o CreDRO transforma as probabilidades softmax individuais dos $M$ modelos em intervalos de probabilidade por classe.

Construção do Conjunto: Para cada classe $k$ , define-se um intervalo $[p_k, \bar{p}_k]$ , onde $p_k$ é o mínimo e $\bar{p}_k$ é o máximo das probabilidades previstas pelos membros do ensemble.
Conjunto Credal de Caixa (Box Credal Set): Esses intervalos formam um conjunto credal convexo $K_B$ , que representa o conjunto de todas as distribuições de probabilidade consistentes com os limites observados.
Vantagem Computacional: O uso de um conjunto de "caixa" (box) é computacionalmente mais eficiente do que a envoltória convexa (convex hull) dos vetores de probabilidade, especialmente para muitas classes.

2.3. Quantificação da Incerteza

A incerteza epistêmica é quantificada calculando a diferença entre a entropia de Shannon máxima e mínima dentro do conjunto credal:
$EU = H(K_B)_{max} - H(K_B)_{min}$
Isso mede a "largura" da incerteza sobre a distribuição de probabilidade.

3. Contribuições Principais

Nova Formulação da EU: Propõe-se definir a incerteza epistêmica como a discordância entre modelos treinados sob diferentes graus de relaxação da suposição i.i.d., capturando incertezas relacionadas a shifts de distribuição, e não apenas à aleatoriedade de inicialização.
Arquitetura Eficiente e Compatível: Diferente de métodos anteriores (como CreDE) que exigem modificações na arquitetura da rede (ex: duplicação de neurônios de saída para prever limites inferior e superior), o CreDRO utiliza arquiteturas de redes neurais padrão, mantendo a compatibilidade com paradigmas de treino existentes.
Desempenho Superior: O método supera consistentemente os métodos SOTA (incluindo Deep Ensembles, CreWra, CreDE, CreBNN) em tarefas de detecção de dados fora da distribuição (OOD) e classificação seletiva.
Robustez a Hiperparâmetros: Estudos de ablação mostram que o desempenho do CreDRO é robusto à escolha do hiperparâmetro $\delta_G$ .

4. Resultados Experimentais

Os autores avaliaram o CreDRO em diversos benchmarks:

Detecção de OOD (CIFAR-10 vs. SVHN, Places365, CIFAR-100, FMNIST, ImageNet):
- O CreDRO alcançou os melhores resultados em AUROC (Área sob a Curva de Característica Operacional do Receptor) em todos os conjuntos de dados testados.
- Exemplo: No conjunto SVHN, o CreDRO atingiu 97.4%, superando o Deep Ensemble (94.8%) e o CreDE (94.3%).
- Isso indica que a incerteza estimada pelo CreDRO é mais informativa para distinguir dados in-distribution de out-of-distribution.
Classificação Seletiva em Cenários Médicos (Camelyon17):
- Em um cenário realista com deslocamento de domínio (diferentes scanners de microscopia), o CreDRO demonstrou a melhor curva de precisão-rejeição (Accuracy-Rejection).
- O modelo conseguiu rejeitar com mais eficácia as amostras difíceis ou incorretas, mantendo alta precisão nas amostras retidas, enquanto métodos concorrentes (como CreDE) mostraram-se menos confiáveis.
Eficiência Computacional:
- O tempo de inferência e de quantificação de incerteza (UQ) do CreDRO é comparável ou superior a outros métodos credais.
- O uso do conjunto de caixa (Box Credal Set) evita a complexidade computacional elevada associada ao cálculo da envoltória convexa (Convex Hull) quando o número de membros do ensemble é grande.

5. Significado e Conclusão

O artigo CreDRO representa um avanço significativo na quantificação de incerteza epistêmica ao mudar o foco da "aleatoriedade de otimização" para a "incerteza estrutural devido a deslocamentos de distribuição".

Impacto Prático: Ao simular explicitamente cenários de pior caso de distribuição durante o treino, o modelo torna-se mais consciente de suas próprias limitações quando encontra dados diferentes dos de treino.
Aplicabilidade: É particularmente valioso para aplicações de alta segurança (como diagnóstico médico e sistemas autônomos), onde a capacidade de detectar e rejeitar dados fora da distribuição é vital.
Futuro: Os autores sugerem que a extensão deste método para tarefas de regressão e a busca por uma derivação teórica mais rigorosa de uma única probabilidade preditiva a partir de conjuntos credais são direções promissoras para trabalhos futuros.

Em resumo, o CreDRO oferece uma abordagem mais robusta e informada para a incerteza epistêmica, superando as limitações dos ensembles tradicionais ao incorporar princípios de Otimização Robusta Distribucional diretamente na formação do ensemble.