Resumo Técnico: Separação Estrutural de Incerteza Epistêmica e Aleatória

1. Declaração do Problema

A incerteza preditiva é tradicionalmente decomposta em incerteza epistêmica (EU) (ignorância redutível do modelo) e incerteza aleatória (AU) (ambiguidade persistente dos dados). Embora conceitualmente distintas, os métodos padrão para estimar essas quantidades frequentemente falham em separá-las empiricamente. Técnicas como Monte Carlo dropout, deep ensembles e redes evidentiais derivam ambas as estimativas da mesma distribuição preditiva $p(y|x)$.

Isso cria uma "armadilha algébrica": como tanto a EU quanto a AU são funções da mesma distribuição, elas herdam uma dependência algébrica compartilhada. Benchmarks recentes indicam que esses componentes estão frequentemente fortemente correlacionados ($\rho \ge 0,78$), tornando impossível distinguir entre um modelo que está confuso (alta EU) e dados que são inerentemente ambíguos (alta AU). Resultados formais (ex: Tomov et al., 2026) sugerem que nenhuma função post-hoc de $p(y|x)$ pode distinguir unicamente entre erro redutível e ambiguidade intrínseca, pois diferentes estados de incerteza subjacentes podem induzir a mesma distribuição preditiva ótima.

2. Metodologia: Separação Estrutural

O artigo propõe a separação estrutural como um princípio de design para quebrar esse acoplamento algébrico. Em vez de derivar ambas as incertezas de um único objeto preditivo, os autores atribuem a EU e a AU a caminhos de parâmetros disjuntos dentro de Modelos de Variáveis Latentes Supervisionados (SLVMs).

Arquitetura Central: Modelo de Gargalo de Conceito Credal (CBM)

A principal instanciação é um CBM Credal construído sobre um codificador congelado (ex: DistilBERT). A arquitetura introduz três caminhos de parâmetros ortogonais:

1. Caminho da Média ($\mu$): Prediz a estimativa pontual dos conceitos, alimentando o cabeçalho da tarefa (task head).
2. Cabeçalho Epistêmico ($\sigma_{epi}$): Treinado para rastrear o erro de predição redutível. É parametrizado por um conjunto disjunto $\phi_{epi}$ e supervisionado por uma perda que combina erro de predição (com stop-gradients para evitar manipulação) e um regularizador KL de Hausdorff.
3. Cabeçalho Aleatório ($\sigma_{ale}$): Treinado para rastrear a ambiguidade de rótulo persistente. É parametrizado por um conjunto disjunto $\phi_{ale}$ e supervisionado diretamente pela entropia da distribuição de rótulos de verdade fundamental ($H[\hat{p}^*]$), derivada de discordância entre múltiplos anotadores ou distribuições de respostas derivadas de corpora.

Mecanismos Chave

• Parametrização Disjunta: Os cabeçalhos epistêmico e aleatório utilizam conjuntos de parâmetros não sobrepostos ($\phi_{epi} \cap \phi_{ale} = \emptyset$).
• Projeções Ortogonais: A saída do codificador $h$ é projetada em subespaços ortogonais ($W_{epi}h$, $W_{ale}h$) para garantir que os cabeçalhos recebam entradas de características não sobrepostas.
• Isolamento de Gradiente: A perda de treinamento é decomposta de modo que a perda epistêmica ($L_{epi}$) dependa apenas de $\phi_{epi}$ e a perda aleatória ($L_{ale}$) dependa apenas de $\phi_{ale}$. Os autores provam (Teorema 3.3) que, sob estas condições, os gradientes cruzados são identicamente zero ($\nabla_{\phi_{epi}} L_{ale} = 0$ e $\nabla_{\phi_{ale}} L_{epi} = 0$).
• Conjuntos Credais: O modelo representa conceitos como conjuntos credais (conjuntos convexos de distribuições de probabilidade) definidos por uma média $\mu$ e uma covariância epistêmica $\Sigma_{epi}$, enquanto a variância aleatória $\sigma_{ale}$ é modelada separadamente fora do conjunto credal.

3. Principais Contribuições

1. Princípio de Separação Estrutural: O artigo introduz um framework para SLVMs onde a EU e a AU são computadas a partir de caminhos de parâmetros supervisionados distintos, em vez de uma decomposição post-hoc de $p(y|x)$.
2. Teorema de Isolamento de Gradiente: Uma prova formal demonstrando que, com parâmetros disjuntos e termos de perda separados, os cabeçalhos de EU e AU permanecem desacoplados durante o treinamento, evitando a armadilha algébrica identificada em trabalhos anteriores.
3. Instanciação de CBM Credal: Uma implementação específica usando um Modelo de Gargalo de Conceito Credal que utiliza projeções ortogonais e funções de perda híbridas para alcançar essa separação.
4. Diagnósticos Abrangentes: Os autores introduzem e validam métricas para testar não apenas a decorrelação, mas a validade semântica:
   • Isolamento de Gradiente: Verificação de gradientes cruzados zero.
   • Correlação: Medição de $\rho(U_{epi}, U_{ale})$.
   • Redutibilidade de Escala de Dados: Verificação se a EU diminui conforme os dados aumentam.
   • Rastreamento de Ambiguidade: Verificação se a AU correlaciona-se com a ambiguidade da verdade fundamental ($H[\hat{p}^*]$).

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks: três conjuntos de dados de gargalo de conceito (CEBaB, HateXplain, GoEmotions) com ambiguidade derivada de anotadores, e dois conjuntos de dados de QA (MAQA*, AmbigQA*) com ambiguidade derivada de corpus.

• Decorrelação: A separação estrutural reduziu a correlação de Spearman entre EU e AU da faixa de base de $\rho \in [0,75, 0,84]$ (observada em métodos padrão como Deep Ensembles e MC Dropout) para $\rho \approx 0,05$. Mesmo sem uma penalidade de decorrelação explícita ($\lambda_d = 0$), a correlação permaneceu baixa ($\rho \in [0,12, 0,23]$), significativamente abaixo do "piso post-hoc".
• Validade Semântica:
  • Rastreamento Aleatório: O cabeçalho aleatório mostrou forte correlação com a ambiguidade da verdade fundamental ($\rho(\sigma_{ale}, H) \in [0,42, 0,74]$), enquanto os modelos de base mostraram um rastreamento muito mais fraco.
  • Sensibilidade Epistêmica: O cabeçalho epistêmico permaneceu sensível ao erro de predição e mostrou a assinatura de redutibilidade esperada (normas de gradiente diminuindo conforme os dados de treinamento aumentavam).
• Utilidade de Downstream: O método permitiu o roteamento baseado em quadrantes, distinguindo com sucesso entre:
  • DADOS (DATA) (Alta EU, Baixa AU): Casos que necessitam de mais dados (ex: fatos obscuros).
  • REVISÃO (REVIEW) (Baixa EU, Alta AU): Casos que necessitam de revisão humana devido à ambiguidade inerente (ex: opiniões subjetivas).
    Os modelos de base colapsaram esses casos distintos em uma diagonal, falhando em suportar essas decisões operacionais.
• Robustez: Os resultados mantiveram-se consistentes através de diferentes arquiteturas de codificadores (DistilBERT, BERT, RoBERTa) e foram corroborados por uma instanciação de Rede Neural Autoexplicativa (SENN).

5. Significância e Alegações

O artigo afirma que arquiteturas de variáveis latentes supervisionadas fornecem uma rota prática para estimativas de incerteza que não são meramente decorrelacionadas, mas operacionalmente distinguíveis.

• Superação da Impossibilidade: Ao mover a estimativa do espaço de saída (funções de $p(y|x)$) para o espaço de parâmetros (cabeçalhos separados com gradientes separados), a abordagem contorna os resultados de impossibilidade que se aplicam às decomposições post-hoc.
• Distinção Operacional: A principal significância não é apenas a decorrelação estatística, mas a capacidade de suportar decisões diferentes: alta EU sinaliza a necessidade de mais dados ou melhoria do modelo, enquanto alta AU sinaliza a necessidade de abstenção ou revisão humana.
• Limitações: Os autores observam modestamente que o framework depende da disponibilidade de estruturas latentes supervisionadas (conceitos) e sinais de supervisão relacionados à ambiguidade (ex: dados de múltiplos anotadores). Eles reconhecem que escalar para o ajuste fino (fine-tuning) de ponta a ponta de LLMs pode exigir um roteamento de gradiente cuidadoso para manter a separação, e que os benchmarks atuais são construídos especificamente para este propósito e são relativamente pequenos.

Em resumo, o artigo argumenta que a separação arquitetural, combinada com alvos de supervisão distintos, é uma condição necessária e eficaz para produzir estimativas de incerteza que são semanticamente válidas e úteis para a tomada de decisão.