Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

1. Declaração do Problema

Em aplicações de Processamento de Linguagem Natural (PLN) de alto risco (por exemplo, saúde, jurídico, finanças), os modelos padrão emitem uma única pontuação de confiança que confunde dois tipos distintos de incerteza:

• Incerteza Epistêmica: Incerteza redutível causada pela ignorância do modelo ou subespecificação (por exemplo, o modelo não viu exemplos de treinamento suficientes e similares).
• Incerteza Aleatória: Incerteza irredutível causada por ambiguidade inerente ou ruído nos dados de entrada (por exemplo, anotadores humanos discordam genuinamente sobre o rótulo).

Limitações das Abordagens Atuais:

• Modelos de Gargalo de Conceito (CBMs): Embora os CBMs melhorem a interpretabilidade ao prever conceitos intermediários compreensíveis por humanos, eles tipicamente emitem probabilidades pontuais (valores únicos). Isso colapsa a incerteza epistêmica e aleatória, tornando impossível determinar por que uma previsão é incerta.
• Lacuna de Acionabilidade: Sem a decomposição, os praticantes não conseguem distinguir entre casos em que o modelo precisa de mais dados de treinamento (alta incerteza epistêmica) e casos em que a revisão humana é necessária devido a uma entrada ambígua (alta incerteza aleatória).

2. Metodologia: CREDENCE

Os autores propõem o CREDENCE (Credal Ensemble Concept Estimation), um framework que decompõe a incerteza ao nível do conceito por construção.

Inovações Arquiteturais Principais

1. Previsões Credais (Intervalos): Em vez de uma única probabilidade $p_k$, cada conceito $k$ é previsto como um intervalo de probabilidade $[p_k, \bar{p}_k]$. Este intervalo representa um Conjunto Credal, capturando a gama de probabilidades plausíveis.
2. Separação Estrutural da Incerteza: A arquitetura garante que os sinais de incerteza epistêmica e aleatória provenham de fontes distintas para evitar que colapsem em uma única pontuação.
   • Incerteza Epistêmica ($U_{epi}$): Derivada do desacordo do ensemble. O modelo utiliza $H$ cabeças leves diversas (adaptadores LoRA) com ranks e taxas de dropout variados. A variância em suas previsões quantifica a confusão do modelo.
   • Incerteza Aleatória ($U_{ale}$): Derivada de uma cabeça dedicada treinada especificamente para prever discordância de anotadores (ambiguidade). Esta cabeça aprende a emitir um valor proporcional à variância nos rótulos humanos para um dado conceito.

Estágios do Pipeline

1. Codificador: Um modelo pré-treinado congelado (por exemplo, RoBERTa, LLMs) codifica o texto de entrada $x$ em uma representação $h$.
2. Cabeças de Ensemble: $H$ cabeças LoRA diversas preveem probabilidades de conceito $\hat{p}_h^{(k)}$.
3. Agregação Credal:
   • Limites do intervalo são formados: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$.
   • A incerteza epistêmica é calculada como a variância entre as cabeças: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$.
4. Cabeça Aleatória: Uma cabeça separada prevê $\sigma_\theta^{(k)}$, treinada para corresponder à taxa observada de discordância de anotadores (verdade fundamental) durante o treinamento.
5. Classificação e Decisão:
   • Rótulos finais são previstos usando a média das probabilidades de conceito.
   • Regras de Decisão: O sistema usa os sinais decompostos para rotear amostras:
     • Confiança: Baixa Epi, Baixa Ale $\rightarrow$ Automatizar.
     • Coleta de Dados: Alta Epi, Baixa Ale $\rightarrow$ Coletar mais dados de treinamento.
     • Revisão Humana: Baixa Epi, Alta Ale $\rightarrow$ Encaminhar para humanos (a entrada é ambígua).
     • Abstenção: Alta Epi, Alta Ale $\rightarrow$ Recusar a previsão.

3. Contribuições Principais

1. Formulação de CBM Credal: Uma variante CBM novel que representa previsões de conceito como intervalos de probabilidade em vez de estimativas pontuais, permitindo quantificação de incerteza principista.
2. Decomposição Estrutural: Um método que separa sinais epistêmicos (confusão do modelo) e aleatórios (ambiguidade dos dados) usando componentes arquitetônicos distintos (variância do ensemble vs. cabeça de ambiguidade supervisionada), prevenindo o colapso de sinais.
3. Orientação Prescritiva Acionável: Demonstra que decompor a incerteza permite intervenções específicas e otimizadas (por exemplo, priorizar coleta de dados para erros epistêmicos vs. revisão humana para casos aleatórios).

4. Resultados Experimentais

O framework foi avaliado em múltiplas tarefas de PLN (Sentimento, Emoção, Toxicidade) usando conjuntos de dados como CEBaB, GoEmotions, HateXplain e SST-2.

• Validade da Decomposição (RQ1 e RQ2):

  • Correlação Epistêmica: O CREDENCE mostra uma correlação positiva forte entre incerteza epistêmica e erros de previsão ($\rho_{epi} \approx 0,287$ no CEBaB). Quando o modelo está errado, as cabeças do ensemble discordam.
  • Correlação Aleatória: A incerteza aleatória correlaciona-se fortemente com a discordância de anotadores ($\rho_{ale} \approx 0,785$ no CEBaB), superando amplamente as linhas de base (por exemplo, CBM+Ensemble $\rho_{ale} \approx 0,356$).
  • Separação: No SST-2 (que carece de rótulos de discordância de anotadores), a incerteza aleatória mostra corretamente nenhuma correlação com erros, provando que mede ambiguidade, não falha do modelo.

• Acionabilidade (RQ3):

  • Intervenção em Conceitos: Substituir conceitos com alta incerteza aleatória por rótulos de verdade fundamental gera ganhos de precisão significativamente maiores ($\Delta Acc \approx 18,9\%$) em comparação com a substituição de conceitos epistêmicos altos ($\Delta Acc \approx 4,3\%$). Isso sugere que conceitos ambíguos impulsionam mais os resultados da tarefa do que a confusão do modelo.
  • Eficiência de Roteamento: O framework de decisão de quatro quadrantes identifica casos de "Revisão Humana" (Baixa Epi, Alta Ale) onde o modelo está na verdade correto, mas os humanos discordam, alcançando o maior ganho potencial de precisão ($85,7\%$) se roteados corretamente.

• Eficiência: O CREDENCE alcança esses resultados com sobrecarga mínima (usando adaptadores LoRA) em comparação com Ensembles Profundos completos, mantendo precisão competitiva enquanto fornece sinais ricos de incerteza.

5. Significado e Impacto

• Ponte entre Teoria e Prática: O artigo vai além da quantificação teórica de incerteza para fornecer ações prescritivas. Ele diz aos praticantes o que fazer com base no tipo de incerteza (por exemplo, "coletar dados" vs. "enviar para humano").
• Tratamento da Subjetividade: Em tarefas de PLN onde a "verdade fundamental" é frequentemente um composto de julgamentos humanos disputados (subjetividade), distinguir entre ignorância do modelo e ambiguidade inerente é crítico. O CREDENCE fornece o primeiro framework CBM para modelar explicitamente essa distinção.
• Colaboração Humano-IA: Ao identificar casos onde o julgamento humano é essencial (alta aleatoriedade) versus casos onde o modelo simplesmente precisa de mais treinamento (alta epistemicidade), o framework otimiza a alocação de recursos humanos e orçamentos de coleta de dados.
• Robustez: O método generaliza através de diferentes escalas de modelo (de codificadores de 66M parâmetros a LLMs de 8B parâmetros) e diversas tarefas de PLN.

Em resumo, o CREDENCE transforma a incerteza de uma única pontuação de confiança opaca em uma ferramenta de diagnóstico estruturada e acionável, permitindo a implantação mais confiável e eficiente de sistemas de IA em ambientes de alto risco.