Fine-Grained Uncertainty Quantification via Collisions

1. O Problema: Limitações das Métricas Atuais de Incerteza

À medida que os classificadores de Aprendizado de Máquina são aplicados em cenários de alto risco (saúde, finanças, contratação), a necessidade de Quantificação de Incerteza (UQ) torna-se crítica. O artigo identifica limitações nas abordagens existentes:

• Incerteza Aleatória vs. Epistêmica: A maioria das métricas foca na incerteza epistêmica (falta de conhecimento do modelo) ou fornece uma única medida global de incerteza aleatória (inerente aos dados).
• Falta de Granularidade: Métricas como a Taxa de Erro de Bayes (BER) ou a entropia fornecem um valor único para todo o sistema, não revelando quais classes são difíceis de distinguir entre si.
• Estimativa de Posteriores: Estimar a distribuição de probabilidade posterior $P(c|x)$ a partir de dados rotulados "one-hot" (uma única classe por amostra) é difícil, pois os rótulos não contêm informações sobre a ambiguidade inerente dos dados (ex: um sintoma que pode indicar duas doenças diferentes).

2. Metodologia Proposta

Os autores propõem uma nova métrica chamada Matriz de Colisão e um método inovador para estimá-la e utilizá-la para inferir distribuições posteriores.

A. A Matriz de Colisão ($S$)

• Definição: Uma matriz estocástica de linha $K \times K$ (onde $K$ é o número de classes). O elemento $S_{i,j}$ representa a probabilidade de que uma amostra, originalmente observada na classe $i$, seja encontrada na classe $j$ se observada novamente.
• Interpretação: $S_{i,j}$ mede a dificuldade inerente de distinguir a classe $i$ da classe $j$. Se $S_{i,j}$ é alto, as classes são semanticamente ambíguas ou sobrepostas.
• Relação com BER: A Matriz de Colisão é interpretada como a matriz de confusão esperada de um "Classificador Bayesiano Probabilístico" (PBC), que amostra suas previsões a partir da distribuição posterior real. A BER pode ser derivada dos elementos diagonais de $S$.

B. Estimativa da Matriz de Colisão (Sem Posteriores Conhecidos)

O grande desafio é estimar $S$ usando apenas dados com rótulos "one-hot", sem conhecer as verdadeiras distribuições posteriores. Os autores propõem um método de duas etapas:

1. Modelo de Contraste Par a Par (Pair-Wise Contrastive Model - $V$):

   • Treina-se um classificador binário $V(x, \tilde{x})$ que recebe dois inputs e prevê a probabilidade de que eles pertençam à mesma classe.
   • Os dados de treino são gerados criando pares de todas as amostras do conjunto de dados original, rotulados com 1 se as classes originais forem iguais e 0 caso contrário.
   • Este modelo aprende a "similaridade semântica" entre pontos, capturando a ambiguidade dos dados.

2. Estimação do Gramiano de Linha ($G$) e Recuperação de $S$:

   • Demonstra-se que a Matriz de Colisão $S$ pode ser recuperada a partir de seu Gramiano de Linha, definido como $G = S S^T$.
   • Os elementos de $G$ podem ser estimados diretamente usando o modelo $V$: $G_{i,j} \approx E[V(x, \tilde{x})]$ para $x \in \text{classe } i$ e $\tilde{x} \in \text{classe } j$.
   • Teorema de Unicidade: Sob condições razoáveis (matriz não-negativa, simétrica e estritamente diagonalmente dominante), $S$ é a única matriz que satisfaz $S S^T = G$.
   • Um algoritmo de otimização (gradiente descendente) é usado para recuperar $S$ a partir da estimativa $\hat{G}$.

C. Estimativa de Distribuições Posteriores

Uma vez estimada a Matriz de Colisão $\hat{S}$ e o modelo de similaridade $V$:

• Calcula-se o vetor de similaridade esperada $q(x)$ para uma nova entrada $x$, comparando-a com amostras de cada classe.
• Estabelece-se a relação linear: $q(x) = S \cdot y(x)$, onde $y(x)$ é a distribuição posterior desejada.
• A posterior é estimada resolvendo o sistema linear: $\hat{y}(x) = \hat{S}^{-1} \hat{q}(x)$.

3. Principais Contribuições

1. Nova Métrica de Alta Granularidade: Introdução da Matriz de Colisão, que detalha a incerteza aleatória entre pares de classes, permitindo identificar quais classes são indistinguíveis, ao contrário da BER que apenas indica erro global.
2. Teorema de Unicidade de Fatoração: Prova teórica de que, sob condições de dominância diagonal e não-negatividade, a matriz $S$ é unicamente determinada por seu Gramiano $G$. Isso permite a recuperação de $S$ sem conhecimento prévio das posteriores.
3. Método de Estimativa Prático: Desenvolvimento de um pipeline que utiliza um modelo de contraste par a par (PAC-learnable) para estimar $G$ e, subsequentemente, recuperar $S$ e as posteriores, sem necessidade de dados rotulados probabilisticamente.
4. Aplicações Práticas:
   • Consolidação de Classes: Identificar quais classes podem ser fundidas para reduzir a ambiguidade.
   • Amostragem Adaptativa: Ajustar funções de perda ou estratégias de amostragem durante o treinamento com base na dificuldade de distinguir pares específicos.
   • Label Smoothing Orientada a Dados: Suavizar rótulos de treinamento penalizando menos erros em classes similares (alta colisão) e mais em classes distintas.

4. Resultados Experimentais

Os autores validaram seus métodos em dados sintéticos (misturas Gaussianas) e dados do mundo real (MNIST, Adult Income, Diabetes, etc.):

• Estimativa de $S$: O método baseado no Gramiano (Algoritmo 1) superou consistentemente as abordagens de base (classificadores calibrados, Dropout de Monte Carlo e Redes Bayesianas) em cenários sintéticos, especialmente em termos de estabilidade e precisão na estimativa da matriz de confusão esperada.
• Validação no MNIST: A matriz de colisão estimada para o MNIST identificou corretamente pares de dígitos ambíguos (ex: 3 e 5, 4 e 9) como tendo alta probabilidade de colisão, alinhando-se com a intuição humana sobre a ambiguidade da escrita manual.
• Insights em Dados Tabulares: Em conjuntos de dados como "Diabetes" e "Risco de Crédito", a matriz revelou que, embora a sensibilidade (recall) possa ser alta, a precisão é inerentemente baixa devido à sobreposição de dados (incerteza aleatória). Isso indica que modelos mais complexos não resolverão o problema de precisão; seriam necessários dados mais ricos (mais recursos).
• Estimativa de Posteriores: O método proposto para estimar $y(x)$ demonstrou menor variância e menor erro (distância de variação total) em comparação com ensembles e métodos de calibração, especialmente em cenários de alta incerteza.

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma na forma como a incerteza aleatória é quantificada. Ao invés de tratar a incerteza como um valor escalar global ou focar apenas na incerteza do modelo (epistêmica), a Matriz de Colisão fornece um mapa detalhado da estrutura de ambiguidade dos dados.

• Para Cientistas de Dados: Permite diagnosticar se um problema de classificação é fundamentalmente difícil devido à sobreposição de classes, evitando a busca infrutífera por arquiteturas de modelos mais complexas quando o limite é os dados.
• Para Tomadores de Decisão: Oferece uma visão clara de quais decisões são arriscadas (onde a colisão entre classes é alta) e quais são robustas.
• Teórico: Estabelece uma conexão matemática rigorosa entre a estrutura de similaridade de pares de dados e a distribuição posterior, permitindo a recuperação de posteriores a partir de rótulos "one-hot" através de uma abordagem de contraste.

Em resumo, o artigo apresenta uma ferramenta poderosa para entender os limites fundamentais da classificação em dados ambíguos, transformando a incerteza de um obstáculo em uma métrica estruturada e acionável.