Resumo Técnico: Além da ECE: Razão de Tamanho Calibrada, Avaliação de Risco e Métricas Ponderadas por Confiança

1. Declaração do Problema

O artigo aborda uma limitação crítica na avaliação da calibração de confiança para modelos de aprendizado de máquina, particularmente em domínios de alto risco. O padrão atual, Erro de Calibração Esperado (ECE), é identificado como fundamentalmente falho para avaliação de risco. A ECE é uma métrica linear que trata lacunas de calibração de forma igual, independentemente do nível de confiança em que ocorrem. Consequentemente, a ECE pode permanecer baixa mesmo quando um modelo exibe risco arbitrariamente grande de superconfiança (por exemplo, atribuir alta confiança a previsões incorretas).

Os autores argumentam que a ECE falha em extrair a informação de calibração que mais importa: a magnitude da falha implícita por uma lacuna em níveis altos de confiança. Como a ECE é dominada por bins de baixa confiança (onde as populações são maiores), ela é sistematicamente cega para a "cauda" da distribuição, onde a miscalibração é mais perigosa. Além disso, o artigo observa que métodos de calibração padrão projetados para minimizar a ECE podem inadvertidamente produzir perfis de confiança arriscados.

2. Metodologia e Métricas Propostas

Os autores propõem um framework que separa a avaliação de calibração em dois aspectos distintos e complementares: avaliação de risco (detecção de superconfiança) e valor discriminativo (medição da utilidade do perfil de confiança).

2.1 Razão de Tamanho Calibrada (CSR) e Probabilidade de Risco ($P_{risk}$)

Para abordar o risco de superconfiança, os autores introduzem a Razão de Tamanho Calibrada (CSR). Diferentemente da ECE, a CSR avalia lacunas de calibração em relação a $(1-c)$, refletindo a magnitude real da falha implícita.

• Definição: Para um conjunto de dados $D$ com $N$ amostras, classes previstas $\hat{y}_i$, rótulos verdadeiros $y_i$ e pontuações de confiança $conf_i < 1$:
  $$CSR = \frac{1}{N} \sum_{i: \hat{y}_i \neq y_i} \frac{1}{1 - conf_i}$$
• Interpretação: Sob calibração pontual perfeita, $CSR = 1$.
  • $CSR > 1$ indica superconfiança (arriscado).
  • $CSR < 1$ indica subconfiança.
  • Um valor de $CSR = 10$ implica que os erros observados em seus níveis de confiança atribuídos seriam esperados de um conjunto de dados 10 vezes maior sob um modelo perfeitamente calibrado.
• Probabilidade de Risco ($P_{risk}$): Para quantificar a evidência estatística de superconfiança, os autores derivam o desvio padrão da CSR ($\sigma_{CSR}$) sob a suposição de calibração limite perfeita. Eles modelam o desvio usando uma distribuição normal para calcular um escore-z:
  $$z = \frac{CSR - 1}{\sigma_{CSR}}$$
  A probabilidade de risco é então $P_{risk} = \Phi(z)$, onde $\Phi$ é a função de distribuição cumulativa normal padrão. Isso permite uma avaliação fundamentada de se um perfil de confiança é arriscado, sem exigir reamostragem de Monte Carlo.

2.2 Métricas Ponderadas por Confiança e $cwAUC$

Os autores argumentam que um perfil seguro (baixo risco) não é necessariamente útil. Eles propõem a Acurácia Ponderada por Confiança (cwA) como o complemento natural à CSR, medindo a fração da massa total de confiança atribuída a previsões corretas.

• Definição:
  $$cwA = \frac{\sum_{i} conf_i \cdot \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} conf_i}$$
• Extensão para Outras Métricas: O artigo demonstra que a ponderação por confiança se estende naturalmente a todas as métricas padrão de classificação (Precisão, Recall, F1, etc.) ponderando as entradas da matriz de confusão pela confiança.
• AUC Ponderada por Confiança ($cwAUC$): Os autores provam que a AUC clássica é invariante a qualquer reescalonamento estritamente monótono das pontuações de confiança (incluindo calibração post-hoc), pois depende apenas da classificação. Em contraste, a $cwAUC$ pondera comparações pares pelo produto das confianças atribuídas às classes previstas.
  • Significado: A lacuna $cwAUC - AUC$ captura o valor discriminativo adicionado pela calibração. Uma lacuna positiva indica que o modelo é mais confiante em pares classificados corretamente do que em pares classificados incorretamente.

2.3 Independência da ECE

O artigo fornece provas teóricas e contraexemplos mostrando que a CSR e a $cwA$ são independentes da ECE. É possível construir perfis de confiança com ECE arbitrariamente baixa, mas CSR ilimitada (risco extremo), e, inversamente, perfis com $ECE=0$ que são completamente não informativos (confiança plana).

3. Resultados Experimentais

Os indicadores propostos foram validados em conjuntos de dados sintéticos e do mundo real.

3.1 Conjuntos de Dados Sintéticos

Os autores geraram dez distribuições de confiança sintéticas sob oito regimes de calibração controlados (incluindo perfeito, superconfiante, subconfiante e aleatório).

• Detecção de Risco: A CSR separou com sucesso atribuições arriscadas de não arriscadas. Sob calibração perfeita, as taxas de falsos positivos empíricas para $P_{risk}$ permaneceram próximas das previsões teóricas (por exemplo, ~9,77% para $>1\sigma$ versus 15,87% teóricas, e ~0,30% para $>3\sigma$ em $N$ grande).
• Sensibilidade: Em regimes superconfiantes (por exemplo, $Overconf \ 1-\sqrt{1-c}$), os valores de CSR foram significativamente elevados, e a $P_{risk}$ atingiu 100% em muitos casos, sinalizando corretamente o risco.

3.2 Conjuntos de Dados Reais

Experimentos foram conduzidos em 15 conjuntos de dados (UCI, CIFAR-10, MNIST) usando XGBoost com três regimes: saída bruta, regressão isotônica e escalonamento de Platt.

• Riscos da Regressão Isotônica: Embora a regressão isotônica frequentemente tenha melhorado a $cwA$, ela frequentemente produziu perfis de confiança arriscados. Em 11 dos 15 conjuntos de dados, a calibração isotônica resultou em $CSR > 1$ (excedendo $1\sigma$), com vários conjuntos de dados mostrando valores catastróficos de CSR ($>10^5$). Isso ocorreu porque a regressão isotônica pode atribuir confiança extrema (1 ou 0) a previsões incorretas quando os conjuntos de calibração contêm platôs de apenas amostras positivas ou negativas.
• Escalonamento de Platt: Este método geralmente produziu perfis mais seguros (apenas 3 dos 15 conjuntos de dados foram sinalizados como arriscados) enquanto mantinha $cwA$ competitiva.
• Limitações da ECE: Métodos padrão otimizados para ECE (como regressão isotônica) mostraram-se capazes de produzir perfis arriscados, confirmando que minimizar a ECE não garante segurança.

3.3 AUC vs. $cwAUC$

• Dados Sintéticos: Distribuições sintéticas bem calibradas mostraram $\Delta AUC$ positivo ($cwAUC - AUC$), indicando que a calibração adicionou valor discriminativo.
• Dados Reais: Os resultados foram mistos. Embora a $cwA$ tenha consistentemente melhorado em relação à acurácia bruta, o $\Delta AUC$ foi frequentemente pequeno ou negativo. Os autores atribuem isso ao fato de que modelos do mundo real (como XGBoost) já utilizam pontuações de confiança como sinais de classificação, e métodos de calibração post-hoc (que alinham distribuições marginais) podem não adicionar novas informações de classificação significativas.

4. Contribuições Principais

1. Razão de Tamanho Calibrada (CSR): Uma nova métrica interpretável onde $CSR=1$ implica calibração perfeita. Ela fornece uma medida direta do risco de superconfiança.
2. Probabilidade de Risco ($P_{risk}$): Um teste estatístico derivado da CSR que quantifica a probabilidade de observar os dados sob a hipótese nula de calibração perfeita, evitando a necessidade de reamostragem computacionalmente cara.
3. Métricas Ponderadas por Confiança: Um framework formal que estende métricas padrão (Acurácia, AUC, etc.) para serem ponderadas por confiança.
4. $cwAUC$ e Valor da Calibração: Uma prova de que a AUC clássica é invariante à calibração, e a introdução da $cwAUC$ para medir o valor discriminativo específico ganho com a calibração.
5. Evidência Empírica: Demonstração de que técnicas padrão de calibração (especificamente regressão isotônica) podem aumentar o risco (CSR) mesmo enquanto melhoram outras métricas, destacando a necessidade de avaliação consciente de risco.

5. Significado e Limitações

O artigo afirma que as métricas propostas oferecem uma abordagem mais robusta e orientada à segurança para avaliar a confiança em aprendizado de máquina. Ao desacoplar a avaliação de risco (CSR) da utilidade discriminativa ($cwA$), os praticantes podem identificar modelos que não são apenas precisos, mas também seguros para implantação em cenários de alto risco.

Os autores reconhecem várias limitações:

• Estabilidade Numérica: A CSR é sensível a pontuações de confiança próximas de 1, exigindo recorte (clipping) ou tratamento cuidadoso.
• Mudança de Distribuição: A avaliação de risco assume que o conjunto de avaliação é uma amostra i.i.d. da distribuição limite; mudanças na implantação podem tornar a $P_{risk}$ enganosa.
• Tamanhos de Amostra Pequenos: A aproximação Gaussiana para $P_{risk}$ pode ser menos precisa para $N$ muito pequeno, embora correções padrão (por exemplo, Student-t) possam ser aplicadas.
• Otimização: O artigo foca em avaliar perfis de confiança, não em usar CSR ou $cwA$ para guiar a calibração post-hoc, o que é sugerido como trabalho futuro.

Em conclusão, os autores argumentam que confiar apenas na ECE é insuficiente para IA confiável. A combinação de CSR para detecção de risco e $cwA$/$cwAUC$ para avaliação de utilidade fornece uma imagem mais completa da confiabilidade da confiança de um modelo.