A Consequentialist Critique of Binary Classification Evaluation: Theory, Practice, and Tools

Este artigo propõe uma crítica consequencialista à avaliação de classificação binária, defendendo a adoção de regras de pontuação adequadas como o escore Brier em vez de métricas de limiar fixo, e oferece um novo framework teórico, uma variante do escore Brier e a ferramenta prática `briertools` para alinhar a avaliação de modelos de aprendizado de máquina com a utilidade decisória real.

O essencial

Imagine que você é um médico tentando decidir se um paciente precisa de uma cirurgia arriscada ou não. Você tem um "oráculo" (um modelo de Inteligência Artificial) que diz: "Há 30% de chance de o paciente ter a doença".

A pergunta crucial é: O que você faz com esse número?

Você corta a cirurgia se a chance for maior que 10%? Mai que 50%? Ou 90%?

A maioria dos cientistas de dados hoje olha para o oráculo e diz: "Olha só, ele acertou 95% das vezes!" ou "Ele é ótimo em separar os doentes dos saudáveis!". Eles usam métricas como Acurácia ou AUC-ROC.

O problema: Essas métricas são como avaliar um carro de corrida apenas pelo seu motor, sem olhar para a pista onde ele vai correr. Elas não perguntam: "E se a pista for cheia de buracos? E se o custo de um erro for uma vida humana?".

Este artigo, escrito por pesquisadores do MIT e de hospitais, é um manifesto para mudar essa mentalidade. Eles dizem: "Pare de avaliar apenas a previsão. Avalie a consequência da decisão."

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A "Acurácia" é uma Armadilha

Imagine que você está em um tribunal. O modelo diz se uma pessoa é inocente ou culpada.

• Erro Tipo 1 (Falso Positivo): Condene um inocente. (Consequência: Uma vida destruída).
• Erro Tipo 2 (Falso Negativo): Libere um culpado. (Consequência: Ele pode cometer outro crime).

Se você usa a métrica de Acurácia, você está dizendo: "Um erro é tão ruim quanto o outro". É como se o juiz dissesse: "Condenei um inocente? Que pena. Liberei um culpado? Que pena. Ambos contam como 1 ponto de erro".

Isso é absurdo na vida real! Em medicina, deixar um câncer passar (falso negativo) pode matar, enquanto um exame falso (falso positivo) apenas causa ansiedade e um exame extra. Eles não têm o mesmo peso.

2. A Solução: A "Balança de Consequências"

Os autores propõem olhar para o Custo e o Benefício.
Eles introduzem uma ideia chamada Regras de Pontuação Adequadas (Proper Scoring Rules), como o Brier Score.

A Analogia do Meteorologista:
Imagine um meteorologista que diz: "Há 70% de chance de chover".

• Se você levar guarda-chuva e chover: Ótimo!
• Se você levar guarda-chuva e não chover: Você se molhou um pouco (inconveniente).
• Se você não levar e chover: Você se molhou muito (desastre).

O Brier Score não pergunta "Ele acertou ou errou?". Ele pergunta: "Quão perto você estava da verdade, considerando o quanto você se arriscou?"
Se o meteorologista disse 70% e choveu, ele foi bom. Se ele disse 70% e não choveu, ele foi ruim. O sistema penaliza a confiança errada de forma justa, baseada no risco real.

3. O Grande Avanço: A "Zona de Segurança" (Thresholds Limitados)

Aqui está a parte mais brilhante do artigo.

Muitos especialistas dizem: "Ah, mas o Brier Score é ruim porque ele considera todas as possibilidades, desde 0% a 100% de chance. Mas na medicina, ninguém acha que 99% de chance de câncer é igual a 1%!".

Os autores dizem: "Exatamente! Vamos criar uma 'Zona de Segurança'."

Eles criaram uma nova versão do Brier Score (chamada de Brier Score com Limite).

• Antes: O modelo era julgado por como ele se sairia se a decisão fosse "cortar tudo" ou "não cortar nada".
• Agora: O modelo é julgado apenas na faixa de decisão realista.

Analogia do Filtro de Café:
Imagine que você quer fazer café.

• O filtro antigo (Brier Score normal) diz: "Seu café é bom ou ruim considerando desde água pura até borra de café seca".
• O novo filtro (Brier Score Limitado) diz: "Seu café é bom ou ruim considerando apenas a faixa de concentração que as pessoas realmente bebem (entre 1% e 3% de borra)".

Isso permite que os médicos digam: "Nós só nos importamos com riscos entre 2% e 5%. Avalie o modelo apenas nessa faixa."

4. A Ferramenta Prática: O "Kit de Ferramentas"

Os autores não ficaram só na teoria. Eles criaram um pacote de software chamado briertools.
É como se eles tivessem dado aos médicos e cientistas um novo painel de controle para seus carros. Em vez de olhar apenas para o velocímetro (Acurácia), agora eles podem ver o consumo de combustível e a distância percorrida (Consequências reais).

Eles testaram isso em um caso real de câncer de mama.

• Um modelo parecia "pior" quando olhado de longe (com métricas antigas).
• Mas, quando olhado dentro da "Zona de Segurança" (riscos clinicamente relevantes), esse mesmo modelo era o melhor para salvar vidas.

Resumo em uma Frase

Este artigo diz: Pare de perguntar "O modelo acertou a resposta?" e comece a perguntar "O modelo nos ajudou a tomar a decisão certa, considerando os riscos reais da nossa vida?"

Eles mostram que, ao focar nas consequências reais (e não apenas em números matemáticos frios), podemos escolher modelos que realmente salvam vidas e evitam injustiças.

Resumo técnico

Resumo Técnico: Uma Crítica Consequencialista à Avaliação de Classificação Binária

1. O Problema

O artigo identifica uma desconexão fundamental entre a teoria da decisão e as práticas atuais de avaliação de modelos de aprendizado de máquina (ML) para classificação binária.

• Contexto: Decisões apoiadas por ML (ex: diagnósticos médicos, sentenças judiciais) frequentemente exigem a conversão de previsões probabilísticas em decisões binárias (0 ou 1) baseadas em um limiar ($\tau$).
• A Falha: A literatura e a prática predominante (analisada em conferências como ICML, FAccT e CHIL) dependem excessivamente de métricas de limiar fixo (como Acurácia) ou de ordenação (como AUC-ROC), que assumem decisões independentes ou orçamentos fixos (Top-K).
• A Realidade: Em cenários do mundo real (especialmente na saúde e justiça criminal), os limiares de decisão são frequentemente incertos e as decisões são independentes (não há um orçamento fixo de "positivos" a serem selecionados). Métricas atuais falham em capturar o impacto real (consequência) dessas decisões sob incerteza de custos, levando à seleção de modelos subótimos para o contexto de implantação.

2. Metodologia e Abordagem Teórica

Os autores adotam uma perspectiva consequencialista da teoria da decisão, onde a avaliação de um modelo deve ser baseada no seu valor esperado (ou arrependimento/regret) em relação a uma função de valor que considera os custos reais de erros (falsos positivos e falsos negativos).

• Taxonomia de Decisão: O paper propõe uma estrutura baseada em dois eixos:
  1. Acoplamento de Instâncias: As decisões são independentes (cada caso é tratado isoladamente) ou dependentes (Top-K, com orçamento fixo)?
  2. Especificidade do Limiar: O limiar de decisão é conhecido com precisão ou é incerto (uma distribuição ou intervalo)?
• Reinterpretação de Métricas:
  • Acurácia: É mostrada como um caso especial de benefício líquido onde os custos de erro são iguais ($c=0.5$), uma suposição raramente válida.
  • AUC-ROC: É interpretada como uma média de arrependimento ponderada pela distribuição de pontuações do próprio modelo, o que implicitamente define os custos de erro, em vez de refletir preferências externas.
  • Brier Score e Log Loss: São redefinidos como médias de arrependimento sobre todo o intervalo de razões de custo $[0, 1]$.
• Inovação Teórica (Limite de Limiar):
  • Os autores derivam versões limitadas (bounded) do Brier Score e do Log Loss. Em vez de integrar sobre todo o intervalo $[0, 1]$, essas novas métricas integram o arrependimento apenas sobre um intervalo de limiares plausíveis $[a, b]$ especificado pelo especialista do domínio.
  • Eles provam matematicamente que essas métricas limitadas são equivalentes a médias de Benefício Líquido (Net Benefit) sobre o intervalo, respondendo diretamente à crítica de Assel et al. (2017) de que o Brier Score tradicional dá peso a limiares clinicamente implausíveis.
  • Fórmula Chave: O Brier Score Limitado é calculado de forma eficiente como a diferença entre o erro quadrático médio das previsões "recortadas" (clipped) e o erro das verdadeiras etiquetas recortadas no intervalo $[a, b]$.

3. Principais Contribuições

1. Quadro Teórico Unificado: Reconcilia regras de pontuação adequadas (proper scoring rules), análise de curva de decisão (DCA) e métricas de arrependimento em um único framework baseado em teoria da decisão.
2. Novas Métricas Limitadas: Derivação e implementação de variantes do Brier Score e Log Loss que operam em intervalos de limiar definidos pelo usuário, eliminando a necessidade de especificar uma distribuição completa de custos, bastando definir limites plausíveis.
3. Ferramenta Prática (briertools): Lançamento de um pacote Python que facilita a adoção dessas métricas, oferecendo:
   • Cálculo eficiente de scores limitados.
   • Visualização de curvas de arrependimento e curvas de decisão.
   • Decomposição aditiva de calibração e discriminação em uma escala comum (algo que métricas Top-K não permitem).
4. Análise Empírica de Literatura: Um levantamento assistido por LLM de 2.610 artigos em ICML, FAccT e CHIL (2024), revelando que métricas adequadas (como Brier) são raras (<15%), enquanto Acurácia e AUC-ROC dominam, muitas vezes em contextos inadequados.

4. Resultados e Estudo de Caso

• Estudo de Caso (Câncer de Mama): Os autores analisaram modelos de risco de câncer de mama onde o limiar de tratamento é contestado (entre 1,66% e 3%).
  • Um modelo XGBoost modificado com um limiar interno de 2% teve desempenho inferior em métricas globais (AUC, Brier global).
  • No entanto, ao aplicar a avaliação de limiar limitado no intervalo clinicamente relevante $[1.66\%, 3\%]$, esse mesmo modelo superou todos os outros.
  • Conclusão: A métrica global penalizou o modelo por desempenho fora do intervalo de interesse, enquanto a métrica limitada revelou sua superioridade no contexto real de decisão.
• Decomposição de Calibração: O estudo demonstrou que o briertools permite visualizar como a calibração e a discriminação contribuem para o erro total, revelando que modelos com AUC ligeiramente inferior, mas melhor calibração, podem ser superiores em termos de valor de decisão.

5. Significado e Impacto

• Mudança de Paradigma: O trabalho argumenta que a avaliação de modelos não deve ser apenas sobre "precisão estatística", mas sobre "utilidade decisória".
• Solução para a Incerteza: Oferece uma solução prática para o dilema comum de não saber o limiar exato de implantação: em vez de escolher um limiar arbitrário ou usar métricas cegas (AUC), os praticantes podem definir um intervalo de plausibilidade e usar métricas limitadas.
• Acessibilidade: Ao fornecer ferramentas de código aberto e demonstrar a viabilidade computacional, o artigo remove barreiras para que a comunidade de ML adote avaliações mais alinhadas com a ética e a realidade operacional, especialmente em setores de alto risco como saúde e justiça.

Em suma, o paper fornece a base teórica, as ferramentas práticas e a evidência empírica para substituir métricas de "caixa preta" por avaliações que refletem explicitamente os custos e incertezas das decisões do mundo real.