Instance-Level Costs for Nuanced Classifier Evaluation

Resumo Técnico: Custos ao Nível de Instância para Avaliação Nuanceada de Classificadores

Declaração do Problema
A avaliação padrão de classificação baseia-se em taxas de erro uniformes, tratando todas as classificações incorretas como igualmente custosas. No entanto, em domínios de alto risco, como moderação de conteúdo, triagem médica e sistemas críticos para a segurança, as consequências dos erros variam significativamente. Classificar erroneamente um caso claro (por exemplo, um comentário com consenso unânime entre anotadores sobre toxicidade) é muito mais prejudicial do que errar em um exemplo limítrofe onde os anotadores humanos discordam. Os métodos existentes de aprendizado sensível a custos geralmente assumem que os custos são especificados externamente e objetivamente quantificáveis (por exemplo, valores de fraude). Este artigo aborda a lacuna onde os custos são subjetivos, derivados de discordância humana ou limites de decisão, e não definidos explicitamente por um registro externo.

Metodologia
Os autores propõem uma estrutura para derivar e avaliar custos de classificação incorreta ao nível de instância, introduzindo o Custo Excessivo Normalizado (NEC) como métrica principal.

1. Derivação de Custos: A estrutura atribui um custo a cada exemplo com base na magnitude da discordância ou na distância de um limite de decisão. Três fontes naturais são identificadas:

   • Rótulos de múltiplos anotadores: Os custos são derivados dos log-odds assinados dos votos dos anotadores (suavizados por Laplace). Alto consenso gera altos custos para erros; alta discordância gera baixos custos.
   • Rótulos baseados em limites: Os custos são definidos pela distância de uma medição contínua de um limite de decisão (por exemplo, pressão arterial em relação a um corte de hipertensão).
   • Avaliações anotadas: Pontuações de confiança de um único anotador são convertidas em margens de custo.

2. Definição da Métrica: O NEC é definido como o arrependimento em um cenário de banda contextual. Ele pondera os erros pelo seu custo ao nível de instância ($|\Delta_i|$) e normaliza pelo custo total:
   $$\text{NEC} = \frac{\sum |\Delta_i| \cdot \mathbb{1}[\hat{y}_i \neq \text{sign}(\Delta_i)]}{\sum |\Delta_i|}$$
   Quando os custos são uniformes, o NEC reduz-se à taxa de erro padrão. Um NEC mais baixo indica melhor alinhamento com as prioridades da tarefa, especificamente priorizando a classificação correta de exemplos de alto custo (claros).

3. Estratégias de Treinamento: O artigo investiga se incorporar esses custos durante o treinamento melhora o desempenho. As estratégias comparadas incluem:

   • Classificação ponderada por custo: Ponderar a perda de entropia cruzada por $|\Delta_i|$.
   • Estratégias de amostragem: Sobreamostragem de exemplos de alto custo ou filtragem de exemplos de baixo custo.
   • Regressão $\Delta$: Treinar um modelo para prever a margem assinada $\Delta$ diretamente via regressão e, em seguida, aplicar um limite em zero para classificação.

Principais Contribuições

1. Estrutura Geral: Uma metodologia para derivar custos de classificação incorreta por exemplo a partir de padrões de anotação subjetivos (discordância) e vinculá-los ao conceito teórico-decisório de arrependimento.
2. Insight de Avaliação: Demonstração empírica em conjuntos de dados de texto, imagem e tabelares de que o NEC é frequentemente substancialmente menor que a taxa de erro padrão. Isso revela que os modelos frequentemente concentram erros em exemplos ambíguos e de baixo custo, em vez de casos claros.
3. Análise de Treinamento: Um estudo comparativo mostrando que o treinamento sensível a custos gera benefícios inconsistentes. Melhorias ocorrem principalmente quando os custos são previsíveis a partir de características de entrada (demonstrado em controles sintéticos), enquanto conjuntos de dados do mundo real mostram ganhos mistos ou negligenciáveis com abordagens padrão de ponderação por custo.

Resultados Experimentais
Os autores avaliaram a estrutura em quatro conjuntos de dados: Jigsaw (toxicidade de texto), Turkey (detecção de lesões em imagens), NHANES (hipertensão em tabelas) e iNaturalist (status de cultivo de plantas), juntamente com um conjunto de dados sintético.

• NEC vs. Taxa de Erro: Observou-se uma divergência significativa. Por exemplo, no conjunto de dados Jigsaw com características TF-IDF, a taxa de erro foi de 5,34%, enquanto o NEC foi de apenas 1,76%. Isso indica que os erros do modelo estavam concentrados em exemplos ambíguos onde até mesmo humanos discordavam, sugerindo que o sistema é mais confiável na prática do que a precisão bruta implica.
• Eficácia do Treinamento:
  • Dados do Mundo Real: A ponderação por custo forneceu resultados inconsistentes. No conjunto de dados Turkey, reduziu o NEC em 14,5%, mas no iNaturalist, aumentou ligeiramente o NEC. Em Jigsaw e NHANES, os efeitos foram negligenciáveis.
  • Dados Sintéticos: Em um cenário sintético onde os custos eram linearmente previsíveis a partir de características, a ponderação por custo melhorou significativamente o NEC (de 0,50% para 0,40%).
  • Ajuste Fino: O ajuste fino de ponta a ponta de embeddings (por exemplo, RoBERTa, ResNet) produziu as melhorias mais substanciais tanto no NEC quanto na taxa de erro, superando amplamente as estratégias de ponderação por custo aplicadas a embeddings congelados.
• Estabilidade: A razão entre Taxa de Erro e NEC permaneceu estável em diferentes tamanhos de modelo e tamanhos de conjunto de treinamento, sugerindo que essa razão é uma propriedade da distribuição de custos da tarefa, e não da arquitetura do modelo.

Significado e Alegações
O artigo afirma que o NEC fornece uma avaliação mais nuanceada e precisa do desempenho do classificador em domínios onde nem todos os erros são iguais. Revela que os modelos frequentemente performam bem em casos de alto risco e claros, falhando nos ambíguos, uma distinção que as taxas de erro padrão obscurecem.

No entanto, os autores são modestos quanto à utilidade desses custos para o treinamento. Eles apresentam um "resultado negativo": incorporar custos ao nível de instância no treinamento via ponderação de perda ou amostragem não melhora consistentemente o desempenho em cenários do mundo real. O artigo conclui que a eficácia do treinamento sensível a custos depende criticamente de se as características de entrada contêm informações preditivas do sinal de custo. Consequentemente, os autores argumentam que melhorar a qualidade da representação (via ajuste fino ou melhores embeddings) é o principal gargalo e oferece retornos maiores do que estratégias de treinamento sensíveis a custos. A estrutura é apresentada principalmente como uma metodologia para derivar e avaliar custos, oferecendo uma lente prática para avaliação mesmo quando o treinamento sensível a custos oferece benefícios limitados.