🤖 AI

When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification

Este estudo demonstra que confiar em avaliações de conjunto de dados único para classificação desbalanceada é enganoso, pois uma análise abrangente de 45 tarefas revela que o ajuste de limiar e técnicas de reamostragem como o SMOTE melhoram significamente o desempenho através de diversos índices de desbalanceamento, ao contrário dos resultados nulos observados no popular, mas não representativo, conjunto de dados de fraude de cartão de crédito.

Autores originais: Diyorbek Musaev

Publicado 2026-08-18

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Diyorbek Musaev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo do aprendizado de máquina, os computadores são frequentemente solicitados a fazer escolhas binárias: este e-mail é spam ou não, esta transação é fraudulenta ou legítima, este exame médico mostra uma doença ou um estado saudável. Essas tarefas tornam-se difíceis quando um resultado é vastamente mais comum que o outro. Se um banco processa um milhão de transações por dia e apenas algumas centenas são fraudulentas, o computador vê uma montanha de atividade normal e um pico minúsculo, quase invisível, de fraude. Isso é conhecido como desbalanceamento de classes. Para ajudar o computador a enxergar o evento raro, pesquisadores desenvolveram ferramentas padrão. Eles podem criar artificialmente mais exemplos do evento raro para equilibrar os dados de treinamento, ou podem ajustar a linha de decisão interna do computador. Por padrão, um computador geralmente decide que um evento é positivo apenas se tiver mais de cinquenta por cento de certeza. Em um mundo desbalanceado, essa linha de cinquenta por cento pode ser alta demais, fazendo com com o computador perder os eventos raros inteiramente. Assim, a prática padrão é baixar essa linha, tornando o computador mais disposto a soar o alarme.

Por anos, a comunidade científica confiou em um único e famoso conjunto de dados de transações de cartão de crédito para testar essas ferramentas. É o benchmark mais utilizado na área, contendo centenas de milhares de transações reais com uma fração ínfima de fraude. Quando pesquisadores testaram seus métodos nesse conjunto de dados específico, frequentemente chegavam a uma conclusão confiante: as ferramentas padrão eram desnecessárias. Eles descobriram que um modelo de computador simples e bem calibrado poderia detectar fraudes perfeitamente bem sem quaisquer ajustes especiais, e que tentar ajustar a linha de decisão ou equilibrar os dados na verdade piorava as coisas. Essa descoberta tornou-se uma regra prática amplamente aceita, sugerindo que, para modelos bem comportados, todo o aparato de tratamento de desbalanceamento era supérfluo.

Um novo estudo desafia a segurança dessa regra. Os pesquisadores, trabalhando na Universidade Tecnológica de Queensland, fizeram uma pergunta simples, mas profunda: uma conclusão extraída de um conjunto de dados específico aplica-se ao resto do mundo? Eles começaram retestando rigorosamente o famoso conjunto de dados de fraude de cartão de crédito usando um protocolo estrito, livre de vazamento (leakage-free), que garantia que nenhuma informação dos resultados de teste influenciasse acidentalmente o treinamento. Seus resultados confirmaram a velha história. Nesse conjunto de dados específico, um modelo padrão chamado Random Forest apresentou o melhor desempenho em sua configuração padrão, e qualquer tentativa de ajustar o limiar de decisão ou adicionar dados sintéticos ao conjunto de treinamento não proporcionou nenhum benefício. De fato, nesse conjunto de dados, os ajustes tornaram o modelo ligeiramente pior.

No entanto, os pesquisadores não pararam por aí. Eles aplicaram exatamente o mesmo protocolo de teste a uma coleção muito mais ampla de quarenta e cinco tarefas diferentes de classificação binária. Essas tarefas variavam desde a identificação de dígitos manuscritos até o diagnóstico de câncer de mama, incluindo dados do mundo real e cenários sintéticos cuidadosamente construídos. As razões de desbalanceamento nesta nova coleção variavam amplamente, de uma diferença suave de um para um e meio, até uma diferença severa de um para cento e setenta e oito. Quando rodaram seus modelos através dessa diversidade de tarefas, a história mudou completamente.

A conclusão que funcionou no conjunto de dados de cartão de crédito revelou-se uma anomalia, específica para aquele conjunto de dados e para aquele modelo. Nas quarenta e cinco tarefas, o mesmo modelo Random Forest que não precisava de ajuda nos dados de fraude foi o que mais se beneficiou de ter seu limiar de decisão ajustado. Os ajustes que foram prejudiciais no conjunto de dados de fraude tornaram-se úteis na coleção mais ampla. Da mesma forma, uma técnica chamada SMOTE, que gera artificialmente exemplos da classe rara, mostrou-se prejudicial no conjunto de dados de fraude, mas proporcionou um aumento significativo no desempenho na maioria das outras tarefas. Os pesquisadores descobriram que o benefício de ajustar o limiar de decisão não é uma linha reta que melhora à medida que os dados se tornam mais desbalanceados. Em vez disso, o benefício segue um formato de U invertido. O benefício é negligenciável quando o desbalanceamento é suave, atinge o pico na faixa intermediária de desbalanceamento e declina novamente quando o desbalanceamento se torna extremo.

Essa descoberta explica por que o conjunto de dados de fraude de cartão de crédito, com sua razão de desbalanceamento extrema de um para quinhentos e setenta e sete, é um lugar ruim para estudar essas questões. Ele se situa na zona onde o benefício do ajuste é o mais baixo e mais difícil de medir de forma confiável. O estudo também testou uma intuição comum: a de que um pesquisador poderia observar o quão mal um modelo está calibrado e decidir se deve ajustar o limiar com base nisso. Eles descobriram que essa intuição é falsa. Não havia um vínculo confiável entre o erro de calibração de um modelo e a quantidade de ajuda que ele recebia do ajuste. Um modelo poderia estar mal calibrado e não ganhar nada com o ajuste, ou estar bem calibrado e ganhar muito.

As implicações para qualquer pessoa que construa esses sistemas são claras. A ideia de que um único conjunto de dados pode fornecer uma regra universal sobre como lidar com eventos raros é insegura. Um método que funciona perfeitamente em um conjunto de dados pode falhar ou até retroceder em outro. Os pesquisadores recomendam que os profissionais testem rotineiramente diferentes limiares de decisão em um conjunto de validação para cada nova tarefa, em vez de assumir que uma configuração padrão é suficiente ou que um ajuste específico é sempre necessário. Eles também aconselham contra o uso de diagnósticos de calibração para tomar essa decisão, pois essas métricas não preveem o resultado. O estudo conclui que, embora a validade interna — garantir que um único experimento esteja livre de erros — seja importante, a validade externa — garantir que as descobertas se sustentem em diferentes dados — é igualmente crítica. Um experimento metodologicamente perfeito em um único conjunto de dados ainda pode levar à conclusão geral errada, e a única maneira de saber o que funciona é testar em uma ampla variedade de situações.

Resumo Técnico: Quando Conclusões de um Único Conjunto de Dados Falham

1. Definição do Problema

A literatura sobre o tratamento de desequilíbrio de classes em classificação binária frequentemente extrai conclusões gerais baseadas em avaliações de desempenho conduzidas em um único conjunto de dados de referência (benchmark). Essa prática assume que os achados relativos à eficácia de intervenções (como reamostragem ou ajuste de limiar de decisão) em um conjunto de dados são propriedades do método em si, e não artefatos da distribuição específica dos dados.

O autor identifica uma lacuna crítica na validade externa: mesmo quando um estudo de um único conjunto de dados é metodologicamente rigoroso (livre de vazamento de dados/leakage-free), suas conclusões podem não se generalizar para outras tarefas. Especificamente, o artigo investiga se o consenso de que "ensembles bem calibrados não requerem tratamento de desequilíbrio" se mantém verdadeiro em um espectro mais amplo de razões de desequilíbrio e famílias de modelos, ou se é uma anomalia específica do dataset de fraude de cartão de crédito do Kaggle, fortemente testado em benchmarks.

2. Metodologia

Protocolo de Avaliação

O estudo emprega um protocolo rigoroso de validação cruzada aninhada livre de vazamento (leakage-free nested cross-validation) para garantir a validade interna:

Divisão Externa: Partição de $k$ -fold estratificada (5-fold para o dataset de fraude, 3-fold para o conjunto de 45 tarefas).
Divisão Interna: O conjunto de treinamento externo é dividido em um conjunto de treinamento interno e um conjunto de validação interno (80/20 ou 75/25).
Pré-processamento: O StandardScaler é ajustado (fitted) apenas no conjunto de treinamento interno. Se o Sobreamostragem Sintética de Minorias (SMOTE) for utilizada, ela é aplicada apenas ao conjunto de treinamento interno escalonado. Nem as dobras (folds) de validação nem as de teste são reamostradas ou escalonadas usando estatísticas do conjunto de teste.
Seleção de Limiar: Para estratégias ajustadas, o limiar de decisão é seleciono na dobra de validação interna para maximizar o F1. A dobra de teste nunca é usada para a seleção do limiar.
Relato: As métricas (F1, AUPRC, ROC-AUC, erro de calibração) são computadas na dobra de teste mantida separadamente (held-out).

Design do Estudo

A pesquisa consiste em dois estudos distintos:

Estudo A (Fraude de Cartão de Crédito): Uma replicação do benchmark padrão usando o dataset de fraude de cartão de crédito do Kaggle (284.807 transações, classe positiva de 0,172%, razão de desequilíbrio de 1:577). Cinco famílias de modelos foram testadas: Random Forest, Gradient Boosting, MLP, Regressão Logística e um Autoencoder.
Estudo B (Conjunto de 45 Tarefas): Uma avaliação abrangente em 45 tarefas de classificação binária com razões de desequilíbrio variando de 1:1,5 a 1:178.
- Composição: 15 tarefas do mundo real (14 tarefas padrão de dígitos, câncer de mama e vinho, mais uma tarefa de câncer de mama rarefeita por subamostragem) e 30 tarefas sintéticas geradas via make_classification para variar sistematicamente o desequilíbrio, a separação de classes e a dimensionalidade.
- Escala: 2.025 ajustes de modelos através de quatro famílias de modelos (Regressão Logística, Random Forest, Histogram Gradient Boosting, MLP) e quatro estratégias (Simples, Limiar Ajustado, Equilibrado de Classe + Limiar Ajustado, SMOTE + Limiar Ajustado).

Métrica Chave

A principal métrica de interesse é a diferença de F1 pareada ( $\Delta F1$ ):
$\Delta F1 = F1(\text{limiar } t^*) - F1(\text{limiar } 0.5)$
Isso isola o efeito do ajuste de limiar ao comparar o modelo ajustado contra o limiar padrão no exato mesmo conjunto de teste.

3. Principais Resultados

A Anomalia do Conjunto de Dados Único (Estudo A)

No dataset de fraude de cartão de crédito, uma Random Forest simples com o limiar padrão de 0,5 alcançou um F1 de 0,861 ± 0,021.

Ajuste de Limiar: Não proporcionou benefício ( $\Delta F1 = -0,002$ ).
Reamostragem (SMOTE): Degradou o desempenho (o F1 caiu cerca de 2,3 pontos).
Conclusão do Estudo A isolado: Para um ensemble bem calibrado sob desequilíbrio severo, o tratamento de desequilíbrio é desnecessário e potencialmente prejudicial.

A Falha de Generalização (Estudo B)

Quando o mesmo protocolo foi aplicado ao conjunto de 45 tarefas, a conclusão para a Random Forest no Estudo B reverteu:

Random Forest: Tornou-se a família de modelos que mais se beneficiou do ajuste de limiar em todo o conjunto ( $\Delta F1 = +0,101 \pm 0,134$ ).
Outros Modelos: Regressão Logística, Histogram Gradient Boosting e MLP replicaram seu comportamento do dataset de fraude (ganhos pequenos ou neutros), tornando a Random Forest a anomalia específica no dataset de fraude.
SMOTE: Embora prejudicial no dataset de fraude, o SMOTE foi benéfico em média através do conjunto ( $\Delta F1 = +0,076$ , $p = 2,7 \times 10^{-17}$ ), embora o benefício tenha sido altamente dependente do modelo (ex: +0,170 para MLP vs. +0,005 para Regressão Logística).

A Relação Não Monotônica

O benefício do ajuste de limiar não é monotônico em relação à razão de desequilíbrio. Ele segue uma distribuição em forma de U invertido:

Desequilíbrio Leve (< 1:5): O ajuste é marginalmente prejudicial ( $\Delta F1 \approx -0,009$ ).
Desequilíbrio Moderado (1:15 – 1:40): O ajuste atinge o pico de eficácia ( $\Delta F1 = +0,120$ ).
Desequilíbrio Extremo (> 1:100): O benefício declina ( $\Delta F1 = +0,045$ ).
Implicação: O dataset de fraude de cartão de crédito (1:577) situa-se na cauda "decrescente" desta curva, tornando-o um local não representativo para estudar a seleção de limiar.

Falha dos Diagnósticos de Calibração

O artigo testa a heurística de que o erro de calibração de um modelo (no conjunto de validação) prevê o benefício do ajuste de limiar.

Resultado: Esta hipótese é rejeitada. O Erro de Calibração Esperado (ECE) é não correlacionado com o $\Delta F1$ ( $r = -0,087$ ). O escore de Brier mostra apenas uma fraca correlação positiva ( $r = +0,137$ ), explicando menos de 2% da variância.
Conclusão: Praticantes não podem usar métricas de calibração para decidir a priori se o ajuste de limiar vale a pena.

4. Contribuições

Demonstração de Não-Generalização: Uma prova concreta de que as conclusões extraídas do dataset de fraude de cartão de crédito mais testado em benchmarks falham em se generalizar, especificamente invertendo o achado para Random Forest quanto à necessidade de tratamento de desequilíbrio.
Caracterização de Tendências Generalizáveis:
- O ajuste de limiar é benéfico em média, mas altamente dependente do modelo.
- O SMOTE é benéfico em média, mas ineficaz para Regressão Logística.
Descoberta do U Invertido: Identificação de uma relação não monotônica entre a razão de desequilíbrio e o benefício do ajuste de limiar, explicando por que datasets de desequilíbrio extremo produzem resultados enganosos para a seleção de limiar.
Resultado Negativo sobre Diagnósticos: Rejeição empírica da ideia de que o erro de calibração no conjunto de validação pode servir como um substituto (proxy) para decidir se deve-se ajustar limiares.

5. Significância e Alegações

O artigo argumenta que a validade externa é tão crítica quanto a validade interna na pesquisa de aprendizado de máquina.

Para Praticantes: O ajuste de limiar deve ser realizado como uma etapa rotineira em uma dobra de validação, pois é computacionalmente barato e benéfico em média. No entanto, os praticantes não devem confiar em diagnósticos de calibração para pular esta etapa, nem assumir que a reamostragem é universalmente prejudicial ou útil sem considerar a família de modelos específica.
Para Pesquisadores: Alegações gerais sobre a eficácia de métodos de tratamento de desequilíbrio (ex: "O Método X é desnecessário para o Modelo Y") são inseguras se baseadas em um único conjunto de dados. O autor recomenda um mínimo de uma dúzia de tarefas abrangendo pelo menos duas ordens de magnitude de desequilíbrio para sustentar tais alegações.
Para Revisores: A avaliação de um artigo não deve parar na verificação de vazamento de dados; os revisores devem questionar se as conclusões de um único conjunto de dados foram testadas quanto à generalização.

O autor afirma explicitamente que seu trabalho não pretende alegar que o ajuste de limiar é sempre eficaz, mas sim que as condições sob as quais ele é eficaz (ou ineficaz) são complexas e dependentes do dataset, tornando perigosas as "regras de bolso" baseadas em um único conjunto de dados.