Resumo Técnico: O Custo Oculto do Reamostragem em Conjuntos de Árvores

1. Definição do Problema

O desequilíbrio de classes é onipresente em domínios de alto risco, como detecção de fraude e triagem de doenças. O remédio padrão envolve técnicas de reamostragem — especificamente a Técnica de Sobreamostragem Sintética de Minorias (SMOTE), sobreamostragem aleatória (ROS) e subamostragem aleatória (RUS) — para equilibrar os conjuntos de treinamento. Embora esses métodos sejam rotineiramente avaliados por meio de métricas de discriminação (ex: F1-score, AUC, recall da classe minoritária), eles quase nunca são avaliados quanto à calibração de probabilidade.

Muitos sistemas implantados dependem de probabilidades previstas para decisões a jusante (ex: otimização de custo esperado, limiares de triagem). A reamostragem distorce deliberadamente o prior de classe observado durante o treinamento, levando à hipótese de que ela também distorce as probabilidades emitidas. Este artigo investiga se a reamostragem degrada a calibração de conjuntos de árvores, como essa degradação escala com a razão de desequilíbrio (IR) e se correções post-hoc podem reparar o dano sem sacrificar o poder de classificação (ranking).

2. Metodologia

O estudo emprega um design experimental rigoroso, de múltiplas sementes e estatísticas pareadas, através de cinco conjuntos de dados públicos de classificação binária (Razões de Desequilíbrio variando de 1,9 a 70,1) e dois modelos de conjunto de árvores: Florestas Aleatórias (RF) e Gradient Boosting de Histograma (HGB).

• Condições Experimentais:
  • Baseline: Sem reamostragem.
  • Reamostragem: SMOTE, ROS e RUS (visando o equilíbrio de classe 1:1 dentro dos folds de treinamento).
  • Controle: Pesagem de classe (rebalanceamento da perda sem modificação de dados).
  • Calibração Post-hoc: Escalonamento de Platt (Platt scaling) e regressão isotônica aplicados a modelos SMOTE em um split de calibração mantido fora do treino.
• Métricas:
  • Calibração: Erro de Calibração Esperado (ECE), escore de Brier e diagramas de confiabilidade.
  • Discriminação: ROC-AUC, PR-AUC e F1 da classe minoritária.
• Análise Estatística: As comparações utilizam o teste de postos sinalizados de Wilcoxon pareado através de 10 sementes aleatórias e validação cruzada de 5 dobras. Os tamanhos de efeito são quantificados usando o $\delta$ de Cliff. A correção de Holm–Bonferroni é aplicada para controlar as taxas de erro de família.
• Investigações Específicas:
  • H1: A reamostragem degrada a calibração?
  • H2: A recalibração post-hoc pode reparar o dano?
  • H3: Como o dano escala com a razão de desequilíbrio e a agressividade da sobreamostragem?
  • H4 (Resultado Negativo): A correção analítica de deslocamento de prior (válida para subamostragem) transfere-se para o SMOTE?

3. Principais Resultados

A. A Reamostragem Degrada a Calibração (H1)

Todas as famílias de reamostragem aumentam significativamente o ECE em comparação ao baseline, embora a magnitude varie drasticamente:

• SMOTE & ROS: Causam um aumento pequeno a moderado no ECE (ex: SMOTE: $0,052 \to 0,061$, $\delta = +0,27$).
• Subamostragem Aleatória (RUS): Causa uma degradação severa, particularmente em altas razões de desequilíbrio. No conjunto de dados yeast_ml8 (IR=70), o RUS infla o ECE de $0,008$ para $0,395$. Isso é atribuído ao "colapso do tamanho da amostra" (treinamento em $\sim50$ amostras) em vez do próprio mecanismo de reamostragem, embora o RUS permaneça prejudicial em conjuntos de dados com tamanhos de amostra adequados.
• Pesagem de Classe: Causa apenas mudanças marginais na calibração, indicando que o dano provém da alteração da distribuição dos dados de treinamento, não meramente da função objetivo.

B. A Recalibração Post-hoc Repara o Dano (H2)

Um único passo de recalibração post-hoc (Platt ou Isotônica) elimina efetivamente o dano de calibração causado pelo SMOTE:

• Redução de ECE: O ECE do SMOTE cai de $0,061$ para $0,021$ (Platt) e $0,025$ (Isotônica), muitas vezes ficando abaixo do baseline original.
• Custo de Ranking: A reparação incorre em um custo negligível ao poder de classificação. O AUC diminui em apenas $0,002$($\delta = -0,07$). Essa pequena queda é atribuída principalmente à redução de dados necessária para o split de calibração, não à transformação em si.
• Compromisso (Trade-off): Trocar uma queda de $0,002$ no AUC por uma redução de $66\%$ no ECE é favorável para sistemas de decisão.

C. Escala com Desequilíbrio e Agressividade (H3)

• Razão de Desequilíbrio: O dano de calibração do RUS cresce acentuadamente com a razão de desequilíbrio. Em contraste, a penalidade de calibração do SMOTE permanece relativamente pequena e estável na faixa de IR estudada (1,9–70).
• Razão de Sobreamostragem: O erro de calibração cresce monotonicamente com a agressividade do SMOTE (a quantidade de dados sintéticos injetados), enquanto as métricas de discriminação (AUC, F1) permanecem constantes ou melhoram ligeiramente.

D. A Correção Analítica Falha para o SMOTE (Resultado Negativo)

O artigo demonstra que a correção analítica de deslocamento de prior (que funciona para a subamostragem ao ajustar o prior deslocado $\pi_{train}$) não se transfere para o SMOTE.

• Raciocínio: O RUS desloca apenas o prior $p(y)$, deixando a densidade condicional de classe $p(x|y)$ intacta. O SMOTE, no entanto, sintetiza novos pontos via interpolação, distorcendo assim a densidade condicional de classe $p(x|y=1)$.
• Resultado: Aplicar a correção analítica a modelos SMOTE falha em melhorar o ECE (podendo até piorá-lo em alguns casos), enquanto a recalibração isotônica baseada em dados tem sucesso.

E. Estabilidade da Atribuição de Características

A análise SHAP no conjunto de dados credit-g indica que o SMOTE preserva a estrutura de características aprendida (correlação de Spearman de 0,96 nos rankings de importância de características) enquanto corrompe a escala de probabilidade. Isso confirma que o dano de calibração é um problema de escala corrigível por transformações monotônicas, e não uma mudança fundamental no que o modelo aprende.

4. Significância e Contribuições

Os autores posicionam este trabalho não como a descoberta de um fenômeno novo (visto que o dano de calibração da subamostragem já foi observado por Dal Pozzolo et al.), mas como uma consolidação e extensão prática e baseada em evidências do conhecimento existente.

• Esclarecimento de Risco: O estudo distingue entre custos de calibração "pequenos, mas reais" para o SMOTE e custos "genuinamente perigosos" para o RUS, especialmente em razões de desequilíbrio extremas.
• Guia Prático: Fornece um protocolo claro para profissionais: se a reamostragem for usada e as probabilidades impulsionarem decisões, um passo de recalibração post-hoc é necessário e suficiente.
• Correção Metodológica: Alerta explicitamente contra a aplicação de correções analíticas de deslocamento de prior a métodos de sobreamostragem sintética, pois elas falham ao não considerar a distorção de densidade.
• Padrão de Avaliação: O artigo argumenta que estudos de aprendizado desequilibrado devem reportar métricas de calibração (ECE, Brier) juntamente com métricas de discriminação (F1, AUC) para evitar o envio de modelos com probabilidades não confiáveis.

5. Limitações

Os autores reconhecem várias fronteiras de suas afirmações:

• O estudo é limitado a dados tabulares e dois modelos de conjunto de árvores; redes neurais e outras modalidades podem se comportar de forma diferente.
• A decomposição da perda de AUC em "redução de dados" vs. "custos de transformação de calibração" baseia-se em uma razão de split específica.
• A explicação para a falha da correção analítica do SMOTE é uma hipótese intuitiva sobre a distorção de $p(x|y)$, exigindo análise formal em trabalhos futuros.
• Os resultados são limitados ao intervalo de desequilíbrio testado (IR 1,9–70); razões extremas (centenas ou milhares) podem gerar efeitos maiores.