Do we need rebalancing strategies? A theoretical and empirical study around SMOTE and its variants

Este artigo analisa teoricamente e empiricamente o SMOTE, demonstrando que sua densidade tende a copiar amostras originais e desaparece nas fronteiras, o que levou ao desenvolvimento de duas variantes que superam o método padrão em cenários de desequilíbrio artificial, embora, na maioria dos casos, a ausência de reamostragem seja competitiva com algoritmos de aprendizado de máquina modernos.

O essencial

Imagine que você é um detetive tentando encontrar agulhas em um palheiro. O "palheiro" são os dados normais (a maioria), e as "agulhas" são os casos raros e importantes que você quer encontrar, como fraudes em cartões de crédito ou diagnósticos médicos raros.

O problema é que, se você apenas jogar os dados para um computador, ele vai ficar preguiçoso e dizer "tudo é palheiro" porque há muito mais palha do que agulhas. Para ajudar o computador a ver as agulhas, os cientistas criaram uma técnica chamada SMOTE.

O que é o SMOTE? (O "Xerox" Criativo)

Pense no SMOTE como um fotógrafo que tenta criar novas fotos de agulhas. Como ele não tem fotos reais suficientes, ele pega duas agulhas reais, olha para o espaço entre elas e "desenha" uma nova agulha fictícia bem no meio. É como se ele fizesse um mix entre duas fotos para criar uma terceira nova. A ideia é encher o palheiro de mais agulhas para que o computador preste atenção nelas.

O que os autores descobriram? (A Surpresa)

Os autores deste estudo (Abdoulaye, Emmanuel e Erwan) decidiram olhar para trás dessa "mágica" e perguntar: "Isso realmente funciona como pensamos?"

Eles fizeram duas descobertas principais, usando matemática e simulações:

1. O Efeito "Xerox" (Cópia Demasiada):
   Com os ajustes padrão que todo mundo usa, o SMOTE não está realmente criando algo novo e criativo. Ele está apenas fazendo cópias quase idênticas das agulhas originais.

   • A analogia: Imagine que você tem uma foto de um gato laranja. O SMOTE, no modo padrão, não cria um gato laranja com uma mancha diferente ou uma pose nova. Ele apenas imprime a mesma foto do gato laranja 100 vezes, talvez com um leve desfoque. O computador vê 100 gatos iguais e acha que não aprendeu nada novo.

2. O Problema da Borda (O Cantinho Esquecido):
   O SMOTE tem dificuldade em criar agulhas nas "bordas" do palheiro (os casos mais estranhos ou raros). Ele tende a ficar no meio do caminho, ignorando as áreas mais perigosas onde as agulhas realmente precisam ser encontradas.

   • A analogia: É como se o fotógrafo só tirasse fotos de agulhas que estão no centro da sala, mas nunca nas pontas ou nos cantos escuros, onde as agulhas mais difíceis de achar estariam escondidas.

As Soluções Propostas (Novas Ideias)

Baseados nesses problemas, eles criaram duas novas versões do SMOTE:

1. SMOTE Ajustado (K-tuned): Em vez de usar o número fixo de "vizinhos" que o programa usa por padrão, eles sugerem ajustar esse número dependendo de quantas agulhas você tem. É como dizer ao fotógrafo: "Se temos poucas fotos, olhe para mais vizinhos; se temos muitas, olhe para menos".
2. SMOTE Gaussiano (MGS): Esta é a grande estrela. Em vez de apenas desenhar uma linha reta entre duas agulhas, eles usam uma "nuvem de probabilidade".
   • A analogia: Imagine que, em vez de desenhar uma linha entre dois pontos, você joga uma tinta colorida ao redor deles. Essa tinta se espalha em todas as direções, criando novas agulhas que podem aparecer em lugares onde nunca houve uma agulha antes (fora da "caixa" original). Isso ajuda a cobrir as bordas e a criar mais diversidade.

O Veredito Final: Precisamos de Tudo Isso?

Aqui está a parte mais interessante e contraintuitiva do estudo:

• Para a maioria dos casos: Não! O estudo mostrou que, na maioria dos dados do mundo real, não fazer nada (não usar SMOTE, não copiar nada) funciona tão bem quanto usar essas técnicas complexas. Os computadores modernos (como as "Florestas Aleatórias") são inteligentes o suficiente para lidar com o desequilíbrio sozinhos.
• Para os casos extremos: Se o desequilíbrio for muito grande (ex: 1 agulha para cada 100.000 palhas), aí sim, usar uma técnica ajuda. E, nesse cenário, a nova técnica deles, o MGS (SMote Gaussiano), foi a melhor de todas, superando até modelos de Inteligência Artificial muito complexos e caros.

Resumo em uma frase

O estudo diz: "Na maioria das vezes, não se preocupe em forçar o computador a ver o que ele não quer ver; deixe-o trabalhar naturalmente. Mas, se o problema for realmente extremo, use nossa nova técnica 'MGS' que cria exemplos mais criativos e menos repetitivos do que os métodos antigos."

Resumo técnico

Resumo Técnico: Rebalanceamento de Dados e SMOTE

1. O Problema

O artigo aborda o desafio do desequilíbrio de classes em conjuntos de dados tabulares para classificação binária (comum em detecção de fraude, diagnóstico médico e churn). A maioria dos algoritmos de aprendizado de máquina tende a favorecer a classe majoritária, resultando em previsões enviesadas.
Para mitigar isso, estratégias de rebalanceamento são utilizadas, sendo a SMOTE (Synthetic Minority Oversampling Technique) a mais popular. No entanto, há uma lacuna na literatura:

• Poucos trabalhos analisam a SMOTE teoricamente.
• Não está claro se estratégias de rebalanceamento são realmente necessárias ou benéficas para todos os cenários, especialmente com modelos modernos baseados em árvores (como Random Forests e LightGBM).
• A SMOTE padrão pode gerar amostras sintéticas que não capturam a variabilidade real ou que falham nas fronteiras da distribuição.

2. Metodologia

Os autores combinaram uma análise teórica rigorosa com uma avaliação empírica extensa.

A. Análise Teórica:

• Derivaram limites superiores não assintóticos para a densidade das amostras geradas pela SMOTE.
• Estudaram o comportamento da SMOTE quando o número de amostras minoritárias ($n$) tende ao infinito.
• Analisaram a relação entre o hiperparâmetro $K$ (número de vizinhos) e $n$.

B. Proposta de Novas Variantes:
Baseados nas falhas teóricas identificadas, propuseram duas modificações da SMOTE:

1. SMOTE K-tuned: Em vez de usar $K=5$ (padrão), o valor de $K$ é otimizado via validação cruzada em uma grade que inclui frações do tamanho da amostra ($n$).
2. MGS (Multivariate Gaussian SMOTE): Em vez de interpolação linear entre dois pontos, gera novas amostras a partir de uma distribuição Gaussiana Multivariada estimada a partir do ponto central e seus $K$ vizinhos. Isso permite que as amostras saiam da casca convexa dos dados originais.

C. Avaliação Empírica:

• Dados: 13 conjuntos de dados tabulares reais (UCI, Grinsztajn et al., etc.) e versões subamostradas para criar desequilíbrios extremos (1%, 10%, 20%).
• Modelos: Random Forest (RF), LightGBM e Regressão Logística.
• Métricas: PR AUC (Precision-Recall Area Under Curve), escolhida por ser mais robusta para dados desbalanceados do que o ROC AUC.
• Comparação: As novas estratégias foram comparadas com 10 métodos de ponta, incluindo undersampling (RUS), oversampling (ROS, NearMiss), SMOTE variantes (Borderline, ADASYN), e modelos generativos profundos (CTGAN, ForestDiffusion).

3. Principais Contribuições Teóricas

Os autores provaram matematicamente que:

1. Cópia Assintótica: Com o parâmetro padrão ($K=5$) e $n \to \infty$, a SMOTE tende a copiar as amostras originais da classe minoritária, em vez de gerar nova variabilidade. A distância entre a amostra sintética e o ponto central converge para zero.
2. Viés de Fronteira: A densidade da SMOTE desaparece (vanishes) perto das fronteiras do suporte da distribuição da classe minoritária. Isso cria um "artefato" onde a SMOTE não consegue regenerar adequadamente a densidade nas bordas do espaço de características.
3. Dependência de K: Para evitar a cópia pura, $K$ deve crescer com $n$ (não pode ser fixo), mas aumentar $K$ exacerbou o viés de fronteira.

4. Resultados Empíricos

Cenário 1: Dados Levemente Desbalanceados

• Descoberta Chave: Para a maioria dos conjuntos de dados (11 de 13), não aplicar nenhuma estratégia de rebalanceamento ("None") foi competitivo ou superior em termos de PR AUC.
• Estratégias como Class-Weight (CW) ou SMOTE padrão não trouxeram ganhos significativos sobre o modelo base (Random Forest ou LightGBM) quando o desequilíbrio não era extremo.

Cenário 2: Dados Extremamente Desbalanceados

• Quando a razão de desequilíbrio foi drasticamente reduzida (ex: 1%), as estratégias de rebalanceamento tornaram-se necessárias.
• SMOTE Padrão: Desempenhou-se mal, comportando-se de forma similar ao Random Over Sampling (ROS) devido à tendência de cópia.
• SMOTE K-tuned: Não superou consistentemente a SMOTE padrão, sugerindo que apenas ajustar $K$ não resolve o problema de fronteira.
• MGS (Multivariate Gaussian SMOTE): Foi a estratégia mais promissora.
  • Obteve o melhor desempenho em 4 de 6 conjuntos de dados extremamente desbalanceados.
  • Superou modelos generativos complexos e caros computacionalmente, como CTGAN e ForestDiffusion.
  • Funcionou bem sem necessidade de ajuste fino da profundidade da árvore, ao contrário de outras estratégias.

Comparação com Modelos Profundos:

• CTGAN e ForestDiffusion foram computacionalmente mais caros e, na maioria dos casos, não superaram a SMOTE (ou suas variantes) em dados tabulares.
• Métodos de Long-tail learning (como Focal Loss e LDAM) projetados para redes neurais não mostraram vantagem significativa em dados tabulares com modelos baseados em árvores.

5. Significado e Conclusões

O artigo oferece uma mudança de paradigma na prática de aprendizado de máquina para dados tabulares desbalanceados:

1. Não é necessário rebalancear sempre: Para a maioria dos casos reais com desequilíbrio moderado, aplicar nenhuma estratégia é a melhor abordagem padrão, evitando a introdução de ruído ou viés artificial.
2. Limitações da SMOTE Padrão: A SMOTE padrão tem falhas teóricas fundamentais (cópia de dados e viés de fronteira) que limitam sua eficácia em cenários críticos.
3. Solução Simples e Eficaz: A MGS (Multivariate Gaussian SMOTE) surge como uma alternativa superior. Ela corrige os defeitos teóricos da SMOTE (gerando diversidade e lidando com fronteiras) mantendo a simplicidade computacional, superando até mesmo modelos generativos de última geração em dados tabulares.
4. Recomendação Prática: Os autores sugerem que, ao lidar com desequilíbrio extremo em dados tabulares, a MGS deve ser considerada como uma estratégia de referência antes de recorrer a métodos complexos de deep learning.

Em suma, o trabalho demonstra que a simplicidade teórica e a escolha adequada de estratégias (ou a ausência delas) muitas vezes superam a complexidade computacional em problemas de classificação tabular.