QC-SMOTE: Quality-Controlled SMOTE for Imbalanced Classification

Resumo Técnico: QC-SMOTE: SMOTE com Controle de Qualidade para Classificação Desbalanceada

1. Declaração do Problema

O desbalanceamento de classes permanece um desafio crítico no aprendizado supervisionado, particularmente em domínios como detecção de fraude, diagnóstico médico e detecção de anomalias, onde a classe minoritária representa eventos raros, mas consequentes. Classificadores padrão treinados em dados desbalanceados frequentemente enviesam para a classe majoritária, falhando em reconhecer padrões da classe minoritária. Métodos de reamostragem baseados em dados, especificamente a Técnica de Sobreamostragem de Minorias Sintéticas (SMOTE), são amplamente utilizados para abordar isso por meio da interpolação entre instâncias minoritárias, mas sofrem de uma limitação geométrica fundamental.

O SMOTE assume que a interpolação entre pontos minoritários próximos é inerentemente segura. No entanto, na prática, amostras minoritárias frequentemente residem próximas às fronteiras de classe, dentro de regiões sobrepostas ou como outliers isolados. Interpolar a partir de tais pontos pode gerar amostras sintéticas que são ambíguas, ruidosas ou mais próximas da distribuição majoritária do que a verdadeira estrutura minoritária. Variantes existentes tentam mitigar isso focando em fronteiras (ex: Borderline-SMOTE) ou densidade (ex: Safe-Level-SMOTE), mas frequentemente dependem de um único princípio dominante (ex: ênfase na fronteira ou agrupamento) e falham em acoplar confiabilidade ao nível da amostra, avaliação de qualidade ao nível do candidato e geração adaptativa ao regime em um processo unificado. Consequentemente, eles podem ou amplificar o ruído em regiões esparsas ou reduzir a diversidade ao se concentrarem apenas em regiões densas seguras.

2. Metodologia: QC-SMOTE

Os autores propõem o QC-SMOTE, um framework de sobreamostragem com controle de qualidade que desloca o foco da sobreamostragem orientada pela quantidade para a construção de dados consciente da qualidade. O método opera através de quatro estágios integrados:

A. Estimativa de Confiabilidade de Vizinhança
Em vez de tratar todas as amostras minoritárias igualmente, o QC-SMOTE primeiro estima a confiabilidade de cada amostra minoritária $x_i$ usando uma pontuação de confiabilidade de vizinhança composta $T(x_i)$. Esta pontuação combina três métricas:

1. Suporte de nível de segurança ($S$): A proporção de vizinhos da classe alvo na vizinhança dos $k$-vizinhos mais próximos.
2. Densidade local ($D$): O inverso da distância média para vizinhos minoritários, favorecendo regiões compactas.
3. Isolamento da maioria ($R$): A distância média para vizinhos não-alvo (majoritários), garantindo que a amostra não esteja muito próxima da fronteira da classe oposta.
   Estes componentes são normalizados e ponderados para produzir uma pontuação final. Amostras com alta confiabilidade são consideradas sementes confiáveis para geração, enquanto amostras isoladas ou contaminadas pela fronteira recebem pontuações baixas.

B. Alocação Ponderada pela Confiabilidade
Em vez de gerar amostras sintéticas uniformemente em todas as sementes minoritárias, o QC-SMOTE aloca o esforço de geração com base na pontuação de confiabilidade. Amostras de alta confiança recebem mais tentativas de geração, enquanto outliers de baixa confiança são suprimidos. Isso garante que os dados sintéticos sejam concentrados em regiões geometricamente confiáveis do espaço de características.

C. Seleção de Melhor-de-$K$ Guiada por IPQ
Para cada par semente-vizinho selecionado, o QC-SMOTE não aceita uma única interpolação aleatória. Em vez disso, ele gera $K$ candidatos e os avalia usando uma métrica de Pureza e Qualidade de Interpolação (IPQ) antes da aceitação. A avaliação envolve:

• Pureza Local: Medindo a proporção de vizinhos da classe alvo para o candidato.
• Pureza do Ponto Médio: Avaliando a pureza do ponto médio entre a semente e seu vizinho para garantir que o caminho de interpolação não atravesse regiões ambíguas.
• Clareza da Maioria: Medindo a distância mínima para qualquer amostra majoritária para garantir que o candidato esteja suficientemente separado da classe oposta.
  O candidato com a maior pontuação de qualidade combinada é selecionado.

D. Geração Adaptativa ao Regime e Degradação Graciosa
O método adapta seu comportamento com base na razão de desbalanceamento ($IR$) local e global e na pontuação de sobreposição ($OV$).

• Em regimes de baixa sobreposição e limpos, utiliza intervalos de interpolação mais amplos e menos verificações de candidatos.
• Em regimes de alta sobreposição ou desbalanceamento severo, reduz o intervalo de interpolação, aumenta o número de candidatos ($K$) e aplica verificações de qualidade mais rigorosas.
• Degradação Graciosa: Se o candidato de maior pontuação não atingir os limiares de pureza ou clareza (indicando que a geometria local é pouco confiável para interpolação), o método recorre à duplicação da amostra minoritária mais confiável no vizinhança local. Isso evita a injeção de pontos sintéticos prejudiciais em regiões ruidosas.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Pontuação de Confiabilidade Composta: Uma métrica inovadora que modela explicitamente a confiabilidade da amostra minoritária ao integrar densidade local, características de nível de segurança e isolamento da classe majoritária.
2. Mecanismo de Melhor-de-$K$ Guiado por IPQ: Uma estratégia de seleção de candidatos que avalia a qualidade das regiões de interpolação (incluindo pontos médios) antes de aceitar amostras sintéticas, indo além da simples interpolação de extremidades.
3. Estratégia Adaptativa ao Regime: Um framework de geração que ajusta dinamicamente os intervalos de interpolação e os critérios de seleção com base na severidade do desbalanceamento e da sobreposição de classes, incluindo um mecanismo de fallback para duplicação quando a geração sintética é insegura.
4. Framework Unificado: Uma abordagem prática que acopla confiabilidade ao nível da amostra, qualidade ao nível do candidato e adaptação ao regime, abordando as limitações de métodos que dependem de princípios únicos.

4. Resultados Experimentais

Os autores avaliaram o QC-SMOTE em 30 datasets reais de classificação binária desbalanceada (variando de desbalanceamento leve a severo) usando validação cruzada estratificada repetida. O método foi comparado contra um amplo conjunto de baselines baseados em SMOTE, incluindo variantes recentes de qualidade de espaço como o VS-SMOTE.

• Desempenho Geral: O QC-SMOTE alcançou o melhor AUC-ROC médio (0.9321) e Macro F1 (0.8408) entre todos os métodos comparados, garantindo 29 vitórias em AUC-ROC e 17 vitórias em Macro F1 nos 30 datasets.
• Regimes de Desbalanceamento: Os ganhos de desempenho foram mais pronunciados em regimes de desbalanceamento moderado e severo. Em configurações de alto desbalanceamento (IR $\ge$ 15), o QC-SMOTE melhorou o Macro F1 de 0.7018 (VS-SMOTE) para 0.7621, demonstrando sua eficácia quando as amostras minoritárias são esparsas e a interpolação ingênua é não confiável.
• Estudos de Ablação: A remoção de componentes chave (ponderação de confiabilidade, alocação de confiabilidade, pureza de ponto médio IPQ ou filtragem de pureza) resultou em quedas significativas de desempenho, particularmente em configurações de alto desbalanceamento. Isso confirma que a combinação de estimativa de confiabilidade e controle de qualidade ao nível do candidato é essencial.
• Eficiência: Embora o QC-SMOTE seja mais lento que o SMOTE padrão (devido à avaliação de candidatos), ele permanece substancialmente mais eficiente que o VS-SMOTE (aprox. 39.5$\times$ mais lento que o SMOTE vs. 208.7$\times$ para o VS-SMOTE), oferecendo um compromisso favorável entre custo computacional e desempenho.
• Significância Estatística: Testes de postos sinalizados de Wilcoxon pareados confirmaram que o QC-SMOTE proporciona melhorias estatisticamente significativas em AUC-ROC sobre todos os baselines. Para Macro F1, foi significativamente melhor que a maioria dos baselines, embora a diferença com o VS-SMOTE não tenha sido estatisticamente significativa ao nível de 0.05, indicando que é altamente competitivo com os métodos existentes mais fortes.

5. Significância e Alegações

O artigo afirma que o QC-SMOTE aborda uma lacuna crítica no aprendizado desbalanceado ao mudar o paradigma de sobreamostragem "orientada pela quantidade" para a construção de dados "consciente da qualidade". Os autores argumentam que os ganhos de desempenho na classificação desbalanceada não advêm meramente de aumentar o número de amostras minoritárias, mas de controlar a confiabilidade das regiões onde essas amostras são geradas.

A significância do trabalho reside na demonstração de que a sobreamostragem sintética é mais eficaz quando guiada conjuntamente por:

1. Confiabilidade da amostra (estimando quais sementes são confiáveis).
2. Qualidade do candidato (avaliando o caminho de interpolação e o ponto resultante).
3. Adaptação ao regime local (ajustando o comportamento com base na sobreposição e severidade do desbalanceamento).

Ao integrar esses elementos, o QC-SMOTE visa tornar a sobreamostragem sintética mais dependente em condições de dados heterogêneas, particularmente em configurações de alto desbalanceamento, onde um pequeno número de amostras sintéticas não confiáveis pode distorcer desproporcionalmente a fronteira de decisão aprendida. Os autores posicionam o QC-SMOTE como uma alternativa robusta que evita as armadilhas da amplificação de ruído enquanto mantém a integração agnóstica ao classificador.