Validation-Stage Combinatorial Fusion Analysis for Imbalanced Credit-Card Fraud Detection

Resumo Técnico: Análise de Fusão Combinatória em Estágio de Validação para Detecção de Fraude em Cartão de Crédito com Classes Desbalanceadas

Definição do Problema
A detecção de fraude em cartões de crédito apresenta um problema de aprendizado de máquina desafiador, caracterizado por um desbalanceamento extremo de classes, altos custos de erro (tanto falsos positivos quanto falsos negativos) e padrões de fraude não estacionários. Embora modelos robustos de árvores potencializadas pelo gradiente (ex: XGBoost, LightGBM) já sirvam como bases sólidas para dados estruturados de transações, o valor marginal de métodos adicionais de ensemble ou fusão é frequentemente incerto. Este artigo investiga se a Análise de Fusão Combinatória (CFA — Combinatorial Fusion Analysis) — um método que busca sobre subconjuntos de modelos e regras de fusão de pontuação de ranking — pode proporcionar ganhos de desempenho confiáveis sobre os melhores modelos individuais e técnicas de ensemble padrão (soft voting, stacking) no benchmark IEEE-CIS de Detecção de Fraude.

Metodologia
O estudo emprega um protocolo experimental rigoroso e livre de vazamento (leakage-free) utilizando uma divisão de 60/20/20 para treino/validação/teste.

• Dados e Pré-processamento: O conjunto de dados compreende 590.540 transações anonimizadas com tipos de características mistas. O pré-processamento (tratamento de valores ausentes, codificação de rótulos, escalonamento) é ajustado exclusivamente no conjunto de treinamento.
• Classificadores Base: Sete modelos distintos servem como a biblioteca de candidatos: KNN, LDA, Regressão Logística, Random Forest, XGBoost, LightGBM e TabNet. Modelos lineares e KNN utilizam características reduzidas por PCA, enquanto os ensembles de árvores e o TabNet utilizam o conjunto completo de características.
• Análise de Fusão Combinatória (CFA):
  • Característica de Pontuação de Ranking (RSC): Cada modelo é caracterizado por sua função RSC, que mapeia posições de ranking normalizadas para pontuações.
  • Medição de Diversidade: A diversidade entre modelos é quantificada como a distância L1 média entre suas funções RSC.
  • Espaço de Busca: O framework avalia 120 subconjuntos de modelos (dos 7 aprendizes base) combinados com quatro regras de fusão: Pontuação Média (Average Score), Pontuação Ponderada (Weighted Score, ponderada pela diversidade), Ranking Médio (Average Rank) e Ranking Ponderado (Weighted Rank). Isso resulta em 480 configurações de fusão.
  • Estratégia de Seleção: O subconjunto ideal e a regra de fusão são selecionados com base em métricas de desempenho (AUC-ROC, AUPRC, F1) no conjunto de validação. O conjunto de teste é utilizado apenas para o relatório final.
• Experimentos Auxiliares: O estudo inclui um experimento de aumento via CTGAN para testar a geração sintética de fraudes e um estudo de ablação sobre razões de desbalanceamento de classe.

Principais Contribuições

1. Avaliação Empírica da CFA: O artigo fornece uma avaliação rigorosa da CFA no benchmark IEEE-CIS, demonstrando sua aplicação tanto com modelos de árvores tradicionais quanto com aprendizes tabulares profundos (TabNet).
2. Seleção de Subconjunto vs. Biblioteca Completa: Estabelece que o ensemble ideal é um subconjunto compacto de modelos fortes baseados em árvores (Random Forest, XGBoost, LightGBM) em vez da biblioteca completa de modelos ou do conjunto mais diverso de modelos.
3. Rigor Estatístico: O estudo utiliza intervalos de confiança de bootstrap (1.000 reamostragens) para distinguir ganhos reais de desempenho de ruído de busca, confirmando que as melhorias sobre o melhor modelo individual são estatisticamente significativas.
4. Resultado Negativo sobre Aumento: Relata um resultado negativo delimitado em relação ao aumento por CTGAN, mostrando que a geração sintética de fraude degrada o desempenho neste cenário de alta dimensionalidade e tipos mistos.

Resultados

• Desempenho: A melhor configuração, DEF WtScore (uma fusão de pontuação ponderada pela diversidade de Random Forest, XGBoost e LightGBM), alcançou:
  • AUC-ROC: 0,9405 (vs. 0,9343 para o melhor modelo individual, LightGBM).
  • AUPRC: 0,6699 (vs. 0,6480 para LightGBM).
  • F1: 0,6373 (vs. 0,6126 para o melhor modelo individual, XGBoost).
• Significância Estatística: Os intervalos de confiança de bootstrap para as diferenças de desempenho excluem o zero para todas as três métricas, confirmando que os ganhos são confiáveis.
• Comparação com Baselines:
  • A CFA iguala o soft voting em AUC-ROC, mas melhora o AUPRC e o F1.
  • O stacking teve um desempenho inferior ao melhor modelo individual, provavelmente devido à alta correlação e força dos aprendizes base.
  • A fusão baseada em pontuação (score-based) superou a fusão baseada em ranking; os autores observam que substituir pontuações informativas por rankings removeu a separação útil neste contexto.
• Métricas Operacionais: Em pontos operacionais fixos (ex: 50% de recall), o ensemble CFA manteve uma precisão mais alta que o LightGBM, indicando utilidade prática para equipes de fraude que gerenciam orçamentos de alertas.
• CTGAN e Desbalanceamento: O aumento por CTGAN reduziu o desempenho em todos os modelos e no ensemble CFA. Em relação ao desbalanceamento de classe, a CFA superou os modelos individuais em proporções de fraude de 1% ou mais, mas teve desempenho inferior a 0,5%, sugerindo insuficiência de dados para estimar sinais de diversidade de forma confiável em esparsidade extrema.

Significância e Alegações
O artigo conclui que a CFA é mais valiosa não como um mecanismo para combinar cada classificador disponível, mas como um método de estágio de validação para selecionar um pequeno subconjunto complementar de aprendizes fortes e atribuir pesos conscientes da diversidade. Os achados sugerem que a diversidade é benéfica apenas quando o modelo adicionado contribui com "erros úteis" (forças complementares) em vez de meramente erros diferentes. O estudo alerta contra o uso automático de aumento de dados sintéticos (especificamente CTGAN) para dados de fraude de alta cardinalidade e destaca que, embora modelos individuais bem ajustados (como o LightGBM) possam ser suficientes para classificação ampla, os métodos de ensemble oferecem ganhos significativos e estatisticamente relevantes para trade-offs de precisão-recall e limiares operacionais.