Validation-Stage Combinatorial Fusion Analysis for Imbalanced Credit-Card Fraud Detection

Sintesi Tecnica: Analisi della Fusione Combinatoria in Fase di Validazione per il Rilevamento di Frodi con Carte di Credito in Presenza di Sbilanciamento

Definizione del Problema
Il rilevamento delle frodi con carte di credito rappresenta un problema di apprendimento automatico complesso, caratterizzato da un estremo sbilanciamento delle classi, costi elevati degli errori (sia falsi positivi che falsi negativi) e pattern di frode non stazionari. Sebbene i modelli robusti basati su alberi di potenziamento del gradiente (es. XGBoost, LightGBM) fungano già da basi solide per i dati transazionali strutturati, il valore marginale di ulteriori metodi di ensemble o di fusione è spesso incerto. Questo studio investiga se l'Analisi della Fusione Combinatoria (CFA) — un metodo che ricerca tra sottoinsiemi di modelli e regole di fusione dei punteggi di rango — possa fornire guadagni di prestazione affidabili rispetto ai migliori singoli modelli e alle tecniche di ensemble standard (soft voting, stacking) sul benchmark IEEE-CIS Fraud Detection.

Metodologia
Lo studio impiega un protocollo sperimentale rigoroso e privo di leakage, con una suddivisione 60/20/20 tra training, validazione e test.

• Dati e Pre-elaborazione: Il dataset comprende 590.540 transazioni anonimizzate con tipi di feature misti. La pre-elaborazione (gestione dei valori mancanti, codifica delle etichette, scalatura) è applicata esclusivamente sul set di addestramento.
• Classificatori Base: Sette modelli distinti fungono da libreria di candidati: KNN, LDA, Regressione Logistica, Random Forest, XGBoost, LightGBM e TabNet. I modelli lineari e KNN utilizzano feature ridotte tramite PCA, mentre gli ensemble di alberi e TabNet utilizzano l'intero set di feature.
• Analisi della Fusione Combinatoria (CFA):
  • Caratteristica del Punteggio di Rango (RSC): Ogni modello è caratterizzato dalla sua funzione RSC, che mappa le posizioni di rango normalizzate in punteggi.
  • Misurazione della Diversità: La diversità tra i modelli è quantificata come la distanza media L1 tra le loro funzioni RSC.
  • Spazio di Ricerca: Il framework valuta 120 sottoinsiemi di modelli (derivati dai 7 apprendisti base) combinati con quattro regole di fusione: Punteggio Medio (Average Score), Punteggio Pesato (Weighted Score, pesato sulla diversità), Rango Medio (Average Rank) e Rango Pesato (Weighted Rank). Ciò risulta in 480 configurazioni di fusione.
  • Strategia di Selezione: Il sottoinsieme ottimale e la regola di fusione vengono selezionati in base alle metriche di prestazione (AUC-ROC, AUPRC, F1) sul set di validazione. Il set di test viene utilizzato solo per la segnalazione finale.
• Esperimenti Ausiliari: Lo studio include un esperimento di aumentazione tramite CTGAN per testare la generazione sintetica di frodi e uno studio di ablazione sul rapporto di sbilanciamento delle classi.

Contributi Chiave

1. Valutazione Empirica della CFA: Il documento fornisce una valutazione rigorosa della CFA sul benchmark IEEE-CIS, dimostrandone l'applicazione sia con modelli ad alberi tradizionali che con apprendisti tabulari profondi (TabNet).
2. Selezione del Sottoinsieme vs. Libreria Completa: Stabilisce che l'ensemble ottimale è un sottoinsieme compatto di forti modelli basati su alberi (Random Forest, XGBoost, LightGBM) piuttosto che l'intera libreria di modelli o l'insieme di modelli più diversificati.
3. Rigore Statistico: Lo studio utilizza intervalli di confidenza bootstrap (1.000 campionamenti) per distinguere i guadagni reali dal rumore di ricerca, confermando che i miglioramenti rispetto al miglior singolo modello sono statisticamente significativi.
4. Risultato Negativo sull'Aumentazione: Riporta un risultato negativo limitato riguardante l'aumentazione CTGAN, mostrando che la generazione sintetica di frodi degrada le prestazioni in questo contesto ad alta dimensionalità e di tipo misto.

Risultati

• Prestazioni: La migliore configurazione, DEF WtScore (una fusione di punteggio pesata sulla diversità di Random Forest, XGBoost e LightGBM), ha ottenuto:
  • AUC-ROC: 0.9405 (rispetto a 0.9343 per il miglior singolo modello, LightGBM).
  • AUPRC: 0.6699 (rispetto a 0.6480 per LightGBM).
  • F1: 0.6373 (rispetto a 0.6126 per il miglior singolo modello, XGBoost).
• Significatività Statistica: Gli intervalli di confidenza bootstrap per le differenze di prestazione escludono lo zero per tutte e tre le metriche, confermando che i guadagni sono affidabili.
• Confronto con i Baseline:
  • La CFA eguaglia il soft voting per l'AUC-ROC, ma migliora l'AUPRC e l'F1.
  • Lo stacking ha performato peggio del miglior singolo modello, probabilmente a causa dell'alta correlazione e della forza dei modelli base.
  • La fusione basata sul punteggio (score-based) ha superato la fusione basata sul rango (rank-based); gli autori osservano che sostituire i punteggi informativi con i ranghi ha rimosso una separazione utile in questo contesto.
• Metriche Operative: A punti operativi fissi (es. 50% di recall), l'ensemble CFA ha mantenuto una precisione più elevata rispetto a LightGBM, indicando un'utilità pratica per i team antifrode che gestiscono i budget degli avvisi.
• CTGAN e Sbilanciamento: L'aumentazione CTGAN ha ridotto le prestazioni in tutti i modelli e nell'ensemble CFA. Riguardo allo sbilanciamento delle classi, la CFA ha superato i singoli modelli con rapporti di frode dell'1% o superiori, ma è stata inferiore a questi con uno 0,5%, suggerendo un'insufficienza di dati per stimare in modo affidabile i segnali di diversità a livelli di estrema scarsità.

Significato e Rivendicazioni
Il documento conclude che la CFA è più preziosa non come meccanismo per combinare ogni classificatore disponibile, ma come metodo in fase di validazione per selezionare un piccolo sottoinsieme complementare di forti apprendisti e assegnare pesi consapevoli della diversità. Le conclusioni suggeriscono che la diversità è benefica solo quando il modello aggiunto contribuisce con "errori utili" (punti di forza complementari) piuttosto che semplicemente con errori differenti. Lo studio mette in guardia contro l'uso automatico dell'aumentazione di dati sintetici (specificamente CTGAN) per dati di frode ad alta cardinalità e sottolinea che, sebbene modelli singoli ben calibrati (come LightGBM) possano bastare per un ranking generale, i metodi di ensemble offrono guadagni significativi e statisticamente rilevanti per i trade-off tra precisione e recall e per le soglie operative.