Riepilogo Tecnico: Uno Studio Comparativo tra CNN-LSTM e Reti Neurali a Grafo per il Rilevamento di Frodi con Carte di Credito

1. Definizione del Problema

La rapida espansione delle transazioni digitali ha superato i sistemi tradizionali di rilevamento delle frodi basati su regole, che faticano a catturare i pattern non lineari, temporali e relazionali intrinseci nei moderni dati finanziari. Sebbene il deep learning offra una soluzione, esiste un divario significativo nella letteratura riguardante un confronto equo e controllato tra architetture profonde sequenziali (specificamente CNN-LSTM) e modelli relazionali basati su grafi (Graph Neural Networks, o GNN).

Inoltre, il rilevamento delle frodi affronta la sfida critica dell'estremo sbilanciamento delle classi (spesso <0,2% di casi di frode), dove le metriche di accuratezza standard risultano fuorvianti. Gli studi esistenti spesso mancano di confronti affiancati che utilizzino lo stesso pre-processing, protocolli di validazione e ottimizzazione consapevole dell'equità (fairness-aware), rendendo difficile determinare quale paradigma sia superiore per dati transazionali anonimizzati e ricchi di feature.

2. Metodologia

Gli autori hanno condotto uno studio comparativo controllato ed end-to-end utilizzando il dataset pubblico Kaggle "Credit Card Fraud Detection" (284.077 transazioni, 492 frodi). Lo studio ha impiegato divisioni dei dati identiche (70% training, 15% validazione, 15% test), pre-processing e metriche di valutazione per entrambi i modelli.

Pre-processing dei Dati e Gestione dello Sbilanciamento

• Normalizzazione: Le feature sono state standardizzate utilizzando uno Standard Scaler.
• Sbilanciamento delle Classi: Un approccio di pesatura delle classi (class-weighting) è stato applicato durante l'addestramento, assegnando pesi di perdita più elevati alla classe minoritaria (frode).
• Ottimizzazione della Soglia: Le soglie decisionali sono state ottimizzate sul set di validazione per massimizzare l'F1-score, andando oltre il default di 0,5 per bilanciare precisione e recall.

Architetture dei Modelli

1. CNN-LSTM (Sequenziale/Ibrido):

   • Struttura: Un livello Convoluzionale 1D (64 filtri) per estrarre le correlazioni locali delle feature, seguito da Batch Normalization, un Bidirectional LSTM (128 unità) per catturare le dipendenze temporali, Global Average Pooling, Dropout (0,3) e un output Sigmoid.
   • Razionale: Progettato per catturare simultaneamente le interazioni spaziali delle feature e le dinamiche sequenziali senza richiedere grafi relazionali espliciti.
   • Addestramento: Ottimizzatore Adam, perdita binary cross-entropy, 25 epoche.

2. Rete Neurale a Grafo (GNN):

   • Struttura: Un framework GraphSAGE. A causa della natura anonimizzata del dataset (assenza di attributi relazionali espliciti), è stato costruito un grafo pseudo-sintetico. I titolari di carte e i commercianti sono stati inferiti come nodi, e le transazioni come archi, utilizzando la discretizzazione per quantili per il raggruppamento (binning) dei commercianti.
   • Razionale: Progettato per modellare strutture relazionali e rilevare comportamenti collusivi (anelli di frode).
   • Addestramento: Binary cross-entropy con logit (pesata) e una variante di Focal Loss. Sono state testate due versioni: pesatura standard e Focal Loss con pesi tagliati (clipped weights).

Metriche di Valutazione

Lo studio ha dato priorità a metriche sensibili allo sbilanciamento rispetto alla semplice accuratezza:

• Precision, Recall, F1-Score: Per valutare l'identificazione della classe frode.
• ROC-AUC & PR-AUC: Per misurare la capacità di discriminazione indipendente dalle soglie, con il PR-AUC evidenziato specificamente per dataset sbilanciati.
• Latenza: Tempo medio di inferenza per campione per valutare la fattibilità del deployment in tempo reale.

3. Risultati Chiave

I risultati sperimentali hanno rivelato una netta disparità di prestazioni tra le due architetture su questo specifico dataset:

• Prestazioni CNN-LSTM:

  • Dopo l'ottimizzazione della soglia (ottimizzata a 0,9995), il modello ha raggiunto una Precision di 0,9138, una Recall di 0,7162 e un F1-score di 0,8030.
  • Ha mantenuto un alto ROC-AUC di 0,9795.
  • Il modello baseline (soglia 0,5) ha ottenuto un PR-AUC di 0,8124; tuttavia, la sezione 5.1 nota che dopo la calibrazione della soglia, l'area precision-recall era 0,792.
  • Il modello ha dimostrato una bassa latenza, rendendolo adatto all'inferenza in tempo reale.

• Prestazioni GNN:

  • La GNN ha faticato significativamente. La sezione 4.3 riporta un PR-AUC di appena 0,012 e un ROC-AUC di 0,711 per il modello baseline (BCE con pos_weight), con una precisione di 0,0045 e una recall di 0,5135.
  • La Tabella 2 elenca il PR-AUC della GNN (BCE) come 0,0021, evidenziando una discrepanza tra la descrizione testuale e i risultati in tabella.
  • Anche con la Focal Loss, il modello non è riuscito a distinguere le frodi, prevedendo spesso tutte le transazioni come fraudolente (Precision/Recall pari a zero).
  • Gli autori attribuiscono questo fallimento alla mancanza di dati relazionali significativi nel dataset anonimizzato; la costruzione del grafo sintetico non è riuscita a generare un segnale sufficiente affinché la GNN potesse apprendere.

4. Contributi Chiave

• Framework Comparativo Controllato: Il documento fornisce un confronto riproducibile e imparziale tra CNN-LSTM e GNN utilizzando dataset, pre-processing e protocolli di ottimazione degli iperparametri identici, colmando una lacuna nella letteratura esistente.
• Evidenza Empirica su Dati Anonimizzati: Lo studio dimostra che, sebbene le GNN siano teoricamente potenti per il rilevamento delle frodi relazionali, esse falliscono nel generalizzare su dataset basati solo su feature e pesantemente anonimizzati, dove mancano attributi relazionali espliciti (es. dispositivi condivisi, reti di commercianti).
• Importanza della Calibrazione della Soglia: La ricerca evidenzia che la calibrazione della soglia è critica per il deployment pratico, migliorando significativamente la precisione senza sacrificare la recall in domini altamente asimmetrici.
• Selezione delle Metriche: Il paper sostiene l'uso di PR-AUC e F1-score rispetto all'accuratezza per fornire una valutazione realistica delle capacità di rilevamento delle frodi.

5. Significato e Rivendicazioni

Il documento sostiene che, per dati transazionali anonimizzati e ricchi di feature, le architetture CNN-LSTM sono superiori alle GNN. Il modello ibrido sfrutta con successo le sequenze temporali e le interazioni tra le feature senza richiedere strutture di grafo esterne.

Gli autori sottolineano che le caratteristiche dei dati dettano la l'idoneità del modello:

• CNN-LSTM è la scelta preferibile per il rilevamento in tempo reale basato su feature in ambienti in cui i dati relazionali non sono disponibili o sono anonimizzati.
• Le GNN rimangono preziose ma sono vincolate alla disponibilità di attributi relazionali espliciti (es. reti tra commercianti, condivisione di dispositivi) per funzionare efficacemente.

Lo studio conclude che i futuri sistemi di rilevamento delle frodi potrebbero beneficiare di approcci ibridi che combinano la modellazione sequenziale con il ragionamento su grafo, a condizione che i dati relazionali necessari siano accessibili. Sottolinea inoltre la necessità di rigore metodologico nella ricerca sull'IA, assicurando che i confronti non siano confusi da un pre-processing o da metriche di valutazione inconsistenti.