Technisches Resümee: Eine vergleichende Studie von CNN-LSTM und Graph Neural Networks zur Betrugserkennung bei Kreditkarten

1. Problemstellung

Die schnelle Expansion digitaler Transaktionen hat traditionelle regelbasierte Betrugserkennungssysteme überholt, die Schwierigkeiten haben, die nichtlinearen, temporalen und relationalen Muster zu erfassen, die in modernen Finanzdaten inhärent sind. Während Deep Learning eine Lösung bietet, besteht eine signifikante Lücke in der Literatur hinsichtlich eines fairen, kontrollierten Vergleichs zwischen sequentiellen tiefen Architekturen (speziell CNN-LSTM) und graphbasierten relationalen Modellen (Graph Neural Networks, oder GNNs).

Darüber hinaus steht die Betrugserkennung vor der kritischen Herausforderung extremer Klassenimbalance (oft <0,2 % Betrugsfälle), bei der Standardgenauigkeitsmetriken irreführend sind. Bestehende Studien lassen oft Seitenvergleiche mit identischer Vorverarbeitung, Validierungsprotokollen und fairness-bewusster Optimierung vermissen, was es schwierig macht zu bestimmen, welches Paradigma für anonymisierte, merkmalsreiche Transaktionsdaten überlegen ist.

2. Methodik

Die Autoren führten eine kontrollierte, End-to-End-Vergleichsstudie unter Verwendung des öffentlichen Kaggle-Datensatzes „Credit Card Fraud Detection“ (284.807 Transaktionen, 492 betrügerische) durch. Die Studie verwendete identische Datensplits (70 % Training, 15 % Validierung, 15 % Test) sowie identische Vorverarbeitung und Evaluationsmetriken für beide Modelle.

Datenvorverarbeitung & Umgang mit Imbalance

• Normalisierung: Die Merkmale wurden mittels eines Standard Scaler standardisiert.
• Klassenimbalance: Ein Class-Weighting-Ansatz wurde während des Trainings angewendet, wobei höhere Verlustgewichte der Minderheitsklasse (Betrug) zugewiesen wurden.
• Schwellenwert-Optimierung: Die Entscheidungsschwellenwerte wurden auf dem Validierungsset optimiert, um den F1-Score zu maximieren, und gehen über den Standard-Cutoff von 0,5 hinaus, um Präzision und Recall auszubalancieren.

Modellarchitekturen

1. CNN-LSTM (Sequentiell/Hybrid):

   • Struktur: Eine 1D-Convolutional-Layer (64 Filter) zur Extraktion lokaler Merkmalskorrelationen, gefolgt von Batch Normalization, einem bidirektionalen LSTM (128 Einheiten) zur Erfassung temporaler Abhängigkeiten, Global Average Pooling, Dropout (0,3) und einem Sigmoid-Output.
   • Rationale: Entwickelt, um räumliche Merkmalsinteraktionen und sequentielle Dynamiken gleichzeitig zu erfassen, ohne explizite relationale Graphen zu benötigen.
   • Training: Adam-Optimizer, Binary Cross-Entropy Loss, 25 Epochen.

2. Graph Neural Network (GNN):

   • Struktur: Ein GraphSAGE-Framework. Aufgrund der anonymisierten Natur des Datensatzes (keine expliziten relationalen Attribute) wurde ein synthetischer Pseudo-Graph konstruiert. Karteninhaber und Händler wurden als Knoten definiert und Transaktionen als Kanten, wobei Quantil-Diskretisierung für das Merchant-Binning verwendet wurde.
   • Rationale: Entwickelt, um relationale Strukturen zu modellieren und kollusives Verhalten (Betrugsringe) zu erkennen.
   • Training: Binary Cross-Entropy mit Logits (gewichtet) und eine Variante des Focal Loss. Zwei Versionen wurden getestet: Standardgewichtung und Focal Loss mit gekappten Gewichten.

Evaluationsmetriken

Die Studie priorisierte Metriken, die gegenüber Imbalance sensitiv sind, gegenüber der reinen Genauigkeit:

• Precision, Recall, F1-Score: Zur Bewertung der Identifizierung der Betrugsklasse.
• ROC-AUC & PR-AUC: Um die Diskriminationsfähigkeit unabhängig von Schwellenwerten zu messen, wobei PR-AUC speziell für imbalancierte Datensätze hervorgehoben wurde.
• Latenz: Durchschnittliche Inferenzzeit pro Stichprobe, um die Machbarkeit einer Echtzeit-Bereitstellung zu bewerten.

3. Kernergebnisse

Die experimentellen Ergebnisse zeigten eine drastische Leistungsdisparität zwischen den beiden Architekturen auf diesem spezifischen Datensatz:

• CNN-LSTM Performance:

  • Nach der Schwellenwert-Optimierung (optimiert auf 0,9995) erreichte das Modell eine Precision von 0,9138, einen Recall von 0,7162 und einen F1-Score von 0,8030.
  • Es hielt eine hohe ROC-AUC von 0,9795.
  • Das Baseline-Modell (Schwellenwert 0,5) erreichte eine PR-AUC von 0,8124; Abschnitt 5.1 stellt jedoch fest, dass nach der Schwellenwert-Kalibrierung die Precision-Recall-Area bei 0,792 lag.
  • Das Modell demonstrierte eine niedrige Latenz, was es für die Echtzeit-Inferenz geeignet macht.

• GNN Performance:

  • Das GNN hatte erhebliche Schwierigkeiten. Abschnitt 4.3 berichtet von einer PR-AUC von lediglich 0,012 und einer ROC-AUC von 0,711 für das Baseline-Modell (BCE mit pos_weight), mit einer Precision von 0,0045 und einem Recall von 0,5135.
  • Tabelle 2 listet die GNN (BCE) PR-AUC als 0,0021 auf, was eine Diskrepanz zwischen der Textbeschreibung und den tabellierten Ergebnissen verdeutlicht.
  • Selbst mit Focal Loss gelang es dem Modell nicht, Betrug zu unterscheiden, und es sagte oft alle Transaktionen als betrügerisch voraus (Zero Precision/Recall).
  • Die Autoren führen dieses Scheitern auf den Mangel an aussagekräftigen relationalen Daten im anonymisierten Datensatz zurück; die Konstruktion des synthetischen Graphen konnte nicht genügend Signal generieren, damit das GNN lernen konnte.

4. Wichtigste Beiträge

• Kontrollierter Vergleichsrahmen: Die Arbeit bietet einen reproduzierbaren, fairen Vergleich zwischen CNN-LSTM und GNN unter Verwendung identischer Datensätze, Vorverarbeitung und Hyperparameter-Tuning-Protokollen, womit eine Lücke in der bestehenden Literatur geschlossen wird.
• Empirische Evidenz für anonymisierte Daten: Die Studie zeigt, dass GNNs zwar theoretisch leistungsstark für die relationale Betrugserkennung sind, aber auf stark anonymisierten, rein merkmalsbasierten Datensätzen, in denen explizite relationale Attribute (z. B. gemeinsame Geräte, Händlernetzwerke) fehlen, scheitern.
• Bedeutung der Schwellenwert-Kalibrierung: Die Forschung hebt hervor, dass die Schwellenwert-Optimierung entscheidend für den praktischen Einsatz ist, da sie die Precision signifikant verbessert, ohne den Recall in hochgradig schiefen Domänen zu opfern.
• Metrikenwahl: Die Arbeit plädiert für die Verwendung von PR-AUC und F1-Score gegenüber der Genauigkeit (Accuracy), um eine realistische Bewertung der Betrugserkennungsfähigkeiten zu liefern.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass für anonymisierte, merkmalsreiche Transaktionsdaten CNN-LSTM-Architekturen den GNNs überlegen sind. Das hybride Modell nutzt erfolgreich temporale Sequenzierungen und Merkmalsinteraktionen, ohne externe Graphstrukturen zu benötigen.

Die Autoren betonen, dass Dateneigenschaften die Eignung des Modells diktieren:

• CNN-LSTM ist die bevorzugte Wahl für die Echtzeit-basierte, merkmalsorientierte Erkennung in Umgebungen, in denen relationale Daten nicht verfügbar oder anonymisiert sind.
• GNNs bleiben wertvoll, sind jedoch von der Verfügbarkeit expliziter relationaler Attribute (z. B. Cross-Merchant-Netzwerke, Gerätenutzung) abhängig, um effektiv zu funktionieren.

Die Studie kommt zu dem Schluss, dass zukünftige Betrugserkennungssysteme von hybriden Ansätzen profitieren könnten, die Sequenzmodellierung mit Graph-Reasoning kombinieren, sofern die notwendigen relationalen Daten zugänglich sind. Sie unterstreicht zudem die Notwendigkeit einer methodischen Strenge in der KI-Forschung, um sicherzustellen, dass Vergleiche nicht durch inkonsistente Vorverarbeitung oder Evaluationsmetriken verfälscht werden.