When Graph Structure Becomes a Liability: A Critical Re-Evaluation of Graph Neural Networks for Bitcoin Fraud Detection under Temporal Distribution Shift

1. Probleemstelling

Het paper daagt de wijdverspreide consensus uit dat Graph Neural Networks (GNN's), zoals GCN, GraphSAGE en GAT, superieur zijn aan traditionele, op kenmerken gebaseerde modellen (zoals Random Forest) voor het detecteren van Bitcoin-fraude op het Elliptic Dataset.

De auteurs stellen dat de gepubliceerde resultaten in eerdere studies (die vaak F1-scores van 0.70–0.77 rapporteren) het gevolg zijn van evaluatiefouten en data-lekkage, in plaats van echte prestaties van de graf-architecturen. Specifiek worden twee kritieke methodologische fouten geïdentificeerd:

1. Transductieve training: Eerdere studies trainden modellen waarbij het volledige graf (inclusief test-data en randen) zichtbaar was tijdens het trainingsproces. Dit laat de model "kijken" naar de test-periode, wat de prestaties kunstmatig opblaast.
2. Aggregatie van metrics: Het gebruik van één geaggregeerde F1-score over de hele testperiode maskeert een drastische prestatiedaling (collapse) wanneer de fraude-ratio in de tijd verschuift (van ~11% naar <1%).

Het paper onderzoekt of GNN's nog steeds werken onder een strikt inductief protocol (waarbij het model tijdens training nooit test-data ziet) en of ze de prioritaire verschuiving (distribution shift) in de fraude-ratio kunnen hanteren.

2. Methodologie

De auteurs hebben een strikt gecontroleerde experimentele opzet ontwikkeld om de invloed van het evaluatieprotocol te isoleren van de architectuur zelf.

• Dataset: Het Elliptic Bitcoin Dataset (46.564 gelabelde transacties over 49 tijdstappen).
  • Training: Tijdstappen 1–34.
  • Test: Tijdstappen 35–49.
  • Karakteristiek: De fraude-ratio daalt tijdens de testfase drastisch (een "prior shift" van 39x).
• Strikt Inductief Protocol:
  • De encoder wordt uitsluitend getraind op het subgraf van tijdstap ≤34.
  • Tijdens het trainen worden geen randen of kenmerken van test-periode-nodes gebruikt voor berichtuitwisseling (message passing) of batch-normalisatie.
  • Inference gebeurt op het volledige graf, maar het model heeft de structuur van de test-periode nooit gezien tijdens het leren.
• Vergelijkende Baselines:
  • GNN's: GCN, GraphSAGE, GAT.
  • Niet-graf baselines: MLP (Multi-Layer Perceptron) en Random Forest op de 165 ruwe kenmerken.
  • Hybride modellen: Combinaties van GNN-embeddings en ruwe kenmerken.
• Statistische Robuustheid: Alle experimenten worden uitgevoerd met 10 onafhankelijke seeds en per-tijdstap rapportage om variabiliteit en tijdsafhankelijke dalingen bloot te leggen.
• Ablatie-studies:
  • Transductief vs. Inductief: Zelfde model, alleen verschil in zichtbaarheid van test-data tijdens training.
  • Randen-ablatie: Vergelijking tussen de echte transactie-graf, willekeurig geschudde randen, en geen randen (MLP).

3. Belangrijkste Resultaten

A. Omkering van de Ranking (GNN vs. Traditioneel)

Onder het strikt inductieve protocol presteert een Random Forest op ruwe kenmerken (F1 = 0.821) significant beter dan alle geteste GNN's.

• GraphSAGE (de sterkste graf-encoder): F1 = 0.689.
• MLP (zonder graf): F1 = 0.549.
• Conclusie: De eerdere ranking (waarbij GNN's beter waren dan MLP's) was een artefact van data-lekkage. Zodra de lekkage wordt verwijderd, wint een simpele Random Forest op ruwe data elke graf-architectuur.

B. Het Effect van Data-Lekkage (Transductief vs. Inductief)

Een gepaard experiment toont aan dat de keuze van het protocol de grootste impact heeft:

• GraphSAGE getraind transductief (met lekkage): F1 = 0.294.
• GraphSAGE getraind inductief (zonder lekkage): F1 = 0.689.
• Verschil: Een enorme kloof van 39.5 punten (Cohen's d = 15.8). Dit bewijst dat de hoge scores in eerdere studies bijna volledig toe te schrijven waren aan het feit dat het model tijdens training test-data zag, niet aan de kracht van de graf-structuur.

C. Graf-structuur is een Last, geen Voordel

Een van de meest verrassende bevindingen is dat de echte graf-structuur op dit dataset schadelijk is:

• Willekeurige randen (random shuffled edges) presteren beter dan de echte transactie-graf (F1 +0.089).
• Geen randen (MLP) presteert ook beter dan de echte graf (F1 +0.025).
• Reden: De Bitcoin-graf is extreem spaarzaam (gemiddelde graad 2.3) en frauduleuze nodes zijn vaak omringd door legale nodes. Door berichtuitwisseling (message passing) worden de representaties van fraude-nodes "weggetrokken" naar het manifold van legale transacties, wat de detectie ondermijnt, vooral bij een verschuiving in de prior.

D. Falen van Hybride Modellen

Eerdere versies van dit werk suggereerden dat het combineren van GNN-embeddings met ruwe kenmerken (Hybride Random Forest) een F1 van 0.807 opleverde.

• Onder het strikt inductieve protocol daalt deze score naar 0.699.
• De bijdrage van de graf-structuur is statistisch significant maar praktisch verwaarloosbaar (+0.018 F1 ten opzichte van een MLP-hybride) en wordt verpletterd door de superioriteit van de ruwe kenmerken alleen (+0.124 F1 verschil).

E. Tijdsafhankelijke Daling (Temporal Collapse)

Alle modellen (inclusief de beste Random Forest) vertonen een totale ineenstorting na tijdstap 42, wanneer de fraude-ratio daalt van ~11% naar <1%.

• Dit is een prior shift probleem, geen kenmerk-drift probleem.
• Kalibratietechnieken (zoals temperature scaling) lossen dit niet op, omdat het probleem ligt in de drempelwaarde, niet in de waarschijnlijkheidsschatting.

4. Kernbijdragen

1. Protocol Audit: Het paper toont aan dat de "state-of-the-art" resultaten op het Elliptic Dataset artefacten zijn van transductieve evaluatie en niet generaliseren naar een realistische, inductieve deployment.
2. Empirische Omkering: Het bewijst dat op dit specifieke dataset een simpele Random Forest op ruwe data superieur is aan complexe GNN's, en dat graf-structuur zelfs schadelijk kan zijn.
3. Grootste Lekkage-impact: Het kwantificeert dat de keuze voor transductieve training (39.5 punten verschil) veel belangrijker is dan de keuze van de architectuur.
4. Open Science: De auteurs publiceren code, checkpoints en het strikt inductieve protocol om toekomstige resultaten op een "lekkage-vrije" basis te kunnen vergelijken.

5. Betekenis en Conclusie

De conclusie van het paper is dat graf-structuren op het Elliptic Bitcoin Dataset onder strikte inductieve voorwaarden een last (liability) zijn in plaats van een voordeel.

• Voor de praktijk: Voor Bitcoin-fraudedetectie op dit type data is het beter om te beginnen met een krachtige tree-ensemble (Random Forest/XGBoost) op ruwe kenmerken. GNN's moeten alleen worden ingezet als ze deze baseline kunnen verslaan onder een protocol dat test-data volledig uitsluit.
• Voor de wetenschap: Het paper waarschuwt voor het gebruik van aggregatie-metrics en transductieve training als proxy voor generalisatie in tijdsafhankelijke fraudedatasets. Het benadrukt dat "inductief" vaak slechts een label is, terwijl de implementatie vaak nog steeds data-lekkage bevat.
• Algemene les: Graf-lering is niet per definitie superieur; de effectiviteit hangt af van de homofiele structuur van de graf en de stabiliteit van de label-verdeling. Op spaarzame, niet-homofiele grafen met extreme prior-verschuivingen (zoals Bitcoin-fraude) kan de graf-structuur juist de prestaties verstoren.