Normalisation and Initialisation Strategies for Graph Neural Networks in Blockchain Anomaly Detection

Dit artikel biedt praktische, architectuurspecifieke richtlijnen voor het normaliseren en initialiseren van Graph Neural Networks om de prestaties van fraudeopsporing op de Elliptic Bitcoin-dataset te optimaliseren.

De kern

Stel je voor dat je een enorme, chaotische markt hebt waar miljoenen mensen handelen. De meeste mensen zijn eerlijk, maar een heel klein groepje probeert het geld van anderen te stelen of wit te wassen. Je taak is om die daders te vinden.

In de wereld van blockchain (zoals Bitcoin) zijn deze transacties geen losse lijsten, maar een enorm web van connecties. Een verdachte transactie is vaak niet alleen verdacht omdat wat er gebeurt, maar omdat met wie het gebeurt.

Deze paper gaat over het bouwen van een slimme computer (een "Graph Neural Network" of GNN) die dit web kan doorgronden om oplichters te vinden. Maar de auteurs ontdekten iets belangrijks: het maakt niet alleen uit welke computer je bouwt, maar ook hoe je hem start en hoe je hem kalibreert.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Een ongelijk speelveld

Het grootste probleem op deze markt is dat er 98% eerlijke mensen zijn en slechts 2% oplichters.

• De Analogie: Stel je voor dat je in een stadion van 100.000 mensen staat en je moet één persoon vinden die een rode hoed draagt. Als je gewoon kijkt, zie je alleen de zee van blauwe hoeden. Een standaard computerprogramma raakt hierdoor in de war en denkt: "Ik zie alleen maar eerlijke mensen, dus ik zal maar zeggen dat iedereen eerlijk is." Dat is geen goede oplichter-vanger.

2. De Oplossing: Drie soorten "Detectives"

De onderzoekers testten drie verschillende soorten slimme algoritmen (architecturen) om dit web te analyseren:

• GCN: De traditionele detective die naar iedereen even goed kijkt.
• GAT: De detective die let op wie belangrijk is (hij geeft meer gewicht aan de connecties die er echt toe doen).
• GraphSAGE: De detective die snel werkt door steekproeven te nemen van de omgeving.

3. De Geheime Ingrediënten: Starten en Kalibreren

De paper zegt dat het niet genoeg is om de detective te kiezen. Je moet hem ook goed voorbereiden. De auteurs testten twee dingen:

A. De Startpositie (Initialisatie)

Stel je voor dat je een nieuwe speler in een voetbalteam aanneemt.

• Slecht startpunt: Je geeft hem een bal die te zwaar is of te licht. Hij valt meteen om of kan niet schieten.
• Goed startpunt (Xavier): Je geeft hem de perfecte balgrootte. Hij kan direct spelen.
• Het resultaat:
  • Voor GraphSAGE (de snelle detective) werkt het perfect om hem gewoon met de standaard "goede bal" (Xavier) te starten. Hij wordt hierdoor veel beter.
  • Voor GCN (de traditionele detective) maakt het niet zoveel uit; hij presteert al goed zonder veel aanpassingen.

B. De Kalibratie (Normalisatie)

Nu de detective aan het werk is, moet je ervoor zorgen dat hij niet in paniek raakt als er ineens 1000 mensen tegelijk iets zeggen (overbelasting) of als hij alleen maar naar één persoon luistert (vergeten).

• De Analogie: Stel je voor dat de detective een koptelefoon draagt.
  • BatchNorm (oude methode): De koptelefoon past het volume aan op basis van de gemiddelde geluidsdruk in de hele stad. Maar in een web van transacties is dat niet eerlijk; sommige straten zijn lawaaierig, andere stil.
  • GraphNorm (nieuwe methode): De koptelefoon luistert naar het hele web en past het volume aan zodat de detective niet doof wordt van de drukte, maar ook niet de fluisterende waarschuwingen mist.
• Het resultaat:
  • Voor GAT (de detective die let op belangrijkheid) is deze speciale koptelefoon (GraphNorm) een wondermiddel. In combinatie met de goede start (Xavier) wordt hij extreem goed in het vinden van oplichters.
  • Voor GraphSAGE werkt deze koptelefoon juist verwarrend; hij doet het beter zonder.
  • Voor GCN maakt het niet veel uit.

4. De Grote Leerervaring

De belangrijkste boodschap van dit onderzoek is: Er is geen "one-size-fits-all" oplossing.

• Als je GraphSAGE gebruikt: Geef hem een goede start, maar laat de koptelefoon uit.
• Als je GAT gebruikt: Geef hem een goede start én de speciale koptelefoon.
• Als je GCN gebruikt: Houd het simpel, de standaardinstellingen werken vaak het beste.

Waarom is dit belangrijk?

In de echte wereld van banken en crypto wil je niet dat je computer "hallucineert" of dat hij te veel onschuldige mensen verdenkt (veel valse alarmen). Door de juiste start en de juiste kalibratie te kiezen voor het specifieke type detective dat je gebruikt, kun je de oplichters veel beter vinden zonder de eerlijke burgers lastig te vallen.

Kort samengevat: Het bouwen van een slimme anti-fraude computer is als het samenstellen van een racewagen. Je kunt de beste motor hebben (het algoritme), maar als je de banden verkeerd opblaast (normalisatie) of de brandstof verkeerd mengt (initialisatie), win je de race niet. De auteurs hebben uitgezocht welke instelling voor welk type wagen het beste werkt.

Technische samenvatting

Probleemstelling

Graph Neural Networks (GNN's) bieden een veelbelovende aanpak voor het detecteren van financiële fraude, zoals witwassen (AML), door zowel node-kenmerken als de topologie van transactienetwerken te leren. Echter, de effectiviteit van deze modellen op real-world benchmarks, zoals de Elliptic Bitcoin-dataset, hangt kritiek af van trainingspraktijken die vaak worden verwaarloosd: gewichtinitialisatie en normalisatie.

Bestaande methoden (zoals BatchNorm of LayerNorm) gaan vaak uit van onafhankelijke steekproeven, wat niet geldt voor graafdata. Bovendien is het onduidelijk hoe verschillende initialisatiestrategieën (zoals Xavier of Kaiming) en graafspecifieke normalisatiemethoden (zoals GraphNorm) presteren onder de specifieke omstandigheden van transactienetwerken, die gekenmerkt worden door:

• Ernstige class-imbalance (slechts 2% van de gelabelde transacties is illegaal).
• Heterofiele patronen en schuine graadverdelingen.
• Temporele drift.

De auteurs stellen de vraag of er universele beste praktijken zijn, of dat de optimale strategie afhankelijk is van de specifieke GNN-architectuur.

Methodologie

De auteurs hebben een systematische ablatiestudie uitgevoerd om de invloed van initialisatie en normalisatie te analyseren.

1. Dataset en Graafconstructie:

   • Gebruik van de Elliptic Bitcoin Dataset (203.769 knopen, 234.355 gerichte randen).
   • De gerichte transactienetwerken zijn omgezet naar ongerichte grafen voor symmetrische berichtoverdracht.
   • Temporele splitsing: Om data-lekkage te voorkomen, zijn de data strikt op tijd gesplitst (29 tijdstappen voor training, 10 voor validatie, 10 voor testen). Dit simuleert een realistische deploy-scenario waarbij alleen op toekomstige transacties wordt voorspeld.

2. Architecturen:
   Drie veelgebruikte GNN-architecturen zijn geëvalueerd:

   • GCN (Graph Convolutional Network): Aggregeert buren via genormaliseerde adjacency-matrices.
   • GAT (Graph Attention Network): Gebruikt een attention-mechanisme om verschillende gewichten toe te kennen aan buren.
   • GraphSAGE: Een inductieve methode die buren samplet en aggregeert (via mean, max-pooling, etc.), geschikt voor evoluerende netwerken.

3. Experimenteel Ontwerp:

   • Variabelen: De auteurs hebben gevarieerd in:
     • Initialisatie: Xavier (standaard) vs. Kaiming/He (niet expliciet als hoofdvariatie, maar Xavier is de focus).
     • Normalisatie: Geen (Baseline) vs. GraphNorm (normaliseert op grafniveau in plaats van batchniveau om over-smoothing te voorkomen).
   • Hyperparameter-optimalisatie: Gebruik van Optuna (met TPE en ASHA) over 100 trials om de beste hyperparameters (learning rate, hidden dimensies, dropout, aantal lagen) te vinden voor elke combinatie.
   • Evaluatiemetrics: Vanwege de extreme class-imbalance is AUPRC (Area Under the Precision-Recall Curve) de primaire metric, aangevuld met AUC-ROC. Er is gebruikgemaakt van herhaalde subsampling (100 runs) voor robuuste schattingen.

Belangrijkste Bijdragen

1. Systematische Analyse: Een gecontroleerde ablatie van initialisatie en GraphNorm op de Elliptic-dataset voor drie verschillende GNN-architecturen.
2. Architectuur-afhankelijke Inzichten: Het paper toont aan dat er geen "one-size-fits-all" strategie bestaat. De optimale combinatie van initialisatie en normalisatie varieert sterk per modeltype.
3. Reproduceerbaar Framework: De auteurs hebben een framework vrijgegeven met temporale splitsen, geseede runs en volledige ablatieresultaten, wat bijdraagt aan de reproduceerbaarheid in AML-onderzoek.

Resultaten

De experimenten leverden verrassende en architectuur-specifieke bevindingen op:

• GCN:

  • Toont beperkte gevoeligheid voor wijzigingen in initialisatie of normalisatie.
  • De baseline-configuratie (standaard initialisatie, geen GraphNorm) presteerde het beste met een AUPRC van 0.5993.
  • Het toevoegen van GraphNorm of Xavier-initialisatie leidde zelfs tot een lichte daling in AUPRC.

• GAT (Graph Attention Network):

  • Profiteert het meest van een combinatie van GraphNorm en Xavier-initialisatie.
  • Deze combinatie leverde de grootste verbetering op: +0.055 AUPRC ten opzichte van de baseline (totale AUPRC: 0.6568).
  • Dit suggereert dat grafniveau-normalisatie helpt bij het stabiliseren van de attention-mechanismen in een schuine graadverdeling.

• GraphSAGE:

  • Bereikt zijn piekprestatie met alleen Xavier-initialisatie.
  • Dit resulteerde in de hoogste absolute prestatie van alle geteste modellen: AUPRC 0.6678 (een verbetering van +0.013 ten opzichte van de baseline).
  • Het toevoegen van GraphNorm aan Xavier-initialisatie had een negatief effect, wat suggereert dat grafniveau-normalisatie de neighbourhood-aggregatie van GraphSAGE kan verstoren.

Vergelijking met state-of-the-art:
Het beste model (GraphSAGE met Xavier) overtrof eerdere benchmarks op de Elliptic-dataset (bijv. Deprez et al. met 0.6392 AUPRC), wat aantoont dat geoptimaliseerde trainingspraktijken significante winst kunnen opleveren zonder de architectuur zelf te wijzigen.

Betekenis en Conclusie

Dit onderzoek benadrukt dat de keuze voor trainingsstrategieën (initialisatie en normalisatie) niet losstaat van de inductieve bias van het gekozen GNN-model.

• Praktische Richtlijnen: Voor AML-pipelines moeten practitioners niet aannemen dat GraphNorm of specifieke initialisaties universeel werken.
  • Gebruik GraphSAGE met Xavier voor de beste algehele prestatie.
  • Gebruik GAT met GraphNorm + Xavier als attention-mechanismen nodig zijn.
  • Houd GCN bij de standaardconfiguratie.
• Impact: Deze inzichten bieden een praktische leidraad voor het implementeren van stabiele en betrouwbare GNN-modellen in anti-witwas-systemen, waarbij rekening wordt gehouden met de unieke uitdagingen van blockchain-data (imbalance, temporaliteit en graafstructuur).

De auteurs merken op dat toekomstig werk zich moet richten op bredere architecturen (zoals Graph Transformers) en de evaluatie op de nieuwere Elliptic2-dataset om de generaliseerbaarheid naar complexere, operationele systemen te testen.