Multi-Scale Adaptive Neighborhood Awareness Transformer For Graph Fraud Detection

Deze paper introduceert MANDATE, een transformer-gebaseerde methode voor graf-fraudedetectie die de beperkingen van bestaande GNN-modellen overwint door middel van multi-schaal positiële codering en aangepaste inbeddings voor homofiele en heterofiele connecties, wat resulteert in superieure prestaties op drie fraudedetectiedatasets.

De kern

Stel je voor dat je een grote, drukke stad bent waar iedereen elkaar kent. In deze stad zijn er eerlijke burgers, maar ook een paar oplichters die zich verstoppen tussen de mensen. Je taak is om die oplichters te vinden.

Vroeger gebruikten computers (specifiek "Graph Neural Networks" of GNN's) een simpele regel om oplichters te vinden: "Vrienden van vrienden zijn ook vrienden." Als je buurman eerlijk is, dan is zijn buurman waarschijnlijk ook eerlijk. Dit werkt goed in een rustige wijk, maar in de echte wereld van oplichting werkt het niet zo. Oplichters doen vaak net alsof ze vrienden zijn met eerlijke mensen, of ze vormen groepen met andere oplichters die totaal anders zijn dan de rest. De oude computers werden hierdoor in de war gebracht.

De auteurs van dit papier hebben een nieuw, slimmer systeem bedacht genaamd MANDATE. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Bril" van de oude computers

De oude computers keken alleen naar de directe buren. Ze dachten: "Als ik iemand niet ken, ken ik hem ook niet." Ze misten het grote plaatje. Ze zagen niet dat iemand die 10 straten verderop woont, misschien wel een belangrijke aanwijzing is. Ook dachten ze dat iedereen in een groepje hetzelfde is, wat niet waar is bij oplichting.

2. De oplossing: MANDATE (De slimme detective)

MANDATE is als een super-detectief die niet alleen naar de directe buren kijkt, maar naar het gehele stadsplan.

A. De "Meerdere Schalen" (Multi-scale)

Stel je voor dat je een kaart van de stad hebt.

• Oude methode: Je kijkt alleen naar de mensen die op hetzelfde blok wonen (1 straatje verder).
• MANDATE: Deze detective kijkt naar mensen op 1 straatje, 3 straten, 5 straten en zelfs 10 straten verder weg.
• De analogie: Het is alsof je een drone hebt die niet alleen naar je eigen tuin kijkt, maar ook naar de hele wijk, de stad en zelfs de regio. Zo zie je patronen die je op grondniveau nooit zou zien.

B. De "Twee Soorten Vriendschappen" (Homofiel vs. Heterofiel)

In deze stad zijn twee soorten relaties:

1. De "Kloon-relatie" (Homofiel): Mensen die op elkaar lijken en hetzelfde doen (bijv. twee eerlijke buren die samen koffie drinken).
2. De "Gegenspel-relatie" (Heterofiel): Mensen die totaal verschillend zijn, maar toch contact hebben (bijv. een eerlijke burger die per ongeluk in gesprek komt met een oplichter).

• Het probleem: Oude computers behandelden deze twee situaties precies hetzelfde. Ze dachten: "Als ze praten, moeten ze hetzelfde zijn." Dat is gevaarlijk bij oplichters!
• De oplossing van MANDATE: De detective heeft twee verschillende brillen.
  • Voor de "Kloon-relaties" kijkt hij naar de overeenkomsten.
  • Voor de "Gegenspel-relaties" kijkt hij naar de verschillen. Hij denkt: "Hé, deze twee lijken totaal niet op elkaar, maar ze praten wel. Dat is verdacht!"
    Dit helpt hem om de oplichters te vinden die zich verstoppen tussen eerlijke mensen.

C. De "Samenwerking" (Multi-relation Fusion)

Soms heeft een stad verschillende soorten wegen: fietspaden, autowegen en voetpaden. Een oplichter kan een fietspad gebruiken om te ontsnappen, terwijl een eerlijke burger de autoweg neemt.

• MANDATE kijkt niet naar één type weg, maar combineert alle wegen tegelijk. Hij zegt: "Laten we kijken hoe de fietspaden, autowegen en voetpaden samenwerken om te zien wie er verdacht gedrag vertoont."

3. Het resultaat

In hun tests hebben ze MANDATE getest op drie grote "steden" (datasets):

1. YelpChi: Waar mensen reviews schrijven (en soms nepreviews).
2. Amazon: Waar mensen producten beoordelen.
3. T-Finance: Waar financiële transacties plaatsvinden.

Het resultaat? MANDATE was overal beter dan de oude methoden. Het vond meer oplichters en maakte minder fouten. Het was als het verschil tussen een politieagent die alleen naar de straat kijkt en een team van drones met AI dat het hele stadsbeeld in één oogopslag analyseert.

Kort samengevat:
Dit papier introduceert een slimme nieuwe manier om oplichting op het internet te vinden. In plaats van blindelings aan te nemen dat "gelijken elkaar vinden", kijkt het systeem naar de hele wereld om je heen, onderscheidt het tussen echte vrienden en verdachte kennissen, en combineert alle informatie om de boeven te vangen.

Technische samenvatting

Probleemstelling

Graph Fraud Detection (GFD) is essentieel voor het identificeren van frauduleus gedrag in netwerken zoals financiële systemen en sociale media. Bestaande methoden, voornamelijk gebaseerd op Graph Neural Networks (GNN's), hebben weliswaar succes geboekt, maar kampen met twee fundamentele beperkingen die hun prestaties in de fraudedetectie belemmeren:

1. De homofilie-aanname (Homogeneity Assumption): GNN's gaan er vaak van uit dat aangrenzende knopen vergelijkbare eigenschappen hebben. In fraudenetwerken is dit echter vaak niet het geval; frauduleuze knopen kunnen heterofiel zijn (vergelijkbaar met normale knopen in structuur, maar verschillend in gedrag) of juist zeer heterofiel. Deze aanname leidt tot een verslechtering van de prestaties.
2. Beperkte globale modellering: Traditionele GNN's gebruiken lokale berichtuitwisseling (message-passing), wat hun vermogen beperkt om globale patronen over het hele netwerk te modelleren. Dit maakt het moeilijk om complexe, verstrengelde fraudepatronen te detecteren die zich over meerdere gemeenschappen uitstrekken.

Methodologie: MANDATE

Om deze uitdagingen aan te pakken, stellen de auteurs MANDATE (Multi-scale Adaptive Neighborhood Awareness Transformer) voor. Dit model combineert de kracht van Transformers met aangepaste strategieën voor grafen. De kerncomponenten zijn:

1. Multi-Schaal Positie-Encodering (Multi-scale Positional Encoding)
Om het gebrek aan globale context op te lossen, introduceert MANDATE een strategie om positiële informatie op verschillende afstanden van de centrale knoot te coderen.

• In plaats van alleen directe buren te bekijken, wordt een reeks positiële coderingen $S_p(u_i)$ gegenereerd voor $k$-hop buren (van 1 tot $K$).
• Dit wordt geïmplementeerd via een willekeurige wandel-matrix (random walk matrix) of generaliseerde PageRank-scores, wat het model in staat stelt de topologische afstand en bereikbaarheid tussen knopen te begrijpen.
• Een MLP (Multi-Layer Perceptron) leert de optimale gewichten voor deze verschillende hops, waardoor het model dynamisch kan aanpassen aan welke schaal het meest relevant is.

2. Buur-bewuste Positie-Embedding (Neighborhood Awareness Positional Embedding)
Het model behandelt homofiele en heterofiele connecties verschillend om de distributieverschillen tussen frauduleuze en normale knopen te mitigeren:

• Homofiele connecties: Hier worden buren als vergelijkbaar beschouwd. De positiële informatie wordt direct gebruikt als waarschijnlijkheid voor het doorgeven van kenmerken.
• Heterofiele connecties: Hier betekent topologische nabijheid niet noodzakelijk positieve correlatie. In plaats van directe aggregatie, wordt een neurale netwerkarchitectuur gebruikt om complexe correlaties automatisch te leren door positiële en attributaire informatie te combineren.
• Orthogonaliteitsbeperking: Om te voorkomen dat hogere-orde embeddings redundantie bevatten van lagere-orde embeddings, wordt een orthogonaliteitsverliesfunctie ($L_{orth}$) toegepast. Dit zorgt ervoor dat elke schaal unieke positiële informatie behoudt.

3. Fuseringsstrategie voor Multi-relatie Grafen
Veel fraude-scenario's bestaan uit grafen met meerdere types relaties (bijv. transacties, reviews, vriendschappen).

• Het model gebruikt een leerbaar gewichtssysteem om embeddings van verschillende relaties te aggregeren.
• Voor positiële embeddings worden de embeddings van verschillende relaties samengevoegd (concatenatie), zodat het model zelf kan leren welke relaties de meeste invloed hebben op de fraudedetectie.

Belangrijkste Bijdragen

• Vermindering van GNN-bias: MANDATE verlicht de inherente inductieve bias van GNN's door de homofilie-aanname te doorbreken en globale modellering mogelijk te maken via Transformers.
• Adaptieve Positie-Encodering: De introductie van een multi-schaal strategie die zowel homofiele als heterofiele relaties specifiek adresseert.
• Robuustheid in Multi-relatie Netwerken: Een nieuwe fuseringsstrategie die distributie-bias veroorzaakt door verschillende relationele types effectief oplost.
• State-of-the-art Prestaties: Het model is ontworpen om beter te presteren dan bestaande GNN- en Transformer-gebaseerde methoden in complexe fraude-scenario's.

Resultaten

De auteurs hebben MANDATE getest op drie veelgebruikte datasets: YelpChi, Amazon en T-Finance.

• Prestatie: MANDATE behaalde de beste resultaten op alle drie de datasets, gemeten aan de hand van AUC, F1-macro en Gmean.
  • Op YelpChi verbeterde het de F1-macro met tot 17,04% ten opzichte van de beste concurrenten.
  • Op Amazon en T-Finance toonde het vergelijkbare superioriteit, met name in het detecteren van zeldzame frauduleuze gevallen (hoge Gmean).
• Ablatiestudies:
  • Vergelijkingen met enkelvoudige positiële codering (zoals PageRank of enkel 1-hop) toonden aan dat de multi-schaal strategie cruciaal is voor de prestaties.
  • Het gebruik van multi-relatie fuseren leverde een significante verbetering op (minimaal 3% stijging in AUC op YelpChi) ten opzichte van modellen die slechts één relatie type gebruikten.

Significantie

Deze paper biedt een belangrijke stap voorwaarts in het veld van graph mining en fraudedetectie. Door de beperkingen van traditionele GNN's (lokale focus en homofilie-aanname) te overwinnen met een Transformer-architectuur die specifiek is ontworpen voor grafen, biedt MANDATE een robuustere oplossing voor real-world fraudeproblemen. De methode is vooral waardevol in scenario's waar fraude niet alleen voorkomt in geïsoleerde clusters, maar zich verspreidt via complexe, heterofiele interacties in multi-relatie netwerken. Dit heeft directe implicaties voor de beveiliging van financiële systemen en sociale platforms.