Technische Samenvatting: Laat Relaties Spreken: Een End-to-End LLM-GNN Soft Prompt Framework voor Fraudedetectie

1. Probleemstelling

Het artikel adresseert de uitdaging van het inzetten van Large Language Models (LLM's) voor fraudedetectie binnen Weak Text-Attributed Graph (Weak-TAG) scenario's. In real-world fraudedetectiesystemen (bijvoorbeeld financiële netwerken, online reviews) leiden strikte privacy- en beveiligingsbeperkingen vaak tot grafen die uitsluitend numerieke kenmerken bevatten, zonder rijke tekstuele data.

Bestaande aanpakken ondervinden in deze context twee primaire beperkingen:

1. Afhankelijkheid van Tekst: De meeste huidige op LLM's gebaseerde methoden zijn sterk afhankelijk van rijke tekstuele attributen, waardoor ze inefficiënt zijn wanneer tekstuele data ontbreekt.
2. Kenmerkvervorming via Hard Prompts: Pionierende methoden die proberen de afhankelijkheid van tekst te omzeilen, gebruiken vaak "hard prompts" om grafstructuren te lineariseren naar natuurlijke taal. Dit proces plat complexe topologieën af, wat leidt tot structureel-semantische misalignatie en kenmerkvervorming, aangezien de inherente relationele semantics verloren gaan bij de conversie naar discrete tekst.
3. Meerdere Relatie Complexiteit: Fraudeactiviteiten betreffen vaak complexe, multi-relationele interacties. Bestaande Graph Neural Network (GNN) methoden worstelen met het vastleggen van diepe semantische informatie over verschillende edge-types, terwijl bestaande LLM-GNN frameworks vaak vertrouwen op bevroren LLM's of lichtgewicht lineaire projectoren die geen diepe alignering tot stand brengen tussen structurele codering en semantisch redeneren.

2. Methodologie: LGSPF Framework

De auteurs stellen het LLM-GNN Soft Prompt Framework (LGSPF) voor, een end-to-end architectuur ontworpen om de kloof te overbruggen tussen multi-relationele grafstructuren en de semantische ruimte van LLM's zonder afhankelijkheid van tekstuele attributen. Het framework werkt via drie gekorreleerde stadia:

A. Kenmerkcodering van Multi-Relationele Grafen

Om structurele patronen onder meerdere relaties te vangen, hanteert LGSPF een Parallel GNN Encoder.

• Ontkoppeling: De oorspronkelijke multi-relationele graaf wordt ontleed in $m$ homogene subgrafen, waarbij elke subgraaf overeenkomt met een specifiek relatie-type.
• Onafhankelijke Takken: Voor elke subgraaf wordt een onafhankelijke GNN-tak (geïmplementeerd als GraphSAGE) ingezet. Cruciaal is dat gewichten niet worden gedeeld over de takken heen, wat toelaat om onderscheidende structurele semantics voor elk relatie-type te extraheren.
• Projectie: De output-embeddings van alle GNN-takken worden geprojecteerd naar de embeddimensie van de LLM ($d_{emb}$) om naadloze integratie te faciliteren.
• Aggregatie: Het model maakt gebruik van volledige-batch nabuurschapsaggregatie (in plaats van mini-batch sampling) om deterministische berichtdoorvoer te garanderen en verlies van structurele informatie te voorkomen.

B. Soft Prompt en Semantische Mapping

In plaats van grafstructuren om te zetten naar beschrijvingen in natuurlijke taal (hard prompts), hanteert LGSPF Soft Prompts.

• Hybride Template: Er wordt een uniforme prompt-template geconstrueerd die instructies in natuurlijke taal ($T_{inst}$, $T_{desc}$, $T_{quest}$) en speciale tokens ($s_1, \dots, s_m$) bevat.
• Woordenschat Uitbreiding: De woordenschat van de LLM wordt uitgebreid met deze speciale tokens ($S = \{s_1, \dots, s_m\}$), die fungeren als interfaces voor verschillende relatie-types.
• Dynamische Injectie: Tijdens de forward pass vervangen de continue structurele embeddings ($h_{v_i, r_j}$), geëxtraheerd door de parallelle GNN's, dynamisch de initiële embeddings van de corresponderende speciale tokens in de promptsequentie. Dit stelt de LLM in staat om continue, hoog-dimensionale structurele tensors direct te verwerken, waarbij de problemen van discretisatie en fragmentatie van tekst-gebaseerde serialisatie worden omzeild.

C. End-to-End Optimalisatie

Het framework behandelt fraudedetectie als een conditioneel tekstgeneratieprobleem onder een Causal Language Modeling paradigma.

• Gecombineerde Training: Het systeem wordt end-to-end geoptimaliseerd. De semantische feedback van de LLM wordt via gradiënt-backpropagatie teruggevoerd naar de GNN-encoders.
• Parameter-efficiëntie: Om rekenkosten te beheersen, wordt Low-Rank Adaptation (LoRA) uitsluitend toegepast op de attention-layers van de LLM, terwijl de GNN-parameters trainbaar blijven.
• Doel: De verliesfunctie minimaliseert de discrepantie tussen de gegenereerde tekst (bijvoorbeeld "fraude" of "normaal") en de ground-truth labels, waardoor diepe structureel-semantische alignering wordt gewaarborgd.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. LGSPF Framework: De voorstelling van een end-to-end LLM-GNN soft prompt framework, specifiek ontworpen voor fraudedetectie in Weak-TAG scenario's, dat effectief multi-relationele grafstructuren verbindt met LLM semantische ruimtes.
2. Architecturale Innovaties: De introductie van een parallelle GNN-encoder voor fijnkorrelige multi-relationele kenmerkextractie, een soft prompt-mechanisme dat naadloos grafstructuren overbrugt met LLM-redenering zonder kenmerkvervorming, en een end-to-end trainingsparadigma voor diepe structureel-semantische alignering.
3. Empirische Validatie en Interpretatie: Demonstratie van state-of-the-art prestaties over drie diverse fraudedetectie-benchmarks (Amazon, YelpChi, S-FFSD). Bovendien wordt aangetoond dat het framework de semantische interpretatie van fraudegedrag verbetert, waardoor detectie verschuift van black-box voorspellingen naar gedragsherkenning.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op drie datasets: Amazon (productreviews), YelpChi (hotel/restaurantreviews) en S-FFSD (gesimuleerde financiële transacties). Alle datasets werden verwerkt zodat ze uitsluitend numerieke node-kenmerken bevatten om de Weak-TAG-instelling te simuleren.

• Prestaties: LGSPF behaalde state-of-the-art prestaties over alle datasets, waarbij het significant presteerde boven zowel klassieke GNN-baselines (bijvoorbeeld GCN, GAT, CARE-GNN) als tekst-geflattende LLM-baselines (inclusief Zero-shot en Instruct-LLM varianten).
  • Op de Amazon-dataset behaalde LGSPF een AUC van 0,9805, vergeleken met 0,9717 voor de beste GNN-baseline (BWGNN).
  • Op YelpChi behaalde LGSPF een AUC van 0,9208, waarmee het de beste GNN (RGTAN op 0,9194) voorbijstreefde.
  • Op S-FFSD behaalde LGSPF een AUC van 0,8719, wat beter was dan de beste GNN (GTAN op 0,8299).
• Ablatiestudies:
  • Het verwijderen van de LLM-ruggengraat (vervangen door een MLP) of het verwijderen van beschrijvingen in natuurlijke taal (alleen geïsoleerde graftokens gebruiken) resulteerde in significante prestatiedalingen, wat de noodzaak bevestigt van zowel het redeneervermogen van de LLM als de semantische ankers geboden door tekstuele beschrijvingen.
  • Het verwijderen van end-to-end gecombineerde optimalisatie (bevriezen van GNN's) leidde eveneens tot prestatiedegradatie, wat het voordeel benadrukt van het aligneren van structurele kenmerken met de cognitieve ruimte van de LLM.
• Sensitiviteitsanalyse: De 7B-parameter LLM-ruggengraat (Qwen2.5-7B) bleek de optimale balans te bieden tussen redeneervermogen en adaptatie-efficiëntie. Voor de GNN-encoder leverde een aggregatiediepte van de nabuurschap $K=2$ de piekprestaties op, waarbij de oververzachtingsproblemen die bij diepere lagen werden waargenomen ($K \ge 3$) werden vermeden.
• Interpretatie: Single-relation experimenten op YelpChi toonden aan dat hoewel individuele relaties specifieke inzichten bieden, het geïntegreerde multi-relationele overzicht (Full view) beslissend beter presteerde dan het gemiddelde van single views, wat het vermogen van het model demonstreert om intrinsieke correlaties tussen meerdere relaties te ontginnen.

5. Betekenis en Claims

Het artikel claimt dat LGSPF een significante vooruitgang vertegenwoordigt in graf-fraudedetectie door het "semantisch dilemma" op te lossen waar LLM's mee geconfronteerd worden in Weak-TAG-omgevingen. Door gebruik te maken van continue soft prompts in plaats van discrete textualisatie, behoudt het framework hoog-dimensionale structurele informatie die doorgaans verloren gaat bij hard-prompt-aanpakken.

De auteurs benadrukken dat hun werk het veld voorbij beweegt van simpele black-box voorspelling naar transparante gedragsherkenning. Door het diepe semantische redeneervermogen van de LLM te benutten om complexe multi-relationele topologieën te interpreteren, verbetert LGSPF niet alleen de detectienauwkeurigheid, maar versterkt het ook de interpretatie van fraudegedrag. Dit is bijzonder waardevol in privacy-gevoelige domeinen waar rijke tekstuele data niet beschikbaar is, en biedt een veelbelovend paradigma voor toekomstige fraudedetectiesystemen.

De auteurs erkennen beperkingen wat betreft rekenkundige schaalbaarheid voor ultra-grote grafen en de huidige afhankelijkheid van statische grafen, en merken op dat toekomstig werk dynamische temporale grafen en grotere fundamentele modellen zal verkennen.