🤖 AI

Let Relations Speak: An End-to-End LLM-GNN Soft Prompt Framework for Fraud Detection

Dieser Artikel stellt das LLM-GNN Soft Prompt Framework (LGSPF) vor, einen End-to-End-Ansatz, der Graphstrukturen und semantischen Raum mithilfe von Soft Prompts und einem parallelen GNN-Encoder überbrückt, um Textknappheit und Feature-Verzerrung zu überwinden und dadurch einen State-of-the-Art-Performance sowie eine verbesserte Interpretierbarkeit bei der Erkennung von Mehrfachbeziehungs-Betrug zu erreichen.

Ursprüngliche Autoren: Zhixing Zuo, Huilin He, Jiasheng Wu, Dawei Cheng

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhixing Zuo, Huilin He, Jiasheng Wu, Dawei Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „stumme" Graph

Stellen Sie sich vor, Sie sind ein Detektiv, der einen Betrüger fangen soll. Normalerweise haben Sie eine Akte voller Notizen, E-Mails und Chat-Protokolle (Text), die Ihnen sagen, was passiert ist. Aber in der Welt des Finanzbetrugs bedeuten Datenschutzgesetze oft, dass Sie diese Notizen nicht haben. Sie haben nur ein riesiges Netz aus Zahlen: „Transaktion A fand um 14:00 Uhr statt", „Nutzer B kaufte Artikel C", „Sie sind 5 Meilen voneinander entfernt."

Das ist es, was das Papier als Weak-TAG (Weak Text-Attributed Graph) bezeichnet. Es ist ein Netz von Verbindungen, an dem keine Wörter haften.

Das Dilemma:

Alte KI (GNNs): Diese sind wie mathematische Zauberer. Sie sind großartig darin, das Netz aus Zahlen zu betrachten und Muster zu finden, aber sie sind schrecklich darin, zu erklären, warum etwas verdächtig ist. Sie sind „Black Boxes".
Neue KI (LLMs): Diese sind wie brillante Detektive, die lesen, reasoning und ihre Gedanken erklären können. Aber sie sind daran gewöhnt, Geschichten und Sätze zu lesen. Wenn Sie ihnen eine Wand voller roher Zahlen vorsetzen, geraten sie in Verwirrung. Sie versuchen, diese Zahlen in Wörter umzuwandeln (wie „Die Zahl 45,23..."), was die Bedeutung zerstört und sie den Faden verlieren lässt.

Die Lösung: LGSPF (Der „stumme Übersetzer")

Die Autoren schlagen ein neues System namens LGSPF vor. Stellen Sie es sich als universellen Übersetzer vor, der den „mathematischen Zauberer" (GNN) mit dem „brillanten Detektiv" (LLM) verbindet, ohne die Zahlen zu zwingen, zu ungeschickten Wörtern zu werden.

So funktioniert es, Schritt für Schritt:

1. Das parallele Team (Der GNN-Encoder)

Stellen Sie sich vor, das Betrugsnetz hat verschiedene Arten von Verbindungen: „Gleiche Kreditkarte", „Gleiche IP-Adresse" und „Gleicher Standort".

Alte Methode: Man könnte alle diese Verbindungen zu einem großen Haufen vermischen.
LGSPF-Methode: Es stellt ein Team spezialisierter Kundschafter ein (Parallel GNNs).
- Kundschafter A betrachtet nur Verbindungen mit „Gleicher Kreditkarte".
- Kundschafter B betrachtet nur Verbindungen mit „Gleicher Standort".
- Kundschafter C betrachtet nur Verbindungen mit „Gleicher IP".
- Jeder Kundschafter erstellt eine einzigartige „Berichtskarte" (ein Embedding) für den Verdächtigen, die ausschließlich auf seiner spezifischen Verbindungsart basiert. Dies stellt sicher, dass keine Details verloren gehen.

2. Der „weiche" Handschlag (Soft Prompt)

Dies ist der kreativste Trick des Papiers.

Der harte Weg (Was andere tun): Zu versuchen, das LLM zu zwingen, einen Satz wie diesen zu lesen: „Der Nutzer hat 3 Nachbarn, 2 davon sind Betrüger, und die Entfernung beträgt 5,4 Meilen." Das ist wie der Versuch, ein Gemälde zu beschreiben, indem man die Hex-Codes jedes Pixels auflistet. Es ist chaotisch und verliert die „Stimmung".
Der LGSPF-Weg (Soft Prompt): Anstatt Wörter zu schreiben, erstellt das System unsichtbare, magische Token (wie geheime Handschläge).
- Es sagt zum Detektiv: „Hier ist ein geheimes Token, das das Muster 'Kreditkarte' repräsentiert, und hier ist ein geheimes Token, das das Muster 'Standort' repräsentiert."
- Diese Token sind keine Wörter; sie sind direkte, hochwertige mathematische Zusammenfassungen der Muster.
- Das LLM muss die Zahlen nicht „lesen"; es „spürt" das Muster einfach durch diese Token. Es ist, als würde man dem Detektiv ein hochauflösendes Foto der Beweise geben, anstatt eine schriftliche Beschreibung des Fotos.

3. Das gemeinsame Training (End-to-End-Optimierung)

Normalerweise trainiert man den mathematischen Zauberer zuerst und übergibt dann die Ergebnisse dem Detektiv. Wenn der Zauberer einen Fehler macht, kann der Detektiv ihn nicht korrigieren.

LGSPF-Methode: Sie trainieren das gesamte Team gemeinsam.
- Der Detektiv (LLM) betrachtet die Beweise und sagt: „Ich bin mir nicht sicher, ob das Betrug ist."
- Das System sendet dieses Feedback zurück an die Kundschafter (GNNs).
- Die Kundschafter passen ihre Berichte an, um sie für den Detektiv klarer zu machen.
- Sie machen dies weiter, bis sie perfekt aufeinander abgestimmt sind. Dies nennt man End-to-End-Optimierung.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten dies an drei realen Betrugsdatensätzen (Amazon-Bewertungen, Yelp-Bewertungen und simulierte Kreditkartentransaktionen).

Der Wettbewerb: Traditionelle, rein mathematische KI war okay. Die „Hard Prompt"-LLMs (die versuchten, Zahlen in Wörter umzuwandeln) versagten kläglich, weil sie durch das Fehlen von Text verwirrt wurden.
Der Gewinner: LGSPF schlug alle. Es riet nicht nur besser; es verstand die Beziehungen zwischen den Zahlen viel tiefer.
Der „Aha!"-Moment: Da das LLM beteiligt ist, kann das System tatsächlich erklären, warum es glaubt, dass etwas Betrug ist. Es verschiebt die Betrugserkennung von einer „Black Box" (wir wissen, dass es Betrug ist, aber wir wissen nicht warum) zu „Verhaltenserkennung" (wir wissen, dass es Betrug ist, weil der Nutzer wie ein bekanntes Betrügermuster handelt).

Zusammenfassende Analogie

Stellen Sie sich vor, Sie versuchen, einen Dieb in einem überfüllten Raum zu identifizieren.

Alte GNNs sind wie eine Überwachungskamera, die Bewegung sieht, aber Ihnen nicht sagen kann, ob die Person rennt, weil sie zu spät kommt oder weil sie stiehlt.
Alte LLMs sind wie ein Detektiv, der einen schriftlichen Polizeibericht braucht. Wenn Sie ihm eine Liste von Koordinaten geben, verirrt er sich.
LGSPF ist wie eine telepathische Verbindung. Es nimmt die rohen Bilddaten der Kamera, übersetzt sie sofort in ein „Gefühl", das der Detektiv versteht, und lässt den Detektiv sein Gehirn nutzen, um zu sagen: „Diese Person rennt zu schnell für einen normalen Kunden; sie stiehlt."

Das Papier behauptet, dass diese Methode der neue State-of-the-Art für die Aufdeckung von Betrug ist, wenn man Daten, aber keinen Text hat.

Technische Zusammenfassung: Lassen Sie Relationen sprechen: Ein End-to-End LLM-GNN Soft Prompt Framework zur Betrugserkennung

1. Problemstellung

Die Arbeit adressiert die Herausforderung des Einsatzes von Large Language Models (LLMs) zur Betrugserkennung in Weak Text-Attributed Graph (Weak-TAG)-Szenarien. In realen Betrugserkennungssystemen (z. B. Finanznetzwerke, Online-Bewertungen) führen strenge Datenschutz- und Sicherheitsbeschränkungen häufig dazu, dass Graphen ausschließlich numerische Merkmale enthalten und eine Fülle an Textdaten fehlt.

Bestehende Ansätze stoßen in diesem Kontext auf zwei Hauptbeschränkungen:

Abhängigkeit von Text: Die meisten aktuellen LLM-basierten Methoden sind stark auf reiche Textattribute angewiesen, was sie bei Abwesenheit von Textdaten unwirksam macht.
Verzerrung von Merkmalen durch Hard Prompts: Pioniermethoden, die versuchen, die Textabhängigkeit zu umgehen, nutzen oft „Hard Prompts", um Graphstrukturen in natürliche Sprache zu linearisieren. Dieser Prozess flacht komplexe Topologien ab und führt zu einer strukturell-semantischen Fehlausrichtung sowie einer Verzerrung der Merkmale, da die inhärenten relationalen Semantiken bei der Umwandlung in diskreten Text verloren gehen.
Multi-relationale Komplexität: Betrügerische Aktivitäten beinhalten oft komplexe, multi-relationale Interaktionen. Aktuelle Graph Neural Network (GNN)-Methoden haben Schwierigkeiten, tiefe semantische Informationen über verschiedene Kantentypen hinweg zu erfassen, während bestehende LLM-GNN-Frameworks häufig auf eingefrorene LLMs oder leichte lineare Projektoren angewiesen sind, die keine tiefe Ausrichtung zwischen struktureller Kodierung und semantischer Schlussfolgerung herstellen.

2. Methodik: LGSPF-Framework

Die Autoren schlagen das LLM-GNN Soft Prompt Framework (LGSPF) vor, eine End-to-End-Architektur, die entwickelt wurde, um die Lücke zwischen multi-relationalen Graphstrukturen und dem semantischen Raum von LLMs zu schließen, ohne auf Textattribute angewiesen zu sein. Das Framework arbeitet in drei korrelierten Stufen:

A. Kodierung multi-relationaler Graphmerkmale

Um strukturelle Muster unter mehreren Relationen zu erfassen, setzt LGSPF einen Parallel GNN Encoder ein.

Entkopplung: Der ursprüngliche multi-relationale Graph wird in $m$ homogene Teilgraphen zerlegt, die jeweils einem spezifischen Relationstyp entsprechen.
Unabhängige Zweige: Für jeden Teilgraphen wird ein unabhängiger GNN-Zweig (implementiert als GraphSAGE) bereitgestellt. Entscheidend ist, dass Gewichte nicht über die Zweige hinweg geteilt werden, was die Extraktion unterschiedlicher struktureller Semantiken für jeden Relationstyp ermöglicht.
Projektion: Die Ausgabe-Embeddings aller GNN-Zweige werden in die Embedding-Dimension des LLM ( $d_{emb}$ ) projiziert, um eine nahtlose Integration zu erleichtern.
Aggregation: Das Modell verwendet eine Full-Batch-Nachbarschaftsaggregation (anstatt Mini-Batch-Sampling), um deterministischen Nachrichtenfluss zu gewährleisten und den Verlust struktureller Informationen zu verhindern.

B. Soft Prompt und semantische Abbildung

Anstatt Graphstrukturen in natürliche Sprachbeschreibungen umzuwandeln (Hard Prompts), nutzt LGSPF Soft Prompts.

Hybrid-Vorlage: Es wird eine einheitliche Prompt-Vorlage konstruiert, die natürliche Sprachanweisungen ( $T_{inst}$ , $T_{desc}$ , $T_{quest}$ ) und spezielle Token ( $s_1, \dots, s_m$ ) enthält.
Erweiterung des Vokabulars: Das Vokabular des LLM wird um diese speziellen Token erweitert ( $S = \{s_1, \dots, s_m\}$ ), die als Schnittstellen für verschiedene Relationstypen fungieren.
Dynamische Injektion: Während des Vorwärtsdurchlaufs ersetzen die kontinuierlichen strukturellen Embeddings ( $h_{v_i, r_j}$ ), die von den parallelen GNNs extrahiert werden, dynamisch die initialen Embeddings der entsprechenden speziellen Token in der Prompt-Sequenz. Dies ermöglicht es dem LLM, kontinuierliche, hochdimensionale strukturelle Tensoren direkt zu verarbeiten und die Diskretisierungs- und Fragmentierungsprobleme textbasierter Serialisierung zu umgehen.

C. End-to-End-Optimierung

Das Framework behandelt die Betrugserkennung als ein bedingtes Textgenerierungsproblem im Rahmen eines kausalen Sprachmodellierungsparadigmas.

Gemeinsames Training: Das System wird End-to-End optimiert. Das semantische Feedback des LLM wird über Gradientenrückwärtspropagierung an die GNN-Encoder zurückgespeist.
Parameter-Effizienz: Um die Rechenkosten zu steuern, wird Low-Rank Adaptation (LoRA) ausschließlich auf die Attention-Schichten des LLM angewendet, während die GNN-Parameter trainierbar bleiben.
Ziel: Die Verlustfunktion minimiert die Diskrepanz zwischen dem generierten Text (z. B. „Betrug" oder „normal") und den Ground-Truth-Labels und stellt so eine tiefe strukturell-semantische Ausrichtung sicher.

3. Hauptbeiträge

Die Arbeit skizziert drei Hauptbeiträge:

LGSPF-Framework: Die Vorstellung eines End-to-End LLM-GNN Soft Prompt Frameworks, das speziell für die Betrugserkennung in Weak-TAG-Szenarien entwickelt wurde und effektiv multi-relationale Graphstrukturen mit LLM-semantischen Räumen verbindet.
Architektonische Innovationen: Die Einführung eines parallelen GNN-Encoders für die feingranulare Extraktion multi-relationaler Merkmale, eines Soft-Prompt-Mechanismus, der Graphstrukturen nahtlos mit LLM-Schlussfolgerungen verbindet, ohne Merkmale zu verzerren, sowie eines End-to-End-Trainingsparadigmas für eine tiefe strukturell-semantische Ausrichtung.
Empirische Validierung und Interpretierbarkeit: Demonstration von State-of-the-Art-Leistung über drei verschiedene Benchmarks zur Betrugserkennung (Amazon, YelpChi, S-FFSD). Darüber hinaus zeigt das Framework, dass es die semantische Interpretierbarkeit von Betrugsverhalten verbessert und die Erkennung von Black-Box-Vorhersagen hin zur Verhaltenserkennung führt.

4. Experimentelle Ergebnisse

Experimente wurden auf drei Datensätzen durchgeführt: Amazon (Produktbewertungen), YelpChi (Hotel-/Restaurantbewertungen) und S-FFSD (simulierte Finanztransaktionen). Alle Datensätze wurden so verarbeitet, dass sie ausschließlich numerische Knotenmerkmale enthalten, um das Weak-TAG-Setting zu simulieren.

Leistung: LGSPF erzielte auf allen Datensätzen State-of-the-Art-Leistung und übertraf sowohl klassische GNN-Baselines (z. B. GCN, GAT, CARE-GNN) als auch textgeflattete LLM-Baselines (einschließlich Zero-Shot- und Instruct-LLM-Varianten) signifikant.
- Auf dem Amazon-Datensatz erreichte LGSPF eine AUC von 0,9805, verglichen mit 0,9717 für die beste GNN-Baseline (BWGNN).
- Auf YelpChi erreichte LGSPF eine AUC von 0,9208 und übertraf die beste GNN (RGTAN mit 0,9194).
- Auf S-FFSD erreichte LGSPF eine AUC von 0,8719 und übertraf die beste GNN (GTAN mit 0,8299).
Ablationsstudien:
- Das Entfernen des LLM-Rückgrats (Ersetzung durch ein MLP) oder das Entfernen natürlicher Sprachbeschreibungen (Nutzung nur isolierter Graph-Token) führte zu signifikanten Leistungseinbußen, was die Notwendigkeit sowohl der Schlussfolgerungskapazität des LLM als auch der semantischen Anker, die durch Textbeschreibungen bereitgestellt werden, bestätigt.
- Auch das Entfernen der End-to-End-gemeinsamen Optimierung (Einfrieren der GNNs) führte zu einer Leistungsverschlechterung, was den Vorteil der Ausrichtung struktureller Merkmale mit dem kognitiven Raum des LLM unterstreicht.
Sensitivitätsanalyse: Der 7B-Parameter-LLM-Rückgrat (Qwen2.5-7B) erwies sich als optimaler Kompromiss zwischen Schlussfolgerungsfähigkeit und Anpassungseffizienz. Für den GNN-Encoder führte eine Nachbarschaftsaggregationstiefe von $K=2$ zu Spitzenleistungen und vermied die bei tieferen Schichten ( $K \ge 3$ ) auftretenden Über-Glättungsprobleme.
Interpretierbarkeit: Einzelrelationsexperimente auf YelpChi zeigten, dass, obwohl einzelne Relationen spezifische Einblicke bieten, die integrierte multi-relationale Sicht (Full view) die Durchschnittswerte einzelner Ansichten entscheidend übertraf und damit die Fähigkeit des Modells demonstrierte, intrinsische Korrelationen zwischen mehreren Relationen zu erschließen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass LGSPF einen bedeutenden Fortschritt in der Graph-Betrugserkennung darstellt, indem es das „semantische Dilemma" löst, mit dem LLMs in Weak-TAG-Umgebungen konfrontiert sind. Durch die Nutzung kontinuierlicher Soft Prompts anstelle diskreter Textualisierung bewahrt das Framework hochdimensionale strukturelle Informationen, die bei Hard-Prompt-Ansätzen typischerweise verloren gehen.

Die Autoren betonen, dass ihre Arbeit das Feld über einfache Black-Box-Vorhersagen hinaus in Richtung transparenter Verhaltenserkennung führt. Durch die Nutzung der tiefen semantischen Schlussfolgerungsfähigkeiten des LLM zur Interpretation komplexer multi-relationaler Topologien verbessert LGSPF nicht nur die Erkennungsgenauigkeit, sondern erhöht auch die Interpretierbarkeit von Betrugsverhalten. Dies ist besonders wertvoll in datenschutzsensiblen Bereichen, in denen reiche Textdaten nicht verfügbar sind, und bietet ein vielversprechendes Paradigma für zukünftige Betrugserkennungssysteme.

Die Autoren erkennen Einschränkungen hinsichtlich der rechnerischen Skalierbarkeit für ultra-große Graphen und die derzeitige Abhängigkeit von statischen Graphen an und weisen darauf hin, dass zukünftige Arbeiten dynamische zeitliche Graphen und größere fundamentale Modelle erforschen werden.