💬 NLP

Understanding Structured Financial Data with LLMs: A Case Study on Fraud Detection

Die Studie stellt FinFRE-RAG vor, einen zweistufigen Ansatz, der mittels bedeutungsgesteuerter Merkmalsreduktion und retrieval-basiertem Kontextlernen Large Language Models für die Betrugserkennung in strukturierten Finanzdaten optimiert, um deren Leistung zu steigern und interpretierbare Erklärungen zu liefern.

Ursprüngliche Autoren: Xuwei Tan, Yao Ma, Xueru Zhang

Veröffentlicht 2026-04-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuwei Tan, Yao Ma, Xueru Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🕵️‍♂️ Die große Herausforderung: Der KI-Detektiv und der Zahlen-Salat

Stell dir vor, du hast einen superintelligenten Detektiv (das ist die KI, ein sogenanntes „Large Language Model" oder LLM). Dieser Detektiv ist ein Meister darin, Geschichten zu lesen, zwischen den Zeilen zu lesen und komplexe Zusammenhänge in Texten zu verstehen. Er kann dir sagen, warum ein Charakter in einem Roman böse ist, basierend auf seinen Sätzen und Taten.

Aber jetzt kommt das Problem: Die Bank möchte, dass dieser Detektiv Betrug bei Kreditkartentransaktionen aufdeckt. Das Problem? Die Daten, die die Bank hat, sind keine Geschichten. Es sind riesige Tabellen mit tausenden von Zahlen und Kategorien (z. B. „Betrag: 12,50 €", „Karten-ID: 998", „Land: 5").

Wenn du diesen Detektiv einfach vor diese riesige Tabelle setzt und sagst: „Finde den Betrug!", passiert Folgendes:

Er ist überfordert: Die Tabelle ist zu groß für sein Gedächtnis (den sogenannten „Kontext").
Er versteht die Sprache nicht: Er ist darauf trainiert, menschliche Sprache zu verstehen, nicht trockene Zahlenreihen. Für ihn sind die Zahlen wie willkürliche Symbole ohne Bedeutung.
Er rät: Da er keine Ahnung hat, was „Betrug" in diesem speziellen Kontext bedeutet, rät er einfach. Das Ergebnis ist oft schlechter als ein Münzwurf.

🛠️ Die Lösung: FinFRE-RAG (Der clevere Assistent)

Die Autoren des Papiers haben eine Lösung entwickelt, die sie FinFRE-RAG nennen. Man kann sich das wie einen intelligenten Assistenten vorstellen, der dem Detektiv hilft, den Fall zu lösen. Der Prozess läuft in zwei Schritten ab:

Schritt 1: Das Filtern (Der „Wichtigkeits-Filter")

Stell dir vor, du hast einen Koffer voller Kleidung für eine Reise, aber du brauchst nur drei Dinge. Wenn du den ganzen Koffer in den Rucksack packst, ist er zu schwer und du findest nichts.

Das Problem: Die Finanzdaten haben hunderte von Spalten (Features), aber nur wenige sind wirklich wichtig, um Betrug zu erkennen.
Die Lösung: Bevor der Detektiv die Daten sieht, nimmt ein einfacher, schneller Algorithmus (ein „Filter") die wichtigsten 10–20 Merkmale heraus (z. B. „Kontostand", „Anzahl der Transaktionen"). Alles Unwichtige wird weggelassen.
Der Effekt: Der Detektiv bekommt jetzt keine riesige, chaotische Tabelle mehr, sondern eine kompakte, übersichtliche Liste mit den wichtigsten Fakten.

Schritt 2: Der Vergleich (Der „Fall-Akteur")

Jetzt kommt der zweite Teil, der RAG (Retrieval-Augmented Generation) genannt wird.

Das Problem: Der Detektiv weiß immer noch nicht genau, wie Betrug in dieser spezifischen Bank aussieht.
Die Lösung: Bevor der Detektiv den aktuellen Fall bewertet, sucht der Assistent in der Datenbank nach ähnlichen Fällen aus der Vergangenheit.
- Beispiel: „Schau mal, dieser Fall hier sieht fast genauso aus wie der aktuelle: Gleicher Betrag, gleiche Stadt, gleiche Uhrzeit. Und weißt du was? Der war Betrug!"
Der Effekt: Der Detektiv bekommt nicht nur die nackten Zahlen, sondern eine Geschichte mit Beispielen. Er kann sagen: „Aha! Dieser Fall erinnert mich stark an die 5 Betrugsfälle von letzter Woche. Deshalb ist die Wahrscheinlichkeit hoch."

🎯 Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher haben dieses System an verschiedenen Daten getestet und folgende Dinge entdeckt:

Ohne Hilfe ist die KI nutzlos: Wenn man die KI einfach nur die Zahlen zeigt, ist sie fast so schlecht wie ein Zufallsgenerator.
Mit Hilfe ist sie stark: Sobald man ihr die wichtigsten Zahlen gibt und ähnliche Fälle zeigt (FinFRE-RAG), wird sie plötzlich sehr gut. Sie kann fast so gut sein wie die besten spezialisierten Computerprogramme, die extra für diese Aufgabe programmiert wurden.
Weniger ist mehr: Es hilft nicht, ihr mehr Zahlen zu geben. Im Gegenteil: Je mehr unwichtige Zahlen sie bekommt, desto verwirrter wird sie. Eine kleine, saubere Auswahl ist besser.
Erklärungen sind möglich: Das Tolle an dieser Methode ist, dass die KI nicht nur sagt „Ja/Nein", sondern auch erklären kann, warum.
- Statt: „Betrug: Ja."
- Sagt sie: „Ich vermute Betrug, weil der Betrag sehr niedrig ist, aber die Transaktion aus einem Land kommt, in dem wir oft Betrugsfälle haben, und das passt genau zu den 3 Fällen, die ich gerade gelesen habe."

🌟 Das große Bild: Warum ist das wichtig?

Stell dir vor, ein Bankangestellter muss jeden Tag 1.000 verdächtige Transaktionen prüfen.

Früher: Er sah nur Zahlen und musste raten oder langwierig nachforschen.
Mit FinFRE-RAG: Die KI schaut sich den Fall an, vergleicht ihn mit ähnlichen alten Fällen und sagt dem Angestellten: „Hey, dieser Fall sieht verdächtig aus, weil er genau wie der Betrugsfall von letzter Woche aussieht. Hier ist der Grund."

Das macht die Arbeit des Menschen viel leichter, schneller und transparenter. Die KI ist nicht der Chef, der alles entscheidet, sondern ein hilfreicher Assistent, der dem Menschen die besten Argumente liefert.

⚠️ Ein kleiner Haken (Die Grenzen)

Das System ist nicht perfekt:

Es braucht immer noch menschliche Kontrolle. Die KI kann sich irren.
Es funktioniert am besten, wenn man die KI nicht einfach „trainiert" (was teuer und schwierig ist), sondern ihr bei jeder neuen Frage die richtigen Beispiele zeigt.
Datenschutz ist extrem wichtig, da es um Geld und persönliche Daten geht.

Zusammenfassung in einem Satz

Die Forscher haben einen Weg gefunden, wie eine Text-KI (die eigentlich für Geschichten gemacht ist) durch Auswahl der wichtigsten Fakten und Vergleich mit alten Fällen so gut wird, dass sie Menschen beim Aufspüren von Finanzbetrug helfen kann – und das Ganze so erklärt, dass wir Menschen es verstehen.

1. Problemstellung

Die Erkennung von Betrug in Finanztransaktionen basiert traditionell auf tabellarischen Modellen (z. B. XGBoost, Random Forest), die eine aufwändige Feature-Engineering-Pipeline erfordern und oft nur begrenzte Interpretierbarkeit bieten. Große Sprachmodelle (LLMs) versprechen hingegen menschenlesbare Erklärungen und besseres logisches Schlussfolgern.

Der direkte Einsatz von LLMs für die Betrugserkennung in tabellarischen Daten scheitert jedoch an zwei Hauptproblemen:

Fehlende Ausrichtung auf tabellarische Eingaben: Finanzdaten bestehen primär aus numerischen und kategorischen Merkmalen. LLMs, die auf natürlicher Sprache trainiert wurden, haben Schwierigkeiten, die semantische Bedeutung strukturierter Features zu verstehen oder mit hohen Dimensionen (Hunderte bis Tausende von Features) umzugehen, ohne den Kontextrahmen zu sprengen oder durch Rauschen verwirrt zu werden.
Mehrdeutigkeit und Seltenheit von Betrug: Betrugsfälle sind extrem selten (oft <1 % der Transaktionen) und variieren stark je nach Institution. Ohne domänenspezifische Anleitung neigen LLMs dazu, tabellarische Eingaben als willkürliche Zahlen zu behandeln, was zu zufälligen Vorhersagen führt.

2. Methodik: FinFRE-RAG

Die Autoren stellen FinFRE-RAG (FINancial Feature-REduced in-context learning with Retrieval-Augmented Generation) vor, ein zweistufiges Framework, das LLMs anpasst, um strukturierte Betrugsdaten zu analysieren, ohne das Modell spezifisch zu trainieren (Fine-Tuning).

Stufe 1: Offline-Feature-Reduktion

Um die Dimensionalität zu reduzieren und den Kontextrahmen des LLMs zu schonen, wird ein Random-Forest-Modell auf einem externen historischen Datensatz trainiert.
Daraus werden Feature-Importanz-Scores extrahiert, um die $k$ wichtigsten Merkmale ( $k < d$ ) auszuwählen.
Die numerischen Features werden standardisiert (Normalisierung), um eine vektorisierte, vergleichbare Repräsentation für den Retrieval-Prozess zu schaffen.

Stufe 2: Online Retrieval-Augmented In-Context Learning (RAG)

Instanz-Retrieval: Für jede neue Abfrage ( $x_q$ $x_{q}$ ) werden ähnliche historische Transaktionen aus dem externen Datensatz gesucht.
- Kategorische Filterung: Zuerst werden Transaktionen basierend auf den wichtigsten kategorischen Attributen gefiltert (exakte Übereinstimmung).
- Numerische Ähnlichkeit: Innerhalb dieser Kandidatenmenge wird eine Cosine-Ähnlichkeitssuche auf den normalisierten numerischen Features durchgeführt, um die $n$ ähnlichsten Transaktionen zu finden.
Prompt-Konstruktion: Die ausgewählten Features und die gefundenen Beispiele werden in menschenlesbare Sätze umgewandelt (Serialisierung).
- Der Prompt enthält eine Aufgabenstellung, wenige-Shot-Beispiele (mit Ground-Truth-Labels wie „Es ist Betrug" oder „Es ist kein Betrug") und die aktuelle Abfrage ohne Label.
Inferenz: Das LLM führt ein kontextbasiertes Schlussfolgern durch, vergleicht die Abfrage mit den historischen Beispielen und gibt einen Risikoscore (1–5) sowie eine Begründung aus.

3. Wichtige Beiträge

Framework-Entwicklung: Einführung von FinFRE-RAG als zweistufiger Ansatz, der LLMs ohne spezifisches Training für tabellarische Betrugserkennung adaptiert.
Systematische Evaluation: Umfassende Tests auf vier öffentlichen Datensätzen (CCF, CCFRAUD, IEEE-CIS, PAYSIM) mit drei Familien von Open-Weight-LLMs (Qwen, Gemma, GPT-OSS).
Analyse der Einflussfaktoren:
- Quantifizierung der optimalen Anzahl an Features und ähnlichen Transaktionen.
- Nachweis, dass eine feinkörnige Risikobewertung (5-Punkte-Skala) besser funktioniert als eine binäre Klassifikation.
- Vergleich mit feinabgestimmten (fine-tuned) LLMs und traditionellen Baselines.

4. Ergebnisse

Leistungssteigerung: FinFRE-RAG verbessert die Leistung von LLMs drastisch im Vergleich zum direkten Prompting. Während Baseline-LLMs oft nahe am Zufall liegen (negativer MCC), erreichen sie mit FinFRE-RAG signifikante F1- und MCC-Werte.
Wettbewerbsfähigkeit: In einigen Szenarien sind die Ergebnisse mit starken tabellarischen Baselines (wie Random Forest und XGBoost) vergleichbar oder übertreffen diese, obwohl spezialisierte Klassifikatoren im Durchschnitt immer noch leicht besser abschneiden.
Feature-Reduktion ist entscheidend: Die Auswahl der wichtigsten Features (Importance-Guided) führt zu deutlich besseren Ergebnissen als zufällige Feature-Auswahl, insbesondere bei hochdimensionalen Datensätzen wie IEEE-CIS.
RAG vs. Fine-Tuning: FinFRE-RAG (In-Context Learning mit Retrieval) liefert robustere Ergebnisse als ein reines Fine-Tuning (LoRA) auf den Daten. Fine-Tuning neigt zu einer höheren Präzision, aber niedrigerer Recall-Rate (Überanpassung an die Mehrheitsklasse), während RAG durch den Zugriff auf heterogene, label-bewusste Beispiele eine bessere Balance findet.
Interpretierbarkeit: Das Modell liefert nicht nur Vorhersagen, sondern auch nachvollziehbare Erklärungen, die auf den Ähnlichkeiten mit historischen Betrugsfällen basieren.

5. Bedeutung und Fazit

Das Paper zeigt, dass LLMs durch gezielte Feature-Reduktion und Retrieval-Augmented Generation effektiv für die Betrugserkennung in strukturierten Finanzdaten eingesetzt werden können.

Praktischer Wert: FinFRE-RAG schließt die Leistungslücke zwischen LLMs und traditionellen Modellen und bietet gleichzeitig den großen Vorteil der Interpretierbarkeit. Analysten erhalten nicht nur ein Signal, sondern eine Begründung, warum eine Transaktion als riskant eingestuft wurde.
Zukunftsperspektive: Der Ansatz dient als Brücke, um LLMs als unterstützende Werkzeuge in der Betrugsanalyse einzusetzen, anstatt sie als reine Klassifikatoren zu verwenden. Er unterstreicht, dass das „Schlussfolgern" über historische Beispiele (In-Context Learning) in diesem Kontext oft effektiver ist als das reine Anpassen der Modellparameter (Fine-Tuning).

Die Studie warnt jedoch vor Limitationen wie der Abhängigkeit von öffentlichen Datensätzen, der Notwendigkeit von menschlicher Überprüfung für kritische Entscheidungen und potenziellen Risiken durch Retrieval-Poisoning oder Prompt-Injection.