Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection

Dieser Artikel schlägt ein domänenwissensgestütztes LLM-Framework vor, das strukturierte Erkenntnisse mit einem zweistufigen Detektionsprozess integriert, um täuschende Gespräche effektiv zu identifizieren und Konzeptdrift als harmlos oder betrügerisch zu klassifizieren, wobei eine Genauigkeit von 98 % und eine überlegene Robustheit im Vergleich zu Zero-Shot-Baselines erreicht werden.

Das Wesentliche

Das große Problem: Der „gestaltwandelnde" Betrüger

Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter in einem belebten Club (dem Internet). Ihre Aufgabe ist es, gefälschte Gäste (Betrüger) zu erkennen, die sich einzuschleichen versuchen.

In der Vergangenheit waren Betrüger leicht zu erkennen, da sie offensichtliche Verkleidungen trugen. Doch heute sind Betrüger wie Gestaltwandler. Sie beginnen damit, ganz normal über das Wetter oder Essen zu sprechen (harmlose Konversation), wechseln dann aber plötzlich die Gangart, um Ihre Kreditkarte zu stehlen oder Sie zu täuschen (Betrug).

Diese plötzliche Änderung des Themas oder des Tons wird als „Concept Drift" (Begriffsdrift) bezeichnet.

• Das Problem: Manchmal ändern auch normale Menschen das Thema (z. B. vom Wetter sprechen und dann um eine Mitfahrgelegenheit bitten). Ein Standard-Sicherheitsbeamter könnte verwirrt sein und einen normalen Themenwechsel für einen Betrug halten oder schlimmer noch, einen Betrug übersehen, weil er mit einer harmlosen Konversation begann.
• Die alten Werkzeuge: Traditionelle Computerprogramme sind wie Wachen, die nur eine Liste mit „schlechten Wörtern" auswendig gelernt haben. Wenn ein Betrüger neue Wörter verwendet oder das Thema wechselt, verpasst die Wache ihn.
• Das neue Werkzeug (LLMs): Große Sprachmodelle (LLMs) sind wie Wachen, die komplexe Geschichten lesen und verstehen können. Allerdings geraten sie manchmal in Verwirrung, erfinden Dinge (Halluzinationen) oder kennen die spezifischen Regeln Ihres Clubs nicht.

Die Lösung: Das System des „Expertenleitfadens"

Die Autoren dieses Papers haben ein Dreiteiliges Sicherheitsteam entwickelt, um diese gestaltwandelnden Betrüger zu fangen. Sie gaben der KI nicht nur ein generisches Gehirn, sondern einen spezialisierten Anleitungsbogen (Domänenwissen), der ihr hilft, die spezifischen Tricks der Betrüger zu verstehen.

So funktioniert ihr System, Schritt für Schritt:

1. Der erste Wächter: Der „Fake-Bewertungs"-Detektor

Bevor sie komplexe Gespräche angehen, testeten sie das System an gefälschten Bewertungen (wie gefälschte Yelp- oder Amazon-Bewertungen).

• Die Analogie: Stellen Sie sich eine Wache vor, die eine Gästeliste überprüft. Ohne Hilfe könnte die Wache eine sehr enthusiastische Bewertung für einen glücklichen Kunden halten.
• Das Upgrade: Das Team gab der Wache eine Checkliste mit „verdächtigen Anzeichen" (z. B. „Ist das Lob zu übertrieben?", „Klingt es wie ein Roboter?", „Gibt es seltsame Buzzwords?").
• Das Ergebnis: Als die Wache diese Checkliste hatte, wurde sie viel besser darin, die Fälschungen zu erkennen. Beispielsweise stieg ein KI-Modell (Claude) von einer Richtigkeit von 87 % auf 95 %, allein durch die Nutzung der Checkliste.

2. Der zweite Wächter: Der „Drift"-Alarm (OCDD)

Sobald das System ein Live-Gespräch überwacht, muss es wissen, ob sich das Thema ändert.

• Die Analogie: Stellen Sie sich ein Gespräch als Fluss vor. Normalerweise fließt das Wasser ruhig. Plötzlich trifft der Fluss auf einen Felsen und ändert seine Richtung.
• Das Werkzeug: Sie verwendeten ein statistisches Werkzeug namens OCDD (One-Class Concept Drift Detector). Dieses Werkzeug versucht noch nicht, die Bedeutung der Wörter zu verstehen; es fungiert einfach wie ein Bewegungsmelder. Wenn der „Fluss" des Gesprächs zu abrupt ändert, geht der Alarm los.

3. Der dritte Wächter: Der „Experten-Interpret"

Wenn der Alarm losgeht, tritt ein zweiter, klügerer Wächter (ein zweites LLM) hinzu.

• Die Aufgabe: Dieser Wächter betrachtet die plötzliche Änderung und fragt: „Ist dies ein harmloser Themenwechsel (wie das Sprechen über das Wetter) oder ist dies eine Falle (wie ein Phishing-Versuch)?"
• Die geheime Waffe: Genau wie der erste Wächter hat auch dieser den spezialisierten Anleitungsbogen. Er weiß, dass es ein spezifisches Betrugsmuster ist, wenn jemand plötzlich nach Ihrer Kreditkarte fragt, nachdem er über einen Job gesprochen hat.
• Das Ergebnis: Dieses System unterschied erfolgreich zwischen einem harmlosen Themenwechsel und einem bösartigen Betrug.

Die Ergebnisse: Wer hat das Spiel gewonnen?

Das Team testete dieses System mit einem Datensatz realer Gespräche (SEConvo) und verglich es mit älteren Methoden.

• Der Champion: Das LLaMA-Modell (eine Open-Source-KI) war der Star. Als es den „spezialisierten Anleitungsbogen" (Domänenwissen) erhielt, erreichte es eine Genauigkeit von 98 %. Es war weit besser als das ältere „Wächter-Team" (traditionelle Machine-Learning-Modelle), das nur etwa 82 % richtig lag.
• Die Lehre: Wenn man der KI spezifisches Wissen darüber gibt, wie Betrüger agieren, wird sie viel intelligenter, zuverlässiger und vertrauenswürdiger, als wenn man sie einfach nur raten lässt.

Zusammenfassung

Betrachten Sie dieses Paper als einen Leitfaden, wie man einen Sicherheitsbeamten ausbildet.

1. Verlassen Sie sich nicht nur auf das Gedächtnis: Alte Wachen (traditionelles ML) vergessen neue Tricks.
2. Verlassen Sie sich nicht nur auf rohe Intelligenz: Kluge Wachen (LLMs) können verwirrt werden oder Dinge erfinden.
3. Geben Sie ihnen eine Spickzettel: Indem man der KI spezifische Regeln und Muster über Betrug zuführt (Domänenwissen), wird sie zu einem Super-Wächter, der die subtilen, gestaltwandelnden Betrüger erkennen kann, die andere übersehen.

Das Paper beweist, dass man durch die Kombination einer intelligenten KI mit dem menschlichen Verständnis von Betrugstaktiken ein System erhält, das hochpräzise ist und erklären kann, warum es einen Betrüger erwischt hat.

Technische Zusammenfassung

Technische Zusammenfassung: Domänenwissen-erweiterte LLMs zur Erkennung von Betrug und Konzeptdrift

1. Problemstellung

Die Erkennung von täuschenden Gesprächen auf dynamischen digitalen Plattformen wird aufgrund sich entwickelnder Sprachmuster und Konzeptdrift (CD) zunehmend schwieriger. Konzeptdrift bezeichnet semantische oder thematische Verschiebungen, die den Kontext oder die Absicht von Interaktionen im Laufe der Zeit verändern. Diese Verschiebungen können böswillige Absichten verschleiern oder normales Gesprächsverhalten imitieren, was eine genaue Klassifizierung erschwert.

Während Large Language Models (LLMs) bei Aufgaben im Bereich der natürlichen Sprache eine starke Leistung zeigen, stoßen sie in risikobehafteten, sensiblen Szenarien auf erhebliche Grenzen:

• Kontextuelle Mehrdeutigkeit: Schwierigkeiten bei der Unterscheidung zwischen echten Themenwechseln (harmlose Drift) und manipulativen Wendungen (adversariale Drift).
• Halluzinationen: Eine Tendenz zur Generierung falscher Informationen, wenn eine spezifische Domänenverankerung fehlt.
• Mangelnde Anpassungsfähigkeit: Traditionelle Machine-Learning-Modelle (ML) verlassen sich auf feste Merkmale und haben Schwierigkeiten mit dem fließenden, mehrdeutigen Charakter von Mehrfachgesprächen.
• Interpretierbarkeit: Die „Black-Box"-Natur vieler Modelle erschwert das Verständnis dafür, warum ein Gespräch als verdächtig markiert wurde – eine kritische Anforderung für die Betrugserkennung.

Die Autoren argumentieren, dass Betrugserkennung und Konzeptdrift nicht als isolierte Aufgaben behandelt werden sollten, da betrügerische Gespräche häufig subtile Verschiebungen in Ton oder Absicht beinhalten, die harmlosen Übergängen ähneln.

2. Methodik

Die Arbeit schlägt ein Domänenwissen (DK)-erweitertes Dual-LLM-Framework vor, das darauf ausgelegt ist, Täuschung und Drift gemeinsam zu modellieren. Die Methodik wird in zwei Phasen durchgeführt:

Phase I: Erkennung gefälschter Bewertungen (statische Einstellungen)

• Ziel: Die Validierung des Werts von Domänenwissen zur Verbesserung der LLM-Leistung bei der Klassifizierung statischer, einstufiger täuschender Inhalte.
• Datensatz: Der Yelp Fake Review Dataset (20.000 Bewertungen: 15.000 echt, 5.000 gefälscht).
• Ansatz:
  1. Musterentdeckung: Eine initiale LLM-Analyse gelabelter Daten identifizierte spezifische sprachliche Marker gefälschter Bewertungen (z. B. übertriebene Lobpreisungen, vage Sentiments, unnatürliche Formulierung, übermäßiger Gebrauch von Buzzwords).
  2. Strukturierte Prompting: Diese identifizierten Muster wurden in strukturierte Prompts kodiert.
  3. Evaluation: LLMs (ChatGPT, DeepSeek, LLaMA, Claude) wurden unter zwei Bedingungen getestet: (1) Zero-shot (ohne Domänenwissen) und (2) mit Domänenwissen (DK) erweitert.

Phase II: Betrug- und Drifterkennung (streamende Dialoge)

• Ziel: Die Erkennung täuschender Mehrfachgespräche und die Klassifizierung der Art semantischer Verschiebungen.
• Datensatz: Der SEConvo-Datensatz (400 Mehrfachgespräche: 40 zum Training, 360 zum Testen).
• Architektur: Eine Pipeline aus drei Komponenten:
  1. DK-LLM-Modul 1: Erkennt, ob ein Gespräch gefälschten oder täuschenden Inhalt enthält.
  2. Drift-Erkennungseinheit (OCDD): Ein One-Class Concept Drift Detector, der mit nicht-maliziösen Gesprächen unter Verwendung einer One-Class Support Vector Machine (SVM) trainiert wurde. Er identifiziert statistische Abweichungen (semantische Verschiebungen) im Dialogstrom.
  3. DK-LLM-Modul 2: Wenn OCDD eine Drift erkennt, interpretiert dieses zweite LLM die Verschiebung unter Verwendung domänenspezifischer Hinweise (z. B. Anfragen nach PII, Dringlichkeit, übermäßige Schmeichelei), um die Drift entweder als harmlos (z. B. themenfremd, Spam) oder adversarial (z. B. Phishing, Manipulation) zu klassifizieren.

3. Hauptbeiträge

Die Arbeit umreißt vier primäre Beiträge:

1. Domänenwissen-erweitertes Dual-LLM-Framework: Eine modulare Architektur, die strukturierte Domänenerkenntnisse in ein Dual-LLM-System integriert, um gleichzeitig Betrug zu erkennen, Konzeptdrift zu identifizieren und Drift-Typen zu klassifizieren – Aufgaben, die oft isoliert behandelt werden.
2. Drei-Stufen-Erkennungspipeline: Ein strukturierter Arbeitsablauf, bestehend aus einem DK-LLM für die initiale Betrugsmarkierung, einem OCDD zur Erkennung semantischer Verschiebungen und einem zweiten DK-LLM zur Drift-Klassifizierung. Dies erhöht die Robustheit und Interpretierbarkeit in streamenden Dialogen.
3. Auswirkung strukturierter Domänen-Prompts: Empirische Belege zeigen, dass die Einbettung domänenspezifischen Wissens in das Prompt-Design die Leistung und Erklärbarkeit sowohl bei synthetischen (gefälschte Bewertungen) als auch bei realen (SEConvo) Datensätzen signifikant steigert.
4. Umfassendes Benchmarking: Eine extensive Evaluation mehrerer LLM-Backbones (ChatGPT, Claude, LLaMA, DeepSeek) unter Zero-shot- und domänengeleiteten Einstellungen, um optimale Konfigurationen für Betrug- und Drifterkennung zu identifizieren.

4. Experimentelle Ergebnisse

Die Studie bewertete die Leistung anhand mehrerer Metriken (Genauigkeit, Präzision, Recall, F1-Score) und verglich Modelle mit und ohne Domänenwissen (DK) sowie mit traditionellen Ensemble-Baselines.

• Phase I (Yelp-Datensatz):

  • Claude: Verbesserung der Genauigkeit von 87 % auf 95 % mit DK.
  • DeepSeek: Zeigte erhebliche Gewinne und stieg von 56 % auf 90 % Genauigkeit.
  • LLaMA: Bescheidene Verbesserung von 52 % auf 58 %.
  • ChatGPT: Geringfügige Verbesserung (54 % auf 56 %), was auf eine Empfindlichkeit gegenüber Variationen im Prompt-Design hindeutet.

• Phase II (SEConvo-Datensatz):

  • LLaMA erwies sich als das robusteste Modell und erreichte 98 % über alle Metriken hinweg (Genauigkeit, Präzision, Recall, F1-Score) mit DK, eine signifikante Verbesserung gegenüber der Basislinie von 90 %.
  • DeepSeek verbesserte seinen F1-Score von 73 % auf 80 %.
  • Vergleich mit Ensemble-Modellen: Das DK-erweiterte Dual-LLM-Framework (LLaMA) schnitt deutlich besser ab als ein traditionelles Ensemble-Modell (kNN, SVM, Imp-Kmeans), das eine Genauigkeit von 82 % erreichte. Der LLM-Ansatz bot überlegene semantische Tiefe und kontextuelles Schlussfolgern.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass ihre Arbeit die Machbarkeit der Integration von Domänenwissen in LLM-Workflows demonstriert, um hohe Präzision und Interpretierbarkeit in komplexen, Echtzeit-Erkennungsszenarien zu erreichen.

• Erhöhte Robustheit: Das Framework bewältigt effektiv die Interdependenz zwischen Täuschung und Drift und reduziert False Positives, die durch harmlose Themenwechsel verursacht werden.
• Interpretierbarkeit: Durch die Trennung der Anomalieerkennung (OCDD) von der semantischen Interpretation (LLM-2) liefert das System klare Begründungen für seine Klassifizierungen, wie durch Beispieloutputs veranschaulicht, die spezifische Phishing-Taktiken identifizieren.
• Modellsensitivität: Die Ergebnisse zeigen, dass nicht alle LLMs gleich auf Domänen-Prompting reagieren; LLaMA und Claude zeigten die signifikantesten Gewinne, wahrscheinlich aufgrund ihrer Schulung auf dialogzentrierten Korpora und Fähigkeiten zum Token-Level-Schlussfolgern.
• Grenzen: Die Autoren geben bescheiden zu, dass LLMs immer noch Schwierigkeiten mit Sarkasmus, kulturellen Idiomen und emotional ambivalenten Sprachen haben, was zu False Positives führen kann. Sie weisen zudem auf die höheren Rechenkosten im Vergleich zu traditionellen Modellen hin und schlagen zukünftige Arbeiten zur Prompt-Kompression oder hybriden leichten Architekturen vor.

Die Arbeit schließt damit, dass Latenz und Kosten zwar Trade-offs darstellen, die Gewinne in Genauigkeit und Interpretierbarkeit diesen Ansatz jedoch für hochriskante Anwendungen wie Cybersicherheit, Online-Marktplätze und Kundenservice-Plattformen geeignet machen.