Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection
Dieses Paper schlägt ein Framework für domänenspezifisches Wissen-erweitertes LLM vor, das strukturierte Erkenntnisse mit einem zweistufigen Erkennungssystem integriert, um täuschende Konversationen effektiv zu identifizieren und Concept Drift als harmlos oder betrügerisch zu klassifizieren, wobei eine Genauigkeit von 98 % auf dem SEConvo-Datensatz erreicht wird und dabei Zero-Shot-Baselines in hochsensiblen NLP-Anwendungen übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als einen riesigen, belebten digitalen Marktplatz vor. Auf diesem Platz unterhalten sich die Menschen, teilen Rezensionen und treiben Geschäfte. Aber genau wie in jeder echten Stadt gibt es auch hier Unruhestifter. Einige sind wie die „Fake News“-Flugblätter, die an der Straßenecke verteilt werden und versuchen, Sie mit übertriebenen Geschichten zu täuschen. Andere sind wie geschwätzige Betrüger, die darauf warten, dass Sie Vertrauen fassen, bevor sie nach Ihrem Geldbeutel fragen. Das Problem ist, dass diese Unruhestifter immer klüger werden. Sie nutzen nicht mehr nur die alten Tricks; sie ändern ihre Stimmen, ihre Themen und ihren Stil, um sich anzupassen. In der Welt der Informatik wird dieses ständige Wechseln als „Concept Drift“ bezeichnet. Es ist wie ein Chamäleon, das seine Farbe nicht nur ändert, um sich zu verstecken, sondern um die spezifische Blume nachzuahmen, auf der es sitzt.
Um diese digitalen Trickbetrüger zu fangen, haben Wissenschaftler „Detektive“ gebaut – Computerprogramme, die als Large Language Models (LLMs) bezeichnet werden. Betrachten Sie diese LLMs als superintelligente Roboter, die fast alles im Internet gelesen haben. Sie sind großartig darin, Sprache zu verstehen, aber sie können manchmal verwirrt werden. Ohne eine spezifische Anleitung könnten sie einen harmlosen Themenwechsel mit einem Betrug verwechseln, oder schlimmer noch, sie könnten einen Betrug übersehen, weil der Trickbetrüger sein Skript gerade so weit geändert hat, dass es normal aussieht. Diese Arbeit stellt eine einfache, aber kraftvolle Frage: Was wäre, wenn wir diesen Roboter-Detektiven ein spezielles „Spickzettel“ oder einen Satz von Regeln geben würden, die auf realweltlichem Wissen darüber basieren, wie Betrüger tatsächlich vorgehen? Würde ihnen das helfen, die Fälschungen besser zu erkennen, selbst wenn die Betrüger versuchen, ihre Taktiken zu ändern?
Die Autoren dieser Arbeit, Ali Şenol, Garima Agrawal und Huan Liu, beschlossen, ein neues Team von Detektiven aufzubereiten, um dies zu beantworten. Sie verließen sich nicht nur auf das allgemeine Wissen des Roboters; sie entwickelten ein System, das das Gehirn des Roboters mit einem strukturierten Leitfaden für „Domänenwissen“ kombiniert. Dieser Leitfaden ist wie ein spezialisiertes Trainingshandbuch, das dem Roboter genau lehrt, worauf er achten muss, wie zum Beispiel übermäßig enthusiastisches Lob, plötzliche Anfragen nach Kreditkartennummern oder eine seltsam formelle Sprache, die nicht zum Gespräch passt.
Ihr System funktioniert in drei klugen Schritten, wie ein hochtechnologischer Sicherheitscheckpunkt. Zuerst prüft ein „Domänenwissen“-Roboter, ob ein Gespräch von Anfang an gefälscht oder täuschend wirkt. Wenn etwas verdächtig erscheint, wandert das Gespräch zur zweiten Station: einem „Drift-Detektor“. Diese Station fungiert wie ein Bewegungsmelder und beobachtet, ob sich das Thema oder der Ton eines Gesprächs plötzlich auf seltsame Weise ändert (das ist der „Concept Drift“). Schließlich, falls eine Änderung erkannt wird, tritt ein zweiter „Domänenwissen“-Roboter ein, um herauszufinden, warum sie stattgefunden hat. Ist es nur ein harmloser Themenwechsel (benigne) oder versucht ein Betrüger, zu einem neuen Trick überzugehen (adversarial)?
Die Forscher testeten diese Idee auf zwei Arten. Zuerst betrachteten sie statische gefälschte Rezensionen (wie gefälschte Yelp-Rezensionen), um zu sehen, ob die Gabe eines Spickzettels dem Roboter half. Sie fanden heraus, dass dies einen riesigen Unterschied machte. Zum Beispiel sprang ein Modell namens DeepSeek von einer Trefferquote von 56 % auf 90 %, als es den Spickzettel verwendete. Ein anderes Modell, Claude, verbesserte sich von 87 % auf 95 %.
Dann wechselten sie zur schwierigeren Herausforderung, Multi-Turn-Konversationen, bei denen Menschen über einen längeren Zeitraum hinweg miteinander sprechen. Sie verwendeten einen Datensatz namens SEConvo, der echte und gefälschte Konversationen enthält. Hier waren die Ergebnisse noch beeindruckender. Als sie ihr vollständiges Drei-Schritte-System mit dem LLaMA-Modell verwendeten, erreichte es eine erstaunliche Genauigkeit von 98 % beim Erkennen von Betrug und bei der korrekten Identifizierung, ob ein Wechsel im Gespräch harmlos oder bösartig war. Dies war deutlich besser als ältere Methoden, die keine spezialisierten Roboter oder Spickzettel verwendeten.
Die Arbeit legt nahe, dass diese smarten Roboter zwar leistungsstark sind, sie aber ein wenig Hilfe von menschlichen Experten benötigen, um in Situationen mit hohem Einsatz wirklich zuverlässig zu sein. Indem man ihnen spezifisches, strukturiertes Wissen darüber einspeist, wie Betrug funktioniert, wird das System nicht nur genauer, sondern auch besser darin, zu erklären, warum es ein Gespräch als verdächtig eingestuft hat. Die Autoren kommen zu dem Schluss, dass dieser Ansatz ein starker Schritt nach vorn ist, um den Online-Raum sicher zu halten, und beweist, dass man mit der Kombination aus einem Robotergehirn und dem menschlichen Verständnis von Täuschung einen viel schärferen Detektiven erhält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.