LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection
Dieses Paper schlägt LLM-Detector vor, ein neuartiges Framework, das In-Context Learning nutzt, um normale tabellarische Daten in strukturierte Prompts für code-generierte Scoring-Engines umzuwandeln, was eine effektive Anomalieerkennung über diverse Datensätze hinweg ermöglicht, ohne dass ein Fine-Tuning oder ein Training neuronaler Netze erforderlich ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In dem weiten, leisen Summen moderner Rechenzentren verbirgt sich oft eine ganz bestimmte Art von Unregelmäßigkeit. Es ist keine dramatische Explosion oder ein eklatanter Fehler, sondern ein subtiles Falschsein innerhalb einer Tabelle aus Zahlen und Kategorien. Dies ist die Welt der tabellarischen Daten, das digitale Hauptbuch, das alles aufzeichnet – von Banktransaktionen und Krankenakten bis hin zu Serverprotokollen und Versicherungsansprüchen. Seit Jahrzehnten haben Computer die Aufgabe, die eine betrügerische Transaktion unter Millionen legitimer zu finden oder den einen kranken Patienten unter Tausenden gesunden. Die Herausforderung besteht darin, dass diese „Anomalien“ selten wie offensichtliche Fehler aussehen. Sie wirken an der Oberfläche oft vollkommen normal, verletzen jedoch die verborgenen Regeln, die bestimmen, wie verschiedene Informationsteile zueinander in Beziehung stehen sollten. Das Alter, das Einkommen und die Steuerklasse einer Person folgen normalerweise einem vorhersehbaren Muster; wenn sie dies nicht tun, deutet das auf ein Problem hin, selbst wenn jede einzelne Zahl für sich genommen plausibel erscheint.
Jahrelang war der Standardweg, um diese verborgenen Fehler aufzuspüren, der Bau komplexer mathematischer Modelle, die lernen, wie „Normalität“ aussieht, um dann alles zu markieren, was zu weit von diesem Muster abweicht. In jüngerer Zeit haben Wissenschaftler versucht, große Sprachmodelle einzusetzen – dieselben leistungsstarken KI-Systeme, die Aufsätze schreiben oder Fragen beantworten können –, um diese Fehler zu entdecken. Die Idee war: Wenn man einem Computer beibringen könnte, eine Datenzeile wie einen Satz zu lesen, würde er die Geschichte hinter den Zahlen vielleicht besser verstehen als ein Taschenrechner. Diese frühen Versuche standen jedoch vor einer erheblichen Hürde: Sie waren entweder zu langsam, um in Echtzeit nützlich zu sein, oder sie erforderten, dass die KI auf neuen Daten neu trainiert wurde, was teuer und rechenintensiv ist. Es fiel ihnen schwer, das chaotische Gemisch aus Zahlen und Textkategorien zu bewältigen, das reale Daten oft enthalten, wobei sie häufig die Bedeutung der Daten im Prozess verloren.
Ein Team von Forschern aus australischen Universitäten hat einen anderen Weg vorgeschlagen, um dieses Rätsel zu lösen – einen Weg, bei dem die künstliche Intelligenz nicht als ein Schüler betrachtet wird, der trainiert werden muss, sondern als ein geschickter Architekt, dem man einen Bauplan gibt. Anstatt die KI zu zwingen, von Grund auf zu lernen oder Beispiele auswendig zu lernen, baten sie sie, ein maßgeschneidertes Programm basierend auf einer Zusammenfassung dessen zu schreiben, was die normalen Daten ausmachen. Die Forscher nennen diesen neuen Ansatz LLM-Detector. Ihre Methode beruht auf dem Konzept des „In-Context Learning“, das es einem großen Sprachmodell ermöglicht, eine komplexe Aufgabe allein durch eine klare Beschreibung der Regeln und einiger Beispiele auszuführen, ohne sein internes Gehirn ändern oder einen langen Trainingsprozess durchlaufen zu müssen.
Der Prozess beginnt damit, dass eine große Sammlung normaler, gesunder Daten – wie etwa tausende legitime Bankdatensätze – in drei Schlüsseltypen von Informationen destilliert wird. Zuerst berechnet das System das statistische Profil jeder Spalte und notiert dabei Durchschnittswerte, typische Bereiche und wie verbreitet bestimmte Kategorien sind. Zweitens bildet es die kausalen Beziehungen ab und ermittelt, welche Informationen von anderen abhängen; zum Beispiel lernt es, dass ein hohes Einkommen normalerweise mit einer bestimmten Steuerklasse korreliert. Drittens wählt es eine kleine, repräsentative Gruppe tatsächlicher Datenpunkte aus, die als Anker dienen und die typische Form und Verteilung der Daten zeigen. Diese drei Elemente werden dann in einen einzigen, detaillierten Prompt verpackt und an das große Sprachmodell gesendet.
Das Modell liest diesen Prompt und schreibt als Codegenerator ein vollständiges, ausführbares Computerprogramm, das speziell für diesen Datensatz entwickelt wurde. Dieses Programm ist keine bloße Vermutung; es ist eine Reihe von Anweisungen, die genau weiß, wie man nach statistischen Auffälligkeiten sucht, wie man gebrochene Beziehungen zwischen Variablen erkennt und wie man misst, wie weit ein neuer Datenpunkt vom Zentrum der normalen Menge entfernt liegt. Sobald dieses Programm geschrieben ist, wird es gespeichert und gegen neue, ungesehene Daten ausgeführt. Wenn ein neuer Datensatz eintrifft, berechnet das Programm sofort einen Anomaliewert, eine Zahl, die angibt, wie verdächtig der Datensatz ist. Wenn der Wert hoch ist, bedeutet dies, dass der Datensatz gegen die Regeln verstößt, die die KI aus den normalen Daten abgeleitet hat.
Die Forscher testeten diese Methode an vierundzwanzig verschiedenen Datensätzen, die von kleinen Krankenakten bis hin zu massiven Cybersecurity-Protokollen reichten. Sie verglichen ihren Ansatz mit fünfzehn anderen modernen Methoden, einschließlich traditioneller statistischer Werkzeuge, Deep-Learning-Modelle und der bisherigen Versuche, Sprachmodelle für diese Aufgabe einzusetzen. Die Ergebnisse zeigten, dass ihre Methode konsistent besser abschnitt als die anderen, insbesondere bei Datensätzen, die Zahlen und Textkategorien mischten. Im Durchschnitt erreichte ihr Ansatz einen Erkennungsgenauigkeitswert von 0,7407, was höher war als die nächstbeste Methode. Entscheidend war, dass diese Leistung ohne die hohen Rechenkosten eines neuen Modelltrainings erreicht wurde. Da die KI den Code nur einmal schreibt und sich dann zurückzieht, ist das System unglaublich schnell und benötigt nur einen Bruchteil einer Sekunde, um Daten zu verarbeiten, im Vergleich zu den Minuten oder Stunden, die andere Methoden benötigen.
Die Studie untersuchte auch, wie verschiedene Teile des Systems zu seinem Erfolg beitrugen. Sie fanden heraus, dass die Angabe der rein statistischen Zahlen zwar hilfreich war, das Hinzufügen der Karte der Beziehungen zwischen den Variablen das System jedoch signifikant besser darin machte, subtile Fehler zu finden. Die Einbeziehung der repräsentativen Beispiele der normalen Daten verfeinerte die Fähigkeit des Systems, die gesamte Form der Daten zu verstehen. Die Forscher testeten die Methode auch mit verschiedenen zugrunde liegenden KI-Modellen und fanden heraus, dass stärkere Modelle zwar etwas besser abschnitten, aber das Kernkonzept des Schreibens eines maßgeschneiderten Programms generell gut funktionierte. Dies deutet darauf hin, dass die Stärke der Methode in der Struktur des Ansatzes liegt – der Übersetzung von Daten in eine Reihe logischer Regeln – und nicht von einem spezifischen Typ der künstlichen Intelligenz abhängt.
Indem sie das Problem der Anomalieerkennung in eine Aufgabe der Codegenerierung verwandelten, haben die Forscher ein System geschaffen, das sowohl leistungsstark als auch praktikabel ist. Es erfordert nicht die enorme Rechenleistung, die normalerweise mit fortgeschrittener künstlicher Intelligenz verbunden ist, noch muss es jedes Mal neu trainiert werden, wenn sich die Daten ändern. Es liest einfach die Geschichte dessen, was normal ist, schreibt ein Regelwerk zur Erkennung von Ausnahmen und wendet dieses Regelwerk dann auf die reale Welt an. Dieser Ansatz bietet einen vielversprechenden Weg für Branchen, die große Datenmengen auf Risiken überwachen müssen, von der Verhinderung von Finanzbetrug bis hin zur Sicherung von Computernetzwerken, und beweist, dass die effektivste Art, eine Nadel im Heuhaufen zu finden, manchmal darin besteht, dem Computer beizubringen, einen besseren Magneten zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.