SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay
SeqLLM ist ein neuartiges Framework, das bei WeChat Pay eingesetzt wird und Large Language Models durch die Modellierung von Verhaltenssequenzen mittels eines kompakten diskreten Vokabulars, eines zweistufigen Alignment-Projektors und einer präfixgesteuerten Kapazitätsinjektion erweitert, wobei es State-of-the-Art-Ergebnisse bei Benchmarks zur Händler-Risikokontrolle und Empfehlung erzielt und gleichzeitig die ursprünglichen Sprachfähigkeiten des Modells bewahrt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen. Sie haben einen Detektiv, der unglaublich geschickt darin ist, Hinweise zu lesen, die in Worten geschrieben stehen – wie ein Tagebucheintrag oder ein Zeitungsartikel. Dieser Detektiv ist ein Large Language Model (LLM), eine Art Computergehirn, das mit fast allem trainiert wurde, was Menschen jemals geschrieben haben. Es kann Sarkasmus verstehen, Geschichten zusammenfassen und komplexe Ideen besser erklären als fast jeder andere. Aber dieser Detektiv hat eine Schwachstelle: Er weiß nicht, wie man eine lange Liste von Handlungen liest, wie etwa einen Zeitstrahl jedes Mal, wenn jemand einen Kaffee gekauft, einen Park besucht oder auf einen Bildschirm getippt hat. Diese Liste wird als „Verhaltenssequenz“ bezeichnet.
In der realen Welt, besonders im Bereich der Online-Zahlungen, verbirgt sich die Wahrheit oft in der Mischung aus beidem. Ein Geschäft mag in seiner Beschreibung (dem Text) vollkommen normal aussehen, aber seine Transaktionshistorie (das Verhalten) könnte zeigen, dass es nur um 3 Uhr morgens in verschiedenen Provinzen operiert und gezielt ältere Menschen ins Visier nimmt. Wenn man nur die Beschreibung liest, übersieht man die Gefahr. Wenn man nur die Transaktionsliste betrachtet, verpasst man den Kontext. Die Herausforderung für Wissenschaftler besteht darin, dem wortgeschickten Detektiv beizubringen, auch den aktionsgeschickten Zeitstrahl zu verstehen, ohne dass er vergisst, wie man spricht oder argumentiert. Wenn man versucht, den Detektiv dazu zu zwingen, eine Million Zeitstrahlen auswendig zu lernen, könnte er so verwirrt werden, dass er vergisst, wie man einen einfachen Satz schreibt. Dieses Paper befasst sich genau mit diesem Problem: Wie man einem Sprachexperten die Superkraft verleiht, Muster in der Zeit zu erkennen, ohne dass er seine Fähigkeit zum Denken verliert.
Die Geschichte des Papers: Einem Detektiv das Lesen von Zeitstrahlen beibringen
Die Forscher von WeChat Pay und einigen Universitäten entwickelten ein kluges neues Framework namens SeqLLM. Betrachten Sie dies als ein spezielles Trainingslager für unseren wortgeschickten Detektiv. Ihr Ziel war es, dem Detektiv zu ermöglichen, gleichzeitig das Profil eines Händlers (Text) und dessen lange Transaktionshistorie (Verhalten) zu betrachten, um Betrug zu erkennen.
Das Problem mit der alten Methode
Früher, wenn man wollte, dass ein Sprachmodell eine Liste von Handlungen versteht, versuchte man vielleicht, die Liste einfach als Geschichte auszuschreiben. „Zuerst kaufte der Nutzer ein Hemd. Dann kaufte er Schuhe...“ Aber das ist, als würde man versuchen, einen Roman zu lesen, in dem jedes einzelne Wort eine Zahl ist; es wird zu lang, und der Detektiv fühlt sich überfordert.
Ein anderer Weg war, dem Detektiv eine ganz neue Sprache aus Zahlen nur für Handlungen beizubringen. Aber dies hatte eine beängstigende Nebenwirkung: Während der Detektiv diese neue Sprache lernte, begann er, seine alte zu vergessen. Es war, als würde ein Schüler ein neues Fach so intensiv lernen, dass er vergisst, seine Muttersprache zu sprechen. Dies wird als „katastrophales Vergessen“ bezeichnet. Das Paper zeigt, dass, wenn man versucht, ein Modell auf diese Weise mit Standardmethoden zu lehren, seine Fähigkeit zum allgemeinen Sprachverständnis von einem hohen Wert von 0,78 auf einen schrecklichen Wert von 0,27 abstürzt.
Die SeqLLM-Lösung: Drei magische Tricks
Die Autoren haben nicht einfach nur mehr Daten auf das Problem geworfen; sie bauten ein intelligenteres System mit drei spezifischen Teilen:
- Das kompakte Vokabular (Die Kurzschrift): Anstatt auszuschreiben „Ich habe einen Artikel für 200 $ um 14 Uhr gekauft“, erschufen sie einen speziellen Kurzschrifttest. Sie brachen jede Handlung in winzige, spezifische Token auf, wie
<Zeit:14Uhr>,<Betrag:200>und<Kanal:QR>. Dies ist, als würde man dem Detektiv einen Satz Lego-Steine statt eines Haufens Sand geben. Es ist viel kleiner, sauberer und vermischt sich nicht mit den Wörtern, die der Detektiv bereits kennt. - Der Übersetzer (Die Brücke): Diese neuen Lego-Steine (Token) sind für den Detektiv anfangs bedeutungslos. Also bauten sie einen „Projektor“, der wie ein Übersetzer funktioniert, der dem Detektiv beibringt, was jeder Stein bedeutet. Sie haben dem Modell die Steine nicht einfach nur vorgeworfen; sie nutzten eine zweistufige Lektion. Zuerst brachten sie dem Modell bei, die Steine zurück in normales Englisch zu übersetzen (z. B.
<Zeit:14Uhr>in „14 Uhr“ umzuwandeln). Sobald das Modell die Bedeutung verstanden hatte, gingen sie zum zweiten Schritt über: das Schlussfolgern. Sie baten das Modell, eine ganze Sequenz von Steinen zu betrachten und das Muster zu erklären, wie zum Beispiel: „Diese Person kauft nur spät in der Nacht ein.“ - Das geheime Präfix (Die Trainingsmaske): Dies ist der wichtigste Trick. Normalerweise, um einem Modell eine neue Fähigkeit beizubringen, lässt man es ständig an dieser Fähigkeit üben, was dazu führt, dass es alles andere vergisst. SeqLLM nutzt eine „präfix-gesteuerte“ Methode. Stellen Sie sich vor, der Detektiv erhält vor jeder Aufgabe eine spezifische Anweisungskarte, wie zum Beispiel: „Agieren Sie nun als Zeitstrahl-Analyst.“ Das Modell lernt die Zeitstrahl-Fähigkeit nur dann, wenn diese spezifische Karte vorhanden ist. Wenn die Karte weg ist, agiert das Modell einfach wie sein normales, intelligentes Selbst. Dies verhindert, dass das „Zeitstrahl-Lernen“ ausufert und das allgemeine Wissen des Detektivs durcheinanderbringt.
Was sie herausfanden
Die Ergebnisse waren beeindruckend. Als sie diese neue Methode testeten:
- Kein Gedächtnisverlust: Das Modell lernte, die nächste Aktion in einer Sequenz genauso gut vorherzusagen wie die alten, vergesslichen Methoden (ein Score von 0,806 gegenüber 0,804), aber es behielt seine Sprachkenntnisse intakt (ein Score von 0,789 anstatt auf 0,27 abzustürzen).
- Echter Erfolg bei WeChat Pay: Sie haben dieses System eingesetzt, um täglich Millionen von Händlern zu prüfen. Im Vergleich zu ihrem bisher besten System identifizierte das neue SeqLLM risikoreiche Händler mit einer Präzision von 97,5 % (hoch von 92,0 %). Noch besser: Die Anzahl der wütenden Einsprüche von unschuldigen Händlern sank von 12 % auf etwa 2 %, und sie haben keinen einzigen schuldigen Händler versehentlich freigesprochen.
- Bessere Betrugserkennung: Als sie das „Verständnis“ des neuen Systems nutzten, um einen anderen Betrugsdetektor zu unterstützen, verbesserte es die Erkennung von Betrug auf oberster Ebene um 26,8 Prozentpunkte. Das ist ein gewaltiger Sprung für ein System, das Milliarden von Transaktionen verarbeitet.
- Allgemeines Genie: Sie testeten es auch bei Film- und Buchempfehlungen. Es schlug andere Top-Modelle um bis zu 32 % beim Finden des nächsten richtigen Artikels, und das bei einer 4,8-mal geringeren Rechenleistung als die Konkurrenz.
Was sie ausschlossen
Das Paper zeigte explizit auf, dass es nicht funktioniert, das Verhalten einfach als lange Geschichte auszuschreiben (Serialisierung); dies machte das System sogar schlechter und senkte die Präzision auf 83 %. Sie bewiesen auch, dass man das Vergessen-Problem nicht einfach später durch das Hinzufügen von mehr Sprachdaten „beheben“ kann; sobald das Modell einmal vergessen hat, ist es schwer, es zurückzugewinnen. Der einzige Weg, der funktionierte, war, das Vergessen von vornherein durch ihre präfix-gesteuerte Methode zu verhindern.
Kurz gesagt: SeqLLM ist ein Weg, einem Sprachexperten ein neues Paar Augen für das Erkennen von Mustern in der Zeit zu geben, ohne dass er vergisst, wie man spricht. Es ist eine intelligentere, schnellere und genauere Methode, um Unregelmäßigkeiten in der digitalen Welt aufzuspüren, und beweist, dass man nicht eine Fähigkeit opfern muss, um eine andere zu gewinnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.