SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay
SeqLLM is een nieuw framework dat bij WeChat Pay wordt ingezet en Large Language Models verbetert met gedragssequentie-modellering via een compacte discrete vocabulaire, een projector met twee fasen van uitlijning en prefix-gestuurde capaciteitsinjectie, waarmee het de beste resultaten behaalt op benchmarks voor risicobeheersing bij handelaren en aanbevelingen, terwijl de oorspronkelijke taalvaardigheden van het model behouden blijven.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een mysterie probeert op te lossen. Je hebt een detective die ongelooflijk goed is in het lezen van aanwijzingen in woorden — zoals een dagboekfragment of een nieuwsartikel. Deze detective is een Large Language Model (LLM), een type computerbrein dat getraind is op bijna alles wat mensen ooit hebben geschreven. Het kan sarcasme begrijpen, verhalen samenvatten en complexe ideeën beter uitleggen dan bijna wie dan ook. Maar deze detective heeft een blinde vlek: het weet niet hoe het een lange lijst met acties moet lezen, zoals een tijdlijn van elke keer dat iemand koffie kocht, een park bezocht of op een scherm tikte. Die lijst wordt een "behavioral sequence" (gedragsvolgorde) genoemd.
In de echte wereld, vooral op plekken zoals bij online betalingen, schuilt de waarheid vaak in de mix van beide. Een winkel kan er in zijn beschrijving (de tekst) volkomen normaal uitzien, maar de geschiedenis van zijn transacties (het gedrag) kan laten zien dat de winkel alleen om 3 uur 's nachts opereert in verschillende provincies en zich richt op ouderen. Als je alleen de beschrijving leest, mis je het gevaar. Als je alleen naar de transactielijst kijkt, mis je de context. De uitdaging waar wetenschappers voor staan, is om de woord-slimme detective ook te leren de actie-slimme tijdlijn te begrijpen, zonder dat het vergeet hoe het moet praten of redeneren. Als je probeert de detective miljoenen tijdlijnen te laten onthouden, kan hij zo verward raken dat hij vergeet hoe hij een simpele zin schrijft. Dit artikel pakt exact dat probleem aan: hoe je een taalexpert een superkracht geeft om patronen in de tijd te herkennen zonder zijn vermogen om na te denken te verliezen.
Het Verhaal van het Papier: Een Detective Leren Tijdlijnen te Lezen
De onderzoekers van WeChat Pay en een aantal universiteiten kwamen met een slim nieuw framework genaamd SeqLLM. Denk aan dit als een speciale trainingskamp voor onze woord-slimme detective. Hun doel was om de detective te laten kijken naar het profiel van een handelaar (tekst) en diens lange geschiedenis van transacties (gedrag) tegelijkertijd, om fraude op te sporen.
Het Probleem met de Oude Manier
Voorheen, als je wilde dat een taalmodel een lijst met acties begreep, probeerde je de lijst gewoon als een verhaal uit te schrijven. "Eerst kocht de gebruiker een shirt. Daarna kocht hij schoenen..." Maar dit is alsof je een roman probeert te lezen waarin elk woord een getal is; het wordt te lang en de detective raakt overweldigd.
Een andere manier was om de detective een hele nieuwe taal van getallen te leren, specifiek voor acties. Maar dit had een angstaanjagend bijeffect: naarmate de detective deze nieuwe taal leerde, begon hij zijn oude taal te vergeten. Het was alsof een student een nieuw vak zo intensief leerde dat hij vergat zijn moedertaal te spreken. Dit wordt "catastrophic forgetting" (catastrofaal vergeten) genoemd. Het papier laat zien dat als je een model op deze manier probeert te onderwijzen met standaardmethoden, het vermogen om algemene taal te begrijpen kan instorten van een hoge score van 0,78 naar een verschrikkelijke 0,27.
De SeqLLM Oplossing: Drie Magische Trucs
De auteurs gooiden niet simpelweg meer data op het probleem; ze bouwden een slimmer systeem met drie specifieke onderdelen:
- De Compacte Vocabulaire (De Afkorting): In plaats van uit te schrijven "Ik kocht een item van $200 om 14:00 uur", creëerden ze een speciale afkortingscode. Ze braken elke actie af in kleine, specifiek tokens zoals
<Tijd:14:00>,<Bedrag:200>en<Kanaal:QR>. Dit is alsof je de detective een set Lego-blokjes geeft in plaats van een hoop zand. Het is veel kleiner, schoner en mengt zich niet met de woorden die de detective al kent. - De Vertaler (De Brug): Deze nieuwe Lego-blokjes (tokens) zijn in het begin betekenisloos voor de detective. Dus bouwden ze een "projector", wat een soort vertaler is die de detective leert wat elk blokje betekent. Ze gaven de blokjes niet zomaar aan het model; ze gebruikten een tweestaps-les. Eerst leerden ze het model om de blokjes terug te vertalen naar normaal Engels (bijv.
<Tijd:14:00>veranderen in "14:00 uur"). Zodra het model de betekenis begreep, gingen ze over naar de tweede stap: redeneren. Ze vroegen het model om naar een hele reeks blokjes te kijken en het patroon uit te leggen, zoals: "Deze persoon winkelt alleen laat in de nacht." - Het Geheime Prefix (Het Trainingsmasker): Dit is de belangrijkste truc. Normaal gesproken, om een model een nieuwe vaardigheid te leren, laat je het constant oefenen op die vaardigheid, wat ervoor zorgt dat het de rest vergeet. SeqLLM gebruikt een "prefix-guided" methode. Stel je voor dat de detective voor elke taak een specifieke instructiekaart krijgt, zoals: "Nu, acteer als een tijdlijn-analist." Het model leert de tijdlijn-vaardigheid alleen wanneer die specifieke kaart aanwezig is. Wanneer de kaart weg is, gedraagt het model zich gewoon als zijn normale, slimme zelf. Dit voorkomt dat het "leren van de tijdlijn" zich verspreidt en de algemene kennis van de detective verstoort.
Wat Ze Vonden
De resultaten waren indrukwekkend. Toen ze deze nieuwe methode testten:
- Geen Geheugenverlies: Het model leerde de volgende actie in een reeks te voorspellen net zo goed als de oude, vergetelijke methoden (score 0,806 vs 0,804), maar behield zijn taalvaardigheden intact (score 0,789 in plaats van de crash naar 0,27).
- Succes in de echte wereld bij WeChat Pay: Ze hebben dit systeem ingezet om dagelijks miljoenen handelaren te controleren. Vergeleken met hun vorige beste systeem, ontdekte het nieuwe SeqLLM risicovolle handelaren met een precisie van 97,5% (omhoog van 92,0%). Nog beter: het aantal boze bezwaren van onschuldige handelaren daalde van 12% naar ongeveer 2%, en ze hebben geen enkele schuldige handelaar per ongeluk vrijgesproken.
- Betere Fraudedetectie: Wanneer ze het "begrip" van het nieuwe systeem gebruikten om een andere fraudedetector te helpen, verbeterde dit de detectie van top-level fraude met 26,8 procentpunt. Dat is een enorme sprong voor een systeem dat miljarden transacties verwerkt.
- Algemeen Genie: Ze testten het ook op film- en boekaanbevelingen. Het versloeg andere topmodellen met wel 32% in het vinden van het juiste volgende item, terwijl het 4,8 keer minder rekenkracht gebruikte dan de concurrentie.
Wat Ze Uitsloten
Het papier toonde expliciet aan dat het simpelweg uitschrijven van het gedrag als een lang verhaal (serialisatie) niet werkt; het maakte het systeem zelfs slechter, waarbij de precisie daalde naar 83%. Ze bewezen ook dat je het vergetelheidsprobleem niet zomaar kunt "repareren" door later meer taaldata toe te voegen; zodra het model is vergeten, is het moeilijk om het terug te krijgen. De enige manier die werkte, was het voorkomen van het vergeten in de eerste plaats via hun prefix-guided methode.
Kortom, SeqLLM is een manier om een taalexpert een nieuw paar ogen te geven om patronen in de tijd te zien, zonder dat het vergeet hoe het moet praten. Het is een slimmere, snellere en nauwkeurigere manier om problemen op te sporen in de digitale wereld, wat bewijst dat je niet hoeft op te offeren om een andere vaardigheid te verkrijgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.