SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay
SeqLLM est un nouveau cadre déployé chez WeChat Pay qui améliore les grands modèles de langage grâce à une modélisation de séquences comportementales via un vocabulaire discret compact, un projecteur d'alignement à deux étapes et une injection de capacités guidée par préfixe, atteignant des résultats de pointe sur les benchmarks de contrôle des risques marchands et de recommandation tout en préservant les capacités linguistiques originales du modèle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de résoudre un mystère. Vous avez un détective incroyablement doué pour lire les indices écrits en mots — comme une entrée de journal intime ou un article de presse. Ce détective est un Grand Modèle de Langage (LLM), un type de cerveau informatique entraîné sur presque tout ce que les humains ont jamais écrit. Il peut comprendre le sarcasme, résumer des histoires et expliquer des idées complexes mieux que presque n'importe qui. Mais ce détective a un angle mort : il ne sait pas lire une longue liste d'actions, comme une chronologie de chaque fois que quelqu'un a acheté un café, visité un parc ou tapoté sur un écran. Cette liste est appelée une « séquence comportementale ».
Dans le monde réel, surtout dans les paiements en ligne, la vérité se cache souvent dans le mélange des deux. Un magasin peut paraître parfaitement normal dans sa description (le texte), mais son historique de transactions (le comportement) peut montrer qu'il n'opère qu'à 3 heures du matin dans différentes provinces, ciblant les personnes âgées. Si vous ne lisez que la description, vous manquez le danger. Si vous ne regardez que la liste des transactions, vous manquez le contexte. Le défi auquel les scientifiques sont confrontés est d'apprendre au détective expert en mots à comprendre aussi la chronologie experte en actions, sans qu'il oublie comment parler ou raisonner. Si vous essayez de forcer le détective à mémoriser un million de chronologies, il pourrait devenir si confus qu'il en oublierait comment écrire une simple phrase. Ce document s'attaque à ce problème exact : comment donner à un expert du langage un superpouvoir pour repérer les motifs dans le temps sans qu'il perde sa capacité à réfléchir.
L'histoire du papier : Enseigner à un détective à lire les chronologies
Les chercheurs de WeChat Pay et de quelques universités ont conçu un nouveau cadre ingénieux appelé SeqLLM. Voyez cela comme un camp d'entraînement spécial pour notre détective expert en mots. Leur objectif était de permettre au détective de regarder le profil d'un marchand (texte) et son long historique de transactions (comportement) en même temps pour repérer la fraude.
Le problème de l'ancienne méthode
Auparavant, si vous vouliez qu'un modèle de langage comprenne une liste d'actions, vous pouviez essayer d'écrire simplement la liste sous forme d'histoire. « D'abord, l'utilisateur a acheté une chemise. Ensuite, il a acheté des chaussures... » Mais c'est comme essayer de lire un roman où chaque mot est un nombre ; cela devient trop long et le détective est submergé.
Une autre façon était d'enseigner au détective un tout nouveau langage de nombres juste pour les actions. Mais cela avait un effet secondaire effrayant : à mesure que le détective apprenait ce nouveau langage, il commençait à oublier son ancien. C'était comme un étudiant apprenant un nouveau sujet si intensément qu'il en oubliait sa langue maternelle. C'est ce qu'on appelle l'« oubli catastrophique ». Le papier montre que si vous essayez d'enseigner un modèle de cette manière en utilisant des méthodes standards, sa capacité à comprendre le langage général peut s'effondrer d'un score élevé de 0,78 à un terrible 0,27.
La solution SeqLLM : Trois tours de magie
Les auteurs n'ont pas seulement jeté plus de données sur le problème ; ils ont construit un système plus intelligent avec trois parties spécifiques :
- Le Vocabulaire Compact (Le Shorthand) : Au lieu d'écrire « J'ai acheté un article à 200 $ à 14h », ils ont créé un code abrégé spécial. Ils ont décomposé chaque action en jetons (tokens) minuscules et spécifiques comme
<Temps:14h>,<Montant:200>, et<Canal:QR>. C'est comme donner au détective un ensemble de briques Lego plutôt qu'un tas de sable. C'est beaucoup plus petit, plus propre, et cela ne se mélange pas avec les mots que le détective connaît déjà. - Le Traducteur (Le Pont) : Ces nouvelles briques Lego (tokens) n'ont aucun sens pour le détective au début. Ils ont donc construit un « projecteur », qui est comme un traducteur enseignant au détective la signification de chaque brique. Ils n'ont pas simplement jeté les briques au modèle ; ils ont utilisé une leçon en deux étapes. D'abord, ils ont appris au modèle à traduire les briques en anglais normal (par exemple, transformer
<Temps:14h>en « 14h »). Une fois que le modèle a compris le sens, ils sont passés à la deuxième étape : le raisonnement. Ils ont demandé au modèle de regarder une séquence entière de briques et d'expliquer le motif, comme « Cette personne ne fait des achats que tard dans la nuit ». - Le Préfixe Secret (Le Masque d'Entraînement) : C'est le tour le plus important. Habituellement, pour apprendre une nouvelle compétence à un modèle, on le fait pratiquer sur cette compétence constamment, ce qui fait qu'il oublie tout le reste. SeqLLM utilise une méthode « guidée par préfixe ». Imaginez que le détective reçoive une carte d'instruction spécifique avant chaque tâche, comme « Maintenant, agissez en tant qu'analyste de chronologie ». Le modèle n'apprend la compétence de chronologie que lorsque cette carte est présente. Quand la carte disparaît, le modèle agit simplement comme son moi normal et intelligent. Cela empêche l'apprentissage de la chronologie de se propager et de perturber les connaissances générales du détective.
Ce qu'ils ont trouvé
Les résultats étaient impressionnants. Lorsqu'ils ont testé cette nouvelle méthode :
- Aucune perte de mémoire : Le modèle a appris à prédire l'action suivante dans une séquence aussi bien que les anciennes méthodes oublieuses (score de 0,806 contre 0,804), mais il a gardé ses compétences linguistiques intactes (score de 0,789 au lieu de s'effondrer à 0,27).
- Succès dans le monde réel chez WeChat Pay : Ils ont déployé ce système pour vérifier des millions de marchands chaque jour. Comparé à leur meilleur système précédent, le nouveau SeqLLM a détecté les marchands risqués avec une précision de 97,5 % (contre 92,0 %). Mieux encore, le nombre d'appels contestés par des marchands innocents est passé de 12 % à environ 2 %, et ils n'ont accidentellement blanchi aucun marchand coupable.
- Meilleure détection de la fraude : Lorsqu'ils ont utilisé la « compréhension » du nouveau système pour aider un autre détecteur de fraude, cela a amélioré la détection de la fraude de haut niveau de 26,8 points de pourcentage. C'est un bond massif pour un système qui traite des milliards de transactions.
- Génie Général : Ils ont également testé le système sur des recommandations de films et de livres. Il a battu les autres modèles de pointe jusqu'à 32 % dans la recherche du prochain article approprié, tout en utilisant 4,8 fois moins de puissance de calcul que la concurrence.
Ce qu'ils ont écarté
Le papier montre explicitement que le simple fait d'écrire le comportement sous forme d'une longue histoire (sérialisation) ne fonctionne pas ; cela a en fait rendu le système moins performant, faisant chuter la précision à 83 %. Ils ont également prouvé que vous ne pouvez pas simplement « réparer » le problème d'oubli plus tard en ajoutant des données linguistiques ; une fois que le modèle a oublié, il est difficile de le récupérer. La seule façon qui a fonctionné était de prévenir l'oubli dès le départ grâce à leur méthode guidée par préfixe.
En résumé, SeqLLM est une façon de donner à un expert du langage une nouvelle paire d'yeux pour voir les motifs dans le temps, sans qu'il oublie comment parler. C'est une manière plus intelligente, plus rapide et plus précise de repérer les problèmes dans le monde numérique, prouvant que l'on n'a pas besoin de sacrifier une compétence pour en acquérir une autre.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.