SeqLLM: Augmenting LLMs with Behavioral-Sequence Modeling for High-Stakes Decisions at WeChat Pay
O SeqLLM é um novo framework implementado no WeChat Pay que aprimora Grandes Modelos de Linguagem por meio de modelagem de sequência comportamental via um vocabulário discreto compacto, um projetor de alinhamento de dois estágios e injeção de capacidade guiada por prefixo, alcançando resultados de estado da arte em benchmarks de controle de risco de comerciantes e recomendação, ao mesmo tempo em que preserva as habilidades linguísticas originais do modelo.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando resolver um mistério. Você tem um detetive que é incrivelmente inteligente em ler pistas escritas em palavras — como uma entrada de diário ou um artigo de notícias. Este detetive é um Grande Modelo de Linguagem (LLM), um tipo de cérebro de computador treinado em quase tudo o que os humanos já escreveram. Ele consegue entender sarcasmo, resumir histórias e explicar ideias complexas melhor do que quase qualquer pessoa. Mas este detetive tem um ponto cego: ele não sabe ler uma longa lista de ações, como uma linha do tempo de cada vez que alguém comprou um café, visitou um parque ou tocou em uma tela. Essa lista é chamada de "sequência comportamental".
No mundo real, especialmente em lugares como pagamentos online, a verdade muitas vezes se esconde na mistura de ambos. Uma loja pode parecer perfeitamente normal em sua descrição (o texto), mas seu histórico de transações (o comportamento) pode mostrar que ela opera apenas às 3 da manhã em diferentes províncias, visando idosos. Se você ler apenas a descrição, você perde o perigo. Se você olhar apenas para a lista de transações, você perde o contexto. O desafio que os cientistas enfrentam é ensinar o detetive especialista em palavras a também entender a linha do tempo especialista em ações sem fazer com que ele esqueça como falar ou raciocinar. Se você tentar forçar o detetive a memorizar um milhão de linhas do tempo, ele pode ficar tão confuso que esquece como escrever uma frase simples. Este artigo aborda exatamente esse problema: como dar a um especialista em linguagem o superpoder de detectar padrões no tempo sem perder sua capacidade de pensar.
A História do Artigo: Ensinando um Detetive a Ler Linhas do Tempo
Os pesquisadores do WeChat Pay e de algumas universidades criaram um novo framework inteligente chamado SeqLLM. Pense nisso como um campo de treinamento especial para o nosso detetive especialista em palavras. O objetivo deles era permitir que o detetive olhasse para o perfil de um comerciante (texto) e seu longo histórico de transações (comportamento) ao mesmo tempo para detectar fraudes.
O Problema do Jeito Antigo
Anteriormente, se você quisesse que um modelo de linguagem entendesse uma lista de ações, você poderia tentar apenas escrever a lista como uma história. "Primeiro, o usuário comprou uma camisa. Depois, ele comprou sapatos..." Mas isso é como tentar ler um romance onde cada palavra individual é um número; fica muito longo e o detetive fica sobrecarregado.
Outra forma era ensinar ao detetive uma linguagem inteira nova de números apenas para ações. Mas isso tinha um efeito colateral assustador: conforme o detetive aprendia essa nova linguagem, ele começava a esquecer a antiga. Era como um estudante aprendendo uma nova disciplina de forma tão intensa que esqueceu como falar sua língua nativa. Isso é chamado de "esquecimento catastrófico". O artigo mostra que, se você tentar ensinar um modelo desta forma usando métodos padrão, sua habilidade de entender a linguagem geral pode despencar de uma pontuação alta de 0,78 para um terrível 0,27.
A Solução SeqLLM: Três Truques Mágicos
Os autores não apenas jogaram mais dados no problema; eles construíram um sistema mais inteligente com três partes específicas:
- O Vocabulário Compacto (O Atalho): Em vez de escrever "Eu comprei um item de $200 às 2 PM", eles criaram um código de atalho especial. Eles quebraram cada ação em tokens minúsculos e específicos como
<Tempo:2PM>,<Valor:200>e<Canal:QR>. Isso é como dar ao detetive um conjunto de peças de LEGO em vez de uma pilha de areia. É muito menor, mais limpo e não se mistura com as palavras que o detetive já conhece. - O Tradutor (A Ponte): Essas novas peças de LEGO (tokens) não têm significado para o detetive no início. Por isso, eles construíram um "projetor", que é como um tradutor que ensina ao detetive o que cada peça significa. Eles não apenas jogaram as peças no modelo; eles usaram uma lição de dois passos. Primeiro, ensinaram o modelo a traduzir as peças de volta para o inglês normal (por exemplo, transformar
<Tempo:2PM>em "2 PM"). Assim que o modelo entendeu o significado, eles passaram para o segundo passo: o raciocínio. Eles pediram ao modelo para olhar uma sequência inteira de peças e explicar o padrão, como "Esta pessoa só faz compras tarde da noite". - O Prefixo Secreto (A Máscara de Treinamento): Este é o truque mais importante. Geralmente, para ensinar uma nova habilidade a um modelo, você o faz praticar nessa habilidade constantemente, o que causa o esquecimento de todo o resto. O SeqLLM usa um método "guiado por prefixo". Imagine que o detetive recebe um cartão de instrução específico antes de cada tarefa, como "Agora, atue como um analista de linha do tempo". O modelo só aprende a habilidade de linha do tempo quando esse cartão específico está presente. Quando o cartão é removido, o modelo age apenas como seu eu normal e inteligente. Isso evita que o "aprendizado de linha do tempo" se espalhe e estrague o conhecimento geral do detetive.
O Que Eles Descobriram
Os resultados foram impressionantes. Quando testaram este novo método:
- Sem Perda de Memória: O modelo aprendeu a prever a próxima ação em uma sequência tão bem quanto os antigos métodos esquecidos (pontuando 0,806 vs 0,804), mas manteve suas habilidades de linguagem intactas (pontuando 0,789 em vez de despencar para 0,27).
- Sucesso no Mundo Real no WeChat Pay: Eles implementaram este sistema para verificar milhões de comerciantes todos os dias. Comparado ao seu melhor sistema anterior, o novo SeqLLM detectou comerciantes de risco com 97,5% de precisão (acima de 92,0%). Melhor ainda, o número de apelações irritadas de comerciantes inocentes caiu de 12% para cerca de 2%, e eles não liberaram acidentalmente nenhum comerciante culpado.
- Melhor Detecção de Fraude: Quando usaram o "entendimento" deste novo sistema para ajudar um outro detector de fraude, ele melhorou a detecção de fraudes de alto nível em 26,8 pontos percentuais. Este é um salto enorme para um sistema que processa bilhões de transações.
- Gênio Geral: Eles também testaram o sistema em recomendações de filmes e livros. Ele superou outros modelos de topo em até 32% na descoberta do próximo item correto, tudo isso usando 4,8 vezes menos poder computacional do que a concorrência.
O Que Eles Descartaram
O artigo mostrou explicitamente que simplesmente escrever o comportamento como uma longa história (serialização) não funciona; na verdade, tornou o sistema pior, reduzindo a precisão para 83%. Eles também provaram que você não pode simplesmente "consertar" o problema do esquecimento mais tarde adicionando mais dados de linguagem; uma vez que o modelo esquece, é difícil recuperá-lo. A única maneira que funcionou foi prevenir o esquecimento desde o início usando seu método guiado por prefixo.
Em resumo, o SeqLLM é uma forma de dar a um especialista em linguagem um novo par de olhos para ver padrões no tempo, sem fazê-lo esquecer como falar. É uma maneira mais inteligente, rápida e precisa de detectar problemas no mundo digital, provando que você não precisa sacrificar uma habilidade para ganhar outra.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.