Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

Resumo Técnico: Query as Anchor

1. O Problema

O aprendizado de representação de usuários em escala industrial enfrenta três desafios principais que os métodos atuais não conseguem resolver adequadamente:

• Rigidez e Falta de Adaptabilidade: A maioria dos métodos gera embeddings (vetores de representação) estáticos e agnósticos à tarefa. Isso significa que um único vetor é usado para todas as aplicações (ex: marketing, risco, recomendação), falhando em capturar as nuances específicas de cada cenário de decisão.
• Lacuna de Modalidade e Semântica: Os dados de comportamento do usuário industrial são esparsos, simbólicos e heterogêneos (transações, logs de navegação, atributos estruturados), enquanto os Grandes Modelos de Linguagem (LLMs) são pré-treinados em dados textuais densos. Essa discrepância dificulta a adaptação direta de LLMs para representar usuários.
• Integração de Dados Heterogêneos: Sistemas industriais lidam com múltiplas fontes de dados ruidosas. Integrar esses dados sem introduzir sobrecarga de inferência ou perder sinais relevantes para cenários específicos é complexo.

2. Metodologia

Os autores propõem o Q-Anchor Embedding, um framework unificado que muda o paradigma de codificação estática para síntese dinâmica e consciente da consulta (query-aware).

A. Dataset de Pré-treinamento: UserU
Para superar a escassez de dados de entendimento de usuários, foi construído o UserU, um dataset de pré-treinamento em escala industrial que alinha comportamentos heterogêneos com semântica de compreensão de usuários. Ele consiste em duas partes:

1. Previsão de Comportamento Futuro: Pares de (perfil histórico, resumo de ações futuras) para capturar regularidades temporais.
2. Dataset Sintético de Perguntas e Respostas (UserQA): Gerado por LLMs, onde o modelo reflete sobre o perfil do usuário para responder a perguntas complexas sobre intenções e preferências, criando um alinhamento semântico robusto.

B. Arquitetura: Query-as-Anchor
O núcleo do método é a arquitetura de Duas Torres com um encoder hierárquico:

• Encoder Hierárquico (Grossa a Fina): Processa dados multimodais (transações, mini-programas, buscas, etc.) em três níveis: eventos atômicos, resumos por modalidade e representação global do usuário.
• Mecanismo de Ancoragem (Query-as-Anchor): Diferente de métodos onde a consulta é apenas um input, aqui a consulta (query) atua como um "âncora" no final da sequência. O LLM usa essa consulta para reorientar e extrair seletivamente as características relevantes do perfil do usuário pré-computado.
• Otimização Conjunta: O modelo é treinado com uma função de perda combinada:
  • Contrastiva (InfoNCE): Alinha a representação do usuário ancorada com a resposta semântica correta.
  • Generativa (Next-Token Prediction): Força o modelo a reconstruir a resposta, garantindo riqueza semântica.

C. Adaptação e Inferência Eficiente

• Ajuste de Prompt Suave (Soft Prompt Tuning): Para adaptar o modelo pré-treinado a tarefas específicas (ex: detecção de fraude vs. marketing) sem re-treinar todo o modelo, são introduzidos tokens de prompt aprendíveis que atuam como controladores de tarefa.
• Aceleração via KV-Cache: A arquitetura permite que o perfil do usuário (prefixo) seja codificado uma vez e armazenado no cache de chaves-valor (KV-cache). Para diferentes consultas (cenários), o modelo apenas processa o sufixo da consulta, resultando em latência incremental quase nula.

3. Principais Contribuições

1. Dataset UserU: Um corpus de pré-treinamento industrial que combina previsão de comportamento e síntese de QA para criar priores comportamentais e semânticos fortes.
2. Framework Query-as-Anchor: Uma abordagem que desacopla a codificação do comportamento do objetivo da tarefa, permitindo que um único modelo gere representações adaptáveis a múltiplos cenários de negócios.
3. Eficiência de Implantação: Uso de soft prompts para especialização leve e otimização de KV-cache para inferência de alta velocidade em múltiplos cenários sem reprocessamento de dados.
4. Validação em Escala Industrial: Resultados robustos em 10 benchmarks do Alipay e testes A/B online reais.

4. Resultados

Os experimentos foram conduzidos no ecossistema do Alipay, cobrindo três domínios: Engajamento do Usuário, Risco e Sensibilidade de Marketing.

• Desempenho Offline: O Q-Anchor (com Prompt Tuning) alcançou o estado da arte (SOTA) em todos os 10 benchmarks, superando modelos de embedding gerais (como Llama-Embed-Nemotron-8B) e modelos especializados anteriores.
  • Ganho médio de AUC: +9.84% sobre o melhor baseline geral.
  • Ganho médio de KS (métrica crítica para separação de decisão): +38.4%.
• Escalabilidade:
  • O desempenho escala melhor com o volume de dados de pré-treinamento do que com o tamanho do modelo (o modelo de 0.5B parâmetros superou versões de 1.5B e 3B, indicando um "paradoxo de escalabilidade" onde a qualidade do dado supera o tamanho do modelo para embeddings).
  • O ajuste de prompt satura rapidamente (6 tokens são suficientes), oferecendo ganhos significativos com custo computacional mínimo.
• Testes A/B Online:
  • Cenário IVR (Reserva de Caixa): Aumento de 12.5% na taxa de saque e 5.3% no saldo médio por usuário.
  • Identificação de Risco de Inadimplência: Melhoria de 1.96% no score KS, crucial para alocação de crédito.
• Interpretabilidade: A visualização (t-SNE e PCA) mostrou que o prompt tuning reorganiza o espaço latente, agrupando usuários de forma mais coerente com os limites de decisão específicos do cenário (ex: aumentando a atenção em transações de "Bill" para interesse em delivery).

5. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre LLMs e Sistemas de Recomendação/Finanças Industriais.

• Unificação de Modelos: Elimina a necessidade de manter múltiplos modelos específicos para cada tarefa (risco, marketing, etc.), reduzindo a complexidade do sistema e os custos de manutenção.
• Adaptabilidade Dinâmica: Demonstra que é possível criar representações de usuários que não são apenas "históricas", mas sim "anticipatórias" e condicionadas ao contexto de decisão atual.
• Viabilidade Industrial: A solução resolve o dilema clássico de trade-off entre precisão e latência, permitindo a geração de embeddings adaptáveis em tempo real para centenas de milhões de usuários com custo computacional marginal.

Em suma, o Query-as-Anchor estabelece um novo padrão para representação de usuários, transformando dados brutos e ruidosos em vetores semânticos ricos e adaptáveis, prontos para tomada de decisão em ambientes industriais complexos.