How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning

Resumo Técnico: Como LLMs Decoder-Only Percebem Usuários?

Este artigo aborda a adaptação de Grandes Modelos de Linguagem (LLMs) do tipo decoder-only para o aprendizado de representações de usuários (user representation learning), focando especificamente no impacto das estratégias de mascaramento de atenção na qualidade dos embeddings gerados.

1. O Problema

Embora os LLMs decoder-only sejam excelentes para interações autorregressivas, eles são pré-treinados com atenção causal (unidirecional), onde cada token só pode "olhar" para os anteriores. No entanto, para tarefas de compreensão de usuário (como prever preferências ou intenções), a atenção bidirecional (onde o modelo vê o contexto completo de forma holística) é geralmente superior.

O desafio reside na transição: mudar abruptamente de uma máscara causal para uma bidirecional durante o ajuste fino (fine-tuning) pode causar instabilidade no treinamento e degradar a qualidade das representações, pois o modelo precisa reconciliar o conhecimento pré-treinado (causal) com uma nova dinâmica de atenção.

2. Metodologia

Os autores propõem um framework de aprendizado contrastivo aplicado a dados reais de larga escala do Alipay, integrando comportamentos heterogêneos (transações, buscas, perfis textuais, etc.). A metodologia baseia-se em três pilares:

• Análise de Máscaras de Atenção: O estudo compara sistematicamente três regimes:
  1. Causal: Atenção unidirecional padrão.
  2. Bidirecional: Atenção total sobre toda a sequência.
  3. Híbrida: Atenção bidirecional em um segmento de histórico do usuário, seguida de atenção causal para tokens subsequentes.
• Gradient-Guided Soft Masking (GG-SM) - A Proposta Central: Para estabilizar a transição da atenção causal para a bidirecional, os autores introduzem o GG-SM. Em vez de uma mudança brusca, eles utilizam um mecanismo de warm-up baseado em gradientes:
  • Durante a fase de warm-up, o peso da atenção para tokens "futuros" é determinado pela norma do gradiente ($\|\nabla h_j^L\|$). Isso permite que o modelo priorize a visibilidade de tokens que têm maior impacto na redução da perda (loss).
  • Após o warm-up, utiliza-se um escalonador (scheduler) linear para abrir gradualmente a atenção até que ela se torne totalmente bidirecional.
• Dados Sintéticos de Alta Qualidade: Para melhorar o alinhamento entre consultas (queries) e respostas (answers), o framework utiliza um pipeline de síntese que identifica pares "difíceis de alinhar" e usa raciocínio (Chain-of-Thought) para gerar exemplos positivos desafiadores, aumentando a robustez do aprendizado contrastivo.

3. Principais Contribuições

• Estudo Sistemático: A primeira comparação rigorosa de máscaras de atenção (causal, híbrida e bidirecional) especificamente para o aprendizado de representação de usuários em LLMs.
• Inovação em Treinamento (GG-SM): A introdução de um método de warm-up guiado por gradientes que facilita a transição de regimes de atenção, garantindo estabilidade de otimização.
• Framework de Dados: Um método de síntese de dados que utiliza a dificuldade de alinhamento para gerar amostras de treinamento mais informativas.

4. Resultados

Os experimentos foram realizados em 9 benchmarks industriais de cognição de usuário (previsão de cliques, preferências de consumo, sensibilidade de marketing, etc.).

• Superioridade do GG-SM: O método proposto superou consistentemente as abordagens causais, híbridas e os métodos de escalonamento (scheduler) tradicionais.
• Eficiência de Parâmetros: O modelo treinado com GG-SM (baseado no Qwen2.5-0.5B) superou modelos de embedding genéricos muito maiores (como o Llama-embed-nemotron de 8B), provando que o design da máscara e a dinâmica de treinamento são mais cruciais para dados comportamentais do que o simples aumento da escala de parâmetros.
• Desempenho por Domínio: O modelo demonstrou maior estabilidade e precisão, especialmente em tarefas de "Sensibilidade de Marketing", onde capturar intenções latentes é mais complexo.

5. Significância

O trabalho demonstra que a forma como um LLM "olha" para os dados de um usuário durante o treinamento é tão importante quanto o conteúdo dos dados em si. Ao tratar a máscara de atenção como um componente evolutivo e não estático, é possível adaptar modelos generativos para tarefas de compreensão de usuário com uma precisão sem precedentes, tornando-os ferramentas poderosas para sistemas de recomendação e marketing digital em escala industrial.