High Fidelity Textual User Representation over Heterogeneous Sources via Reinforcement Learning

Resumo Técnico: Representação Textual de Alta Fidelidade de Usuários via Aprendizado por Reforço

1. O Problema

Plataformas de recrutamento em larga escala, como o LinkedIn, enfrentam o desafio de criar representações de usuários que sejam, ao mesmo tempo, unificadas, interpretáveis e concisas. Atualmente, as representações de usuários costumam ser:

• Vetores Densos (Embeddings): São poderosos, mas opacos (difíceis de interpretar) e causam problemas operacionais, pois qualquer mudança no modelo exige o reprocessamento de todo o corpus e retreinamento de modelos downstream.
• Recursos Esparsos (Hand-engineered): São interpretáveis, mas frágeis, de difícil manutenção e possuem cobertura limitada.

Com a ascensão dos Grandes Modelos de Linguagem (LLMs) em sistemas de recomendação, surge a necessidade de representações que residam diretamente no espaço de tokens de texto. No entanto, simplesmente concatenar todos os dados de um usuário (perfil, histórico profissional, buscas) é inviável devido ao custo computacional, latência e ao ruído causado por informações redundantes ou irrelevantes.

2. Metodologia Proposta

Os autores propõem um framework de Aprendizado por Reforço (RL) para transformar fontes de dados heterogêneas em um "sinopse textual" compacta e de alta fidelidade.

• Abordagem de Geração: O problema é formulado como uma tarefa de geração de texto, onde um modelo de linguagem (o Actor, com 1.7B de parâmetros) aprende uma política para produzir um resumo que maximize a utilidade para modelos de recomendação.
• Aprendizado sem Rótulos Humanos (Labeling-free): Em vez de usar humanos para rotular o que é um "bom resumo", o framework utiliza sinais implícitos de engajamento do usuário (cliques, candidaturas) como recompensa.
• Arquitetura de Recompensa (Reward Design):
  • Recompensa Pointwise: Avalia a capacidade de prever se um usuário aplicará a um emprego específico. Pode ser baseada em strings (binária) ou em log-probabilidades (contínua).
  • Recompensa Listwise: Avalia o ranking de vários empregos, utilizando o NDCG (Normalized Discounted Cumulative Gain) ponderado pela Entropia das etiquetas (para dar mais peso a listas com comportamentos de usuários mais diversos e informativos).
  • Controle de Restrições: Para evitar o "reward hacking" (onde o modelo gera textos excessivamente longos para tentar ganhar mais pontos), os autores aplicam prompting explícito de concisão e uma função de perda de comprimento (Length Loss) com penalidade quadrática para textos acima de 150 tokens.
• Algoritmo de Otimização: Utilizam o GRPO (Group Relative Policy Optimization), que elimina a necessidade de um modelo crítico (critic model) caro, utilizando médias de grupo para calcular vantagens, combinado com técnicas de estabilização como o DAPO.

3. Principais Contribuições

1. Framework de RL para Síntese de Usuário: Um método escalável para destilar informações de múltiplas fontes em um único texto curto.
2. Supervisão Baseada em Engajamento: Demonstração de que sinais de interação do usuário são suficientes para guiar a geração de representações sem necessidade de supervisão humana direta.
3. Mecanismos de Controle de Verbocidade: Introdução de penalidades de formato e comprimento para garantir que a representação seja "plug-and-play" para sistemas de baixa latência.
4. Descoberta de Recursos Emergentes: O modelo demonstrou capacidade de "imputação de perfil" (inferir habilidades mesmo com dados esparsos) e até de gerar rankings implícitos de interesses.

4. Resultados

Os experimentos foram realizados em múltiplos produtos do LinkedIn e mostraram:

• Melhoria Offline: O modelo de recompensa pointwise superou significativamente os baselines (embeddings e contexto completo), alcançando um aumento de 3,50% no AUC de cliques (pClick).
• Melhoria Online (A/B Test): A implementação no ranking de busca de empregos resultou em aumentos estatisticamente significativos em métricas de negócio:
  • +1,48% na Taxa de Cliques (CTR).
  • +1,2% em Candidaturas a Empregos.
  • +0,8% na Taxa de Sucesso da Sessão.
• Qualidade Textual: Avaliações via "LLM-as-a-judge" (usando GPT-o1) confirmaram alta precisão factual, cobertura de fontes e concisão.

5. Significância

Este trabalho é altamente significativo para a indústria de sistemas de recomendação porque oferece uma solução prática e escalável para a era dos LLMs. Ao transformar usuários em texto, o LinkedIn consegue criar representações que são:

1. Interpretáveis: Humanos podem ler e entender o que o modelo "pensa" do usuário.
2. Compatíveis: Podem ser inseridas diretamente em prompts de LLMs sem necessidade de camadas de projeção complexas.
3. Eficientes: Reduzem a latência de inferência ao eliminar a necessidade de processar contextos gigantescos, focando apenas no que é preditivo para o engajamento.