Resumo Técnico: Bidirectional User Modeling via Profiles (BUMP)

Declaração do Problema

Personalizar Grandes Modelos de Linguagem (LLMs) é um desafio crítico à medida que esses modelos são implantados em recomendação, busca, diálogo e geração de conteúdo. Métodos tradicionais de representação de usuário, como embeddings de filtragem colaborativa, não se integram naturalmente com LLMs ajustados por instrução, que dependem de prompts para condicionamento. Além disso, simplesmente concatenar todo o histórico de interações de um usuário em um prompt é inviável em escala devido aos limites da janela de contexto, latência e ao fenômeno "lost in the middle" (perdido no meio), onde sinais salientes degradam em contextos longos.

Abordagens existentes para gerar perfis de usuário em linguagem natural geralmente dependem de recompensas explícitas derivadas de tarefas downstream rotuladas (ex: taxas de clique ou rótulos de classificação específicos). Essa dependência cria gargalos significativos:

1. Escalabilidade: Recompensas são caras e esparsas, exigindo supervisão anotada para cada tarefa alvo.
2. Generalização: Perfis otimizados para uma tarefa rotulada específica podem não transferir bem para outros domínios ou cenários zero-shot.
3. Viés: Os perfis tornam-se características projetadas para classificadores específicos em vez de descrições fiéis do usuário.

O artigo postula que um gerador de perfis robusto deve ser treinável sem qualquer rótulo de tarefa downstream, baseando-se apenas em logs de interação brutos.

Metodologia: BUMP

Os autores introduzem o Bidirectional User Modeling via Profiles (BUMP), um framework auto-supervisionado que treina um gerador de perfis usando apenas dados de interação de usuários brutos. A intuição central é que um perfil de alta qualidade deve satisfazer duas propriedades complementares:

1. Preditivo: O perfil deve prever as futuras (retidas) interações do usuário.
2. Identificável: As interações do usuário devem identificar unicamente o perfil entre outros usuários.

Estrutura de Treinamento

O sistema emprega um algoritmo de Group Relative Policy Optimization (GRPO) para treinar uma política $\pi_\theta$ (o gerador de perfil) usando um pequeno LLM congelado como juiz ($J$). O processo de treinamento opera sobre um lote de usuários $\mathcal{B}$:

1. Particionamento de Dados: Para cada usuário $u$, o histórico de interação é dividido em um prefixo visível ($H^{vis}_u$) usado para geração e uma parte retida ($H^{ho}_u$) usada para supervisão.
2. Design de Recompensa Bidirecional: O juiz congelado $J$ computa uma recompensa densa baseada em duas direções de ranking:
   • Direção Direta (Perfil $\to$ Histórico): O perfil gerado $s_u$ é usado como consulta para classificar os itens retidos do usuário ($H^{ho}_u$) contra itens do lote de outros usuários. A recompensa é um score NDCG de múltiplos positivos.
   • Direção Inversa (Histórico $\to$ Perfil): Um item retido $h^{(p)}_u$ é usado como consulta para classificar o perfil gerado $s_u$ do usuário contra perfis de outros usuários no lote. A recompensa é um score NDCG de positivo único.
3. Regularização:
   • Debiasing de Posição: Para mitigar o viés de posição do LLM como ranker de listas, os itens candidatos são apresentados em $M$ ordens aleatórias, e os scores NDCG são calculados pela média.
   • Penalidade de Comprimento: Uma penalidade suave é aplicada se o perfil exceder um limite de tokens $T$ para evitar que o modelo realize "reward hacking" ao preencher perfis com textos genéricos de boilerplate.
4. Otimização: A recompensa total $R(s_u)$ combina os scores NDCG das direções direta e inversa menos a penalidade de comprimento. O GRPO atualiza $\pi_\theta$ para maximizar essa recompensa.

BUMP+: Hard-Negative Mining

Para abordar o problema onde negativos aleatórios do lote são muito fáceis (sem relação tópica), os autores propõem o BUMP+. Esta variante usa um modelo de embedding congelado (BGE) para minerar negativos mais difíceis:

• Direção Direta: Seleciona itens retidos do usuário que são topicamente distintos de seu histórico visível (baixa similaridade com o centroide do histórico).
• Direção Inversa: Seleciona perfis de usuários cujos históricos visíveis são topicamente similares ao usuário alvo, forçando o juiz a distinguir entre perfis de usuários altamente similares.

Principais Contribuições

1. Objetivo Auto-Supervisionado Inovador: O artigo formula a geração de perfil de usuário como um problema de ranking bidirecional em lote, derivando supervisão densa de logs brutos sem rótulos de tarefas downstream.
2. BUMP e BUMP+: A instanciação deste objetivo usando GRPO e um juiz LLM congelado, aprimorada por mineração de negativos difíceis para aguçar o sinal de aprendizado.
3. Validação Empírica: Demonstrando que um modelo de 4 bilhões de parâmetros auto-supervisionado pode igualar ou superar APIs de código fechado (ex: Gemini-3-Pro) e métodos anteriores que dependem de recompensas rotuladas.

Resultados Experimentais

O framework foi avaliado no benchmark LaMP, cobrindo seis tarefas em cinco domínios (classificação, regressão e geração).

• Desempenho vs. Métodos Supervisionados por Tarefa: O BUMP+ igualou ou superou a linha de base "Direct Reward" (que utiliza sinais de downstream rotulados) em 9 de 11 linhas de métricas. Isso confirma que a auto-supervisão pode substituir recompensas rotuladas.
• Desempenho vs. APIs de Código Fechado: O BUMP+ superou o Gemini-3-Pro de código fechado em todas as 11 linhas de métricas, apesar de usar um modelo de pesos abertos significativamente menor (4B).
• Comparação com Histórico Bruto: Embora o histórico bruto tenha performado melhor em tarefas de geração (onde a sobreposição de n-gramas de superfície é recompensada), o BUMP+ superou significativamente o histórico bruto em tarefas de classificação e avaliação, onde preferências tópicas são mais críticas do que texto literal.
• Estudos de Ablação:
  • Remover qualquer uma das direções (direta ou inversa) degradou o desempenho, confirmando que ambas são necessárias.
  • A direção "Direta" sozinha foi mais eficaz do que a "Inversa" sozinha, sugerindo que o termo direto impulsiona o principal sinal relevante para a tarefa, enquanto o termo inverso atua como um regularizador contra perfis genéricos.
  • A mineração de negativos difíceis (BUMP+) proporcionou ganhos significativos sobre negativos aleatórios, embora a mineração excessiva tenha introduzido ruído.

Significância e Alegações

O artigo afirma que o aprendizado auto-supervisionado pode efetivamente substituir recompensas de downstream rotuladas para o treinamento de perfis de usuário textuais. Ao aproveitar a estrutura inerente dos logs de interação do usuário através de ranking bidirecional, o BUMP gera perfis que são:

• Agnósticos à Tarefa: Otimizados para serem uma descrição fiel do usuário em vez de uma característica para um classificador específico, permitindo transferência entre tarefas sem retreinamento.
• Escaláveis: O orçamento de supervisão cresce automaticamente com a população de usuários em vez de exigir anotação manual.
• Eficientes: Os perfis resultantes são representações compactas e de tamanho fixo que podem ser pré-computadas e armazenadas em cache, evitando os custos de latência e memória do processamento de históricos de interação completos durante a inferência.

Os autores reconhecem limitações, incluindo potenciais vieses inerentes ao LLM-como-juiz (ex: verbosidade, preferência própria) e a dependência de similaridade de embedding como um proxy para confusão na mineração de negativos difíceis. No entanto, os resultados sugerem que a auto-supervisão bidirecional é uma alternativa viável e poderosa para a tradicional geração de perfis supervisionada.