Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization

Título: Otimização de Perfis de Usuário via Bandits Contextuais para Personalização de LLMs com Augmentação por Recuperação (RAG)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são excelentes em tarefas gerais, mas adaptar suas respostas às preferências individuais dos usuários permanece um desafio.

• Limitações das Abordagens Atuais: Métodos baseados em Fine-tuning (como RLHF) são computacionalmente caros, exigem atualizações frequentes e são impraticáveis para personalização em tempo real em escala, especialmente com modelos fechados.
• Abordagem de Recuperação (RAG): Uma alternativa leve é injetar registros históricos do usuário no prompt do LLM. No entanto, a seleção desses registros baseada puramente em relevância semântica (similaridade lexical ou semântica com a consulta) é insuficiente.
  • Relevância vs. Utilidade: Um registro pode ser semanticamente similar à consulta, mas não melhorar a qualidade da geração (ou até piorá-la) devido a redundância ou informações conflitantes.
  • Não-Monotonicidade: A utilidade de um perfil de usuário não é aditiva. Adicionar registros úteis individualmente pode degradar o desempenho se houver conflito entre eles. Além disso, a ordem dos registros no prompt importa, e a seleção "gananciosa" (top-k) ignora dependências complexas entre os registros.

2. Metodologia: O Framework PURPLE

Os autores propõem o PURPLE (oPtimizes UseR Profiles for LLM pErsonalization), um framework que formula a construção de perfis como um problema de Bandit Contextual.

• Formulação do Problema:

  • Contexto ($C$): A consulta atual ($x$) e o conjunto de registros históricos do usuário ($H$).
  • Ação ($P$): A seleção de um subconjunto ordenado de $K$ registros de $H$ para formar o perfil. A ordem é sensível e crucial.
  • Recompensa ($R$): A qualidade da geração do LLM condicionada ao perfil selecionado.

• Arquitetura do Modelo:

  • Codificador de Registros ($f_\theta$): Utiliza um late interaction strategy. Primeiro, embeddings de tokens são obtidos via Contriever (pré-treinado), onde cada registro faz cross-attention com a consulta. Em seguida, um encoder Transformer modela as dependências entre os registros (sem codificações posicionais para evitar viés de ordem pré-definido).
  • Modelo de Ranking (Plackett-Luce): O modelo não atribui pontuações independentes, mas utiliza o modelo Plackett-Luce para gerar uma distribuição de probabilidade sobre todas as permutações possíveis de perfis. Isso permite capturar interações complexas e dependências entre os registros.
  • Função de Recompensa: Em vez de métricas de tarefa (como ROUGE ou Acurácia), o PURPLE utiliza a log-verossimilhança que o LLM atribui à resposta de referência (ground truth). Isso fornece um sinal de recompensa semanticamente rico e diferenciável, alinhando diretamente a recuperação com a qualidade de geração.

• Treinamento:

  • Otimização via Gradiente de Política (Policy Gradient).
  • Como a recompensa não é diferenciável em relação aos parâmetros de seleção, utiliza-se o estimador de gradiente de razão de verossimilhança (REINFORCE).
  • Durante o treinamento, perfis são amostrados da distribuição Plackett-Luce para estimar o gradiente, estabilizado por normalização z-score.

3. Contribuições Principais

1. Novo Paradigma de Otimização: Introduz o PURPLE, que trata a personalização via RAG como um problema de bandit contextual, otimizando perfis de forma adaptativa em vez de usar heurísticas estáticas.
2. Modelagem de Dependências: Demonstra que a utilidade da personalização é não-monotônica e dependente da ordem, superando a seleção top-k simples através do modelo Plackett-Luce.
3. Sinal de Recompensa Superior: Valida que a log-verossimilhança da resposta de referência é um sinal de treinamento mais robusto e rico do que métricas de avaliação tradicionais.
4. Desempenho e Eficiência: O método supera baselines fortes (incluindo rerankers baseados em LLMs e métodos de recuperação em contexto) em nove tarefas, mantendo alta eficiência computacional.

4. Resultados Experimentais

Os experimentos foram realizados no benchmark LaMP (e LongLaMP), cobrindo 9 tarefas de personalização (classificação, regressão e geração de texto curto/longo), utilizando LLMs congelados de diferentes tamanhos (Phi-4-Mini, Llama-3-8B e Llama-3-70B).

• Desempenho Geral: O PURPLE superou consistentemente baselines como BM25, Contriever, IC-RALM, REPLUG, RankGPT e ICR em todas as escalas de modelos e tipos de tarefas.
• Eficiência: O PURPLE alcançou melhor desempenho com maior throughput (exemplos por segundo) comparado a métodos que usam LLMs grandes para reranking (como RankGPT).
• Estudos de Ablação:
  • Remover a atenção cruzada token-level ou o encoder de dependência entre registros causou quedas significativas de desempenho.
  • O uso de métricas de tarefa como recompensa (em vez de log-verossimilhança) resultou em desempenho inferior, confirmando a superioridade do sinal de recompensa proposto.
• Seleção de Top-K e Ordem: Análises mostraram que a ordem sugerida pelo PURPLE é frequentemente a melhor entre várias permutações aleatórias, provando que o modelo aprende a organizar os registros para maximizar a utilidade.
• Avaliação Humana: Em uma avaliação cega de reescrita de tweets, o PURPLE foi preferido em 57,2% dos casos contra 42,8% do melhor baseline (ICR), capturando melhor nuances de estilo e voz do usuário.

5. Significado e Conclusão

O trabalho estabelece que a relevância semântica não é um proxy confiável para a utilidade na personalização. O PURPLE oferece uma solução escalável e baseada em princípios para otimizar perfis de usuário, tratando a construção do perfil como um processo de geração sensível à ordem e dependente de contexto.

Ao alinhar a recuperação diretamente com a qualidade de geração via aprendizado por reforço (bandits contextuais), o método supera as limitações das abordagens heurísticas e de fine-tuning, oferecendo um caminho viável para personalização em tempo real de LLMs sem a necessidade de modificar os parâmetros do modelo base.

Limitações Notadas:

• O método depende da disponibilidade de respostas de referência de alta qualidade (supervisão explícita) para o treinamento da recompensa, o que pode ser escasso em cenários de implantação real (onde o feedback é implícito ou ruidoso).
• O treinamento é realizado separadamente para cada tarefa, e a generalização para tarefas não vistas sob um objetivo unificado ainda é uma área para pesquisa futura.