Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions

Este trabalho apresenta o RealPref, um novo benchmark projetado para avaliar a capacidade de modelos de linguagem de seguir preferências de usuários em interações personalizadas de longo prazo, revelando que o desempenho desses modelos diminui significativamente à medida que o contexto se expande e as preferências se tornam mais implícitas.

O essencial

Imagine que você tem um assistente pessoal superinteligente, um "robô" que sabe tudo sobre o mundo. O problema é que, até agora, esse robô era um pouco como um funcionário de loja que acabou de ser contratado: ele é educado e responde bem, mas não conhece seus gostos pessoais, seus hábitos ou o que você realmente gosta de ouvir.

Se você diz: "Gosto de café", ele sabe. Mas se você, ao longo de meses de conversas, deixa escapar que "odeia barulho de trânsito" ou "adora filmes de terror dos anos 80" de forma sutil, ele provavelmente esquece ou não conecta os pontos.

Este artigo apresenta um novo projeto chamado RealPref, que é basicamente um teste de "olho clínico" para ver se esses robôs (chamados de Modelos de Linguagem ou LLMs) conseguem realmente lembrar e usar o que você gosta, mesmo depois de conversas longas e cheias de detalhes.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O "Amnésico" Digital

Até hoje, os testes para esses robôs eram como dar a eles uma prova de 5 minutos com perguntas óbvias. Era fácil para eles passarem.

• A realidade: Na vida real, a gente conversa por horas, dias e semanas. A gente não diz "Eu gosto de pizza". A gente diz, num dia de chuva, "Nada como uma pizza quente hoje", e em outro dia, "Hoje estou comendo salada porque estou de dieta". O robô precisa juntar essas peças do quebra-cabeça ao longo do tempo.
• O desafio: Os robôs atuais tendem a esquecer o que foi dito há muito tempo ou não entendem quando você dá uma dica indireta (como um "sinal de fumaça" em vez de um aviso de incêndio).

2. A Solução: O "RealPref" (O Treinamento Realista)

Os autores criaram um campo de treinamento chamado RealPref. Em vez de perguntas curtas, eles criaram:

• 100 "Personas" (Avatares): Criaram 100 pessoas fictícias com vidas completas, histórias, empregos e gostos estranhos e específicos.
• Conversas Longas: Em vez de 3 frases, eles geraram conversas que parecem uma vida inteira de interações, com muitos detalhes aleatórios (como falar sobre o clima ou trabalho) misturados com os gostos pessoais.
• Dicas Sutilizadas: O teste tem quatro níveis de dificuldade, como se fosse um jogo de detetive:
  1. O Grito: "Eu odeio brócolis." (Fácil)
  2. A Conversa: "Hoje o jantar foi ruim, o brócolis estava duro." (Médio)
  3. A Metáfora: "Eu prefiro coisas que não me deixam com a sensação de ter comido algo verde e sem graça." (Difícil)
  4. A Memória de Longo Prazo: O usuário fala sobre brócolis em uma conversa de janeiro, e em junho, o robô precisa lembrar disso sem que ninguém mencione o vegetal novamente.

3. O Teste: A Prova de Fogo

Eles colocaram vários robôs famosos (como GPT-5, Gemini, Llama) para passar por esse teste. O teste tinha três partes:

• Escolha Múltipla: "Qual restaurante você recomenda?" (O robô escolhe entre 4 opções).
• Verdadeiro ou Falso: "Você recomenda este restaurante?" (O robô só diz sim ou não).
• Resposta Aberta: "O que você recomenda?" (O robô precisa criar a resposta do zero).

4. O Que Eles Descobriram? (As Surpresas)

Os resultados foram como um "choque de realidade" para a tecnologia atual:

• O Efeito "Memória de Peixe Dourado": Quanto mais longa a conversa (quanto mais texto o robô tinha que ler), pior ele se saiu. É como tentar lembrar de um detalhe de uma conversa que teve há 3 meses enquanto você está lendo um livro inteiro de novo. O robô se perde.
• O Problema da "Dica Sutil": Quando a preferência era explícita ("Eu gosto de X"), os robôs acertavam. Mas quando a preferência era implícita (escondida entre metáforas ou histórias), a performance despencou. Eles são ótimos em ler instruções, mas ruins em "ler entre linhas".
• O Teste de "Escolha Múltipla" era uma Armadilha: Os robôs conseguiam tirar notas altas nas perguntas de múltipla escolha não porque entendiam o usuário, mas porque conseguiam deduzir a resposta pelas opções (ex: "Se três opções são ruins e uma é diferente, a diferente deve ser a certa"). Quando o teste foi mudado para "Verdadeiro ou Falso" (onde não há comparação entre opções), a nota deles caiu, revelando que eles não estavam realmente entendendo o usuário.
• Generalização é Difícil: Se o robô aprendeu que você gosta de "comida de rua", ele falha em entender que você também deve gostar de "mercados locais" (uma lógica similar). Eles têm dificuldade em aplicar o que aprenderam a situações novas.

5. O Que Funciona para Melhorar?

Eles testaram algumas "dicas" para ajudar os robôs:

• Lembrar: Pedir para o robô "lembre-se do que o usuário disse" ajudou um pouco.
• Exemplos: Mostrar exemplos de boas respostas ajudou.
• O Grande Herói (RAG): A melhor técnica foi usar um sistema de "busca". Em vez de o robô tentar lembrar tudo de cabeça, o sistema busca no histórico de conversas as partes mais relevantes antes de responder. É como ter um assistente que, antes de falar com você, vai rapidamente reler os seus diários antigos para pegar os detalhes certos. Isso funcionou muito bem, mesmo em conversas gigantescas.

Conclusão: O Futuro

O artigo diz que, embora os robôs sejam inteligentes, eles ainda não são bons amigos ou assistentes pessoais de verdade. Eles precisam aprender a ser mais atentos, a lembrar de detalhes sutis e a conectar pontos em conversas longas.

O RealPref é o novo "exame de direção" que vai ajudar os cientistas a criar robôs que realmente entendem quem somos, e não apenas robôs que respondem rápido. É um passo importante para ter assistentes que pareçam humanos de verdade, que se importam com o que você gosta e lembram disso amanhã.

Resumo técnico

Resumo Técnico: RealPref

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) estão cada vez mais atuando como assistentes pessoais. No entanto, a avaliação da capacidade desses modelos em seguir preferências do usuário em cenários realistas e de longo prazo permanece subexplorada. A literatura atual apresenta três lacunas principais:

1. Contexto Simplificado: A maioria dos benchmarks foca em contextos de curto prazo (poucas trocas de mensagem) e instruções de preferência explícitas e isoladas, não simulando a complexidade de diálogos contínuos.
2. Expressão Direta: Estudos assumem que as preferências são sempre explícitas, ignorando que, no mundo real, os usuários expressam preferências de forma implícita, espalhada e através de pistas emocionais ou contextuais.
3. Métodos de Avaliação Limitados: As tarefas de classificação existentes divergem da interação natural, enquanto tarefas de geração carecem de critérios robustos para avaliar a qualidade da resposta personalizada.

O trabalho busca responder: Os LLMs conseguem capturar, reter e generalizar preferências do usuário em interações complexas e de longo horizonte?

2. Metodologia: O Benchmark RealPref

Os autores propõem o RealPref, um benchmark abrangente projetado para simular interações autênticas entre usuário e LLM.

• Construção do Dataset:

  • Perfis de Usuário: 100 perfis curados com biografia, demografia e eventos de vida (ex: formatura, início de carreira).
  • Preferências: 1.300 pares de preferência-consulta. Cada usuário possui 10 preferências "Originais" (geradas com base no perfil) e 3 preferências "Generalizadas" (inferidas logicamente das originais para testar raciocínio).
  • Expressão de Preferência: As preferências são expressas através de quatro tipos, variando do explícito ao implícito:
    1. Declaração Direta: Preferência stated explicitamente.
    2. Mencão Contextualizada: Preferência mencionada explicitamente, mas dentro de um contexto de conversa diária.
    3. Expressão Estilística (Implícita): Preferência inferida através de metáforas, retórica ou emoção, sem palavras-chave diretas (ex: "não gosto").
    4. Feedback de Experiência (Implícito): Preferência revelada gradualmente ao longo de múltiplas sessões através de feedback sobre experiências passadas.
  • Histórico de Conversa: O dataset inclui sessões de eventos de vida, conversas aleatórias (para diluir o contexto e controlar o comprimento) e conversas de expressão de preferência. O contexto total varia de 2K a mais de 247K tokens.

• Tarefas de Avaliação:

  • Múltipla Escolha (MCQ): O modelo escolhe a melhor opção entre quatro.
  • Verdadeiro ou Falso (T/F): O modelo avalia se uma única opção específica é adequada (desenhado para evitar que o modelo "adivinhe" comparando opções).
  • Perguntas Abertas (Open-Ended): O modelo deve gerar uma resposta proativa.
  • Critérios de Avaliação (Rubricas): Para respostas abertas, utiliza-se um modelo LLM como juiz (Claude Sonnet 4) com uma escala de 1 a 5 baseada em três dimensões:
    1. Consciência da Preferência: O modelo reconhece e menciona a preferência?
    2. Alinhamento da Preferência: O conteúdo da resposta respeita a preferência (ex: não sugerir algo que o usuário odeia)?
    3. Qualidade da Resposta: A resposta é útil e construtiva?

3. Principais Contribuições

1. Dataset Realista: Criação de um dataset de diálogo de longo horizonte com perfis de usuário dinâmicos e preferências que variam de explícitas a altamente implícitas.
2. Protocolo de Avaliação Multidimensional: Introdução de tarefas de classificação (T/F) e geração com rubricas granulares para avaliar a qualidade da personalização, superando as limitações de benchmarks anteriores.
3. Análise Empírica Abrangente: Avaliação de múltiplos modelos de ponta (GPT-5, Qwen3, Gemini, Llama 3.3) sob diversas condições de contexto e métodos de melhoria.

4. Resultados e Descobertas Chave

Os experimentos revelaram desafios significativos para os LLMs atuais:

• Impacto do Tipo de Expressão: Há um declínio acentuado no desempenho à medida que a expressão da preferência se torna mais implícita. Modelos têm dificuldade em extrair preferências de pistas estilísticas ou feedback de experiência distribuído no tempo.
• Efeito do Comprimento do Contexto: O desempenho cai drasticamente conforme o contexto aumenta (de 2K para >140K tokens). A "Perda de Atenção" é evidente, especialmente na dimensão de "Consciência da Preferência".
• Generalização: Os modelos lutam para generalizar preferências aprendidas para cenários não vistos (preferências generalizadas). Eles tendem a falhar em inferir novas preferências baseadas em lógicas subjacentes comuns, a menos que sejam explicitamente lembrados.
• Comparação de Tarefas: Tarefas de múltipla escolha (MCQ) tendem a superestimar a capacidade dos modelos (devido à possibilidade de dedução por eliminação), enquanto tarefas de Verdadeiro/Falso e Geração Aberta oferecem uma avaliação mais rigorosa e realista.
• Métodos de Melhoria:
  • Lembretes (Reminders): Eficazes e de baixo custo para contextos menores.
  • RAG (Geração Aumentada por Recuperação): Mostrou-se o método mais eficaz para contextos extremamente longos (>140K), ajudando a recuperar informações relevantes que o modelo de base não consegue acessar diretamente.

5. Significado e Impacto

O RealPref estabelece um novo padrão para a avaliação de assistentes pessoais baseados em LLMs. Os resultados indicam que, embora os modelos sejam capazes de seguir instruções simples, eles ainda carecem de proatividade e robustez para lidar com a complexidade das preferências humanas em interações de longo prazo.

Este trabalho fornece a base para o desenvolvimento de assistentes mais conscientes do usuário, capazes de adaptar respostas a necessidades individuais ao longo do tempo. Além disso, destaca a importância de considerar a privacidade e a transparência, já que o dataset é sintético e projetado para evitar dados reais sensíveis, servindo como um guia para o desenvolvimento responsável de IA personalizada.

Disponibilidade: O código e o dataset estão disponíveis publicamente no repositório GitHub mencionado no artigo.