HorizonBench: Long-Horizon Personalization with Evolving Preferences

Resumo Técnico: HORIZONBENCH

1. O Problema: Personalização de Longo Horizonte e Preferências Evolutivas

O artigo identifica uma lacuna crítica na avaliação de modelos de linguagem (LLMs) para agentes de IA: a incapacidade de rastrear preferências de usuário que evoluem ao longo do tempo devido a eventos da vida.

• Contexto: Usuários interagem com assistentes de IA por meses. Suas preferências não são estáticas (traços fixos), mas mudam dinamicamente (estados) devido a eventos como mudanças de carreira, problemas de saúde ou mudanças de relacionamento.
• A Falha Atual: Modelos existentes e benchmarks atuais focam em preferências estáticas ou em recuperação de memória de longo prazo. Eles falham em distinguir entre dois tipos de erro:
  1. Falha de Recuperação: O modelo não consegue encontrar a preferência mencionada no histórico.
  2. Falha de Atualização de Crença (Belief-Update Failure): O modelo recupera a preferência original, mas falha em atualizá-la após um evento da vida que a alterou (ancoragem no estado antigo).
• Limitação de Dados: Dados reais de interação não possuem "verdade fundamental" (ground truth) sobre quando e por que uma preferência mudou, tornando difícil diagnosticar a causa da falha do modelo.

2. Metodologia e Arquitetura

Os autores propõem uma abordagem inovadora que inverte o processo padrão: em vez de inferir o estado mental a partir do texto, eles geram conversas a partir de um estado mental estruturado.

• Gerador de Dados Baseado em Grafos de Estado Mental:

  • Utiliza um Grafo de Estado Mental estruturado que representa o perfil do usuário, conexões sociais, eventos de vida e preferências.
  • As preferências são conectadas por arestas de dependência tipadas (ex: mudança de carreira $\rightarrow$ mudança de preferências de trabalho $\rightarrow$ mudança de estilo de comunicação).
  • Proveniência: Cada mudança de preferência é vinculada causalmente a um evento de vida específico, criando uma "verdade fundamental" exata sobre a evolução do estado.
  • Geração de Conversas: O gerador produz diálogos de 6 meses (aprox. 4.300 turnos por usuário) onde as preferências evoluem implicitamente após eventos, sem que o usuário as reafirme explicitamente.

• O Benchmark HORIZONBENCH:

  • Escala: 4.245 itens de avaliação derivados de 360 usuários simulados, totalizando ~163 mil tokens por prompt.
  • Estrutura de Avaliação: Questões de múltipla escolha (5 opções) onde o modelo deve escolher a resposta do assistente que melhor alinha com a preferência atual do usuário.
  • Distratores de Negativo Difícil (Hard-Negative Distractors): Uma das opções é a preferência pré-evolução (o valor antigo e agora obsoleto). Isso força o modelo a distinguir entre o que foi dito antes e o que é verdade agora.
  • Filtro de Consenso de 5 LLMs: Itens são filtrados para garantir que apenas o histórico completo de conversas permita a resposta correta, eliminando pistas superficiais.
  • Dimensões Controladas: O benchmark varia independentemente três fatores:
    1. Status de evolução (preferência mudou ou não).
    2. Explicitação da expressão (preferência dita diretamente vs. implícita).
    3. Comprimento do contexto.

3. Contribuições Principais

1. Gerador de Dados "State-First": Uma ferramenta que gera conversas a partir de um grafo de estado mental, fornecendo proveniência causal para cada mudança de preferência, algo impossível em dados naturais.
2. HORIZONBENCH: O primeiro benchmark que permite diagnosticar especificamente a falha de atualização de crença separando-a da falha de recuperação de memória.
3. Identificação de Deficit Sistêmico: Evidência empírica de que a incapacidade de rastrear estados mentais em evolução é o principal gargalo para a personalização de longo horizonte, persistindo independentemente do tamanho do contexto ou da clareza da expressão.

4. Resultados Experimentais

O benchmark foi testado em 25 modelos de ponta (incluindo famílias Claude, Gemini e OpenAI).

• Desempenho Geral:
  • O melhor modelo (Claude-opus-4.5) atingiu apenas 52,8% de precisão.
  • A maioria dos modelos (10 dos 25) pontuou abaixo da linha de base de chance (20%), indicando um desempenho pior que o aleatório devido à seleção sistemática de distratores errados.
• Falha de Atualização de Crença:
  • Quando os modelos erram em preferências evolutivas, mais de 1/3 das vezes eles selecionam a opção de "distrator pré-evolução" (o valor antigo).
  • Isso ocorre significativamente acima da chance (p < 0.001), mostrando que os modelos "ancoram" na preferência original e falham em integrar o evento de vida que a alterou.
• Análise de Dimensões Controladas:
  • Histórico Curto vs. Longo: Mesmo com históricos curtos (0-14 dias), a falha persiste e até piora (diferença de -5.7 pp entre itens estáticos e evolutivos), provando que o problema não é apenas falta de memória de longo prazo, mas sim a incapacidade de atualizar o estado.
  • Explicitação: A falha ocorre tanto em preferências explícitas quanto implícitas, embora a dificuldade geral aumente com a implicitação.
  • Subtileza: A falha persiste mesmo quando as opções de resposta são muito similares, indicando que o problema é fundamental na lógica de atualização de estado, não na discriminação de texto.

5. Significado e Conclusão

O artigo conclui que a personalização de longo horizonte não é apenas um problema de recuperação de memória (encontrar o dado certo), mas sim um problema de rastreamento de estado (manter um modelo mental atualizado do usuário).

• Impacto na Pesquisa: O HORIZONBENCH serve como um "teste de diagnóstico" para arquiteturas de memória aumentada e raciocínio de teoria da mente.
• Direções Futuras: Modelos precisam ser capazes de:
  1. Representar explicitamente o estado de preferência.
  2. Atualizar esse estado automaticamente quando eventos de vida são detectados.
  3. Reter tanto a preferência declarada quanto o evento que a modificou.

O trabalho destaca que, sem a capacidade de atualizar crenças dinamicamente, mesmo os modelos mais avançados falham em simular interações humanas realistas de longo prazo, onde as pessoas mudam e evoluem. Os dados, o gerador e o benchmark foram liberados publicamente para fomentar avanços nesta área.