Resumo Técnico: APeB – Avaliação de Desempenho da Capacidade de Personalização de Agentes de Grandes Modelos de Linguagem

1. Definição do Problema

Agentes impulsionados por Grandes Modelos de Linguagem (LLMs) enfrentam desafios significativos de personalização quando os usuários emitem consultas brutas e subespecificadas. Em cenários do mundo real, os objetivos do usuário raramente são explícitos; as preferências são implícitas e devem ser inferidas a partir de históricos de interação ruidosos e heterogêneos (ex: vídeos, transmissões ao vivo, visualizações de produtos). Além disso, a correção é centrada no usuário e não globalmente ótima, exigindo que os agentes discriminem entre alternativas próximas e concorrentes com base em intenções latentes.

Os benchmarks existentes falham em testar adequadamente essa capacidade porque tipicamente dependem de:

• Consultas refinadas pelo usuário, em vez de intenções vagas e em estágio inicial.
• Históricos simplificados ou saneados que carecem do ruído e da diversidade do comportamento do mundo real.
• Candidatos facilmente separáveis que não exigem uma discriminação de preferência refinada.

Consequentemente, as avaliações atuais frequentemente confundem correspondência semântica com personalização real, falhando em avaliar se os fluxos de trabalho de agentes (ex: ReAct) podem efetivamente inferir a intenção e alinhar ações com preferências específicas do usuário.

2. Metodologia: O Benchmark APeB

Os autores introduzem o APeB (Agent Personalized Benchmark), um ambiente de teste projetado para avaliar a personalização de agentes através da tarefa de Busca de Produtos Personalizada (PPS). O APeB é construído a partir de logs de ações do mundo real de uma plataforma líder de conteúdo-comércio, capturando o fluxo de ponta a ponta, desde o consumo de conteúdo até a compra de produtos.

2.1 Construção de Dados

• Fonte: 5.648 sessões de compras não triviais coletadas de uma janela de sessão retida de 30 dias, com até 60 dias de histórico pré-sessão.
• Definição de Sessão: Uma sessão "busca-para-pedido" é definida como uma janela limitada no tempo que começa com uma consulta de busca e termina com uma compra ($\Delta \le 30$ minutos).
• Filtragem de Não Trivialidade: As sessões são filtradas para garantir que representem regimes de compra de alto esforço, exigindo:
  1. Refinamento Iterativo de Consulta: Pelo menos duas consultas distintas ($|Q_{search}| \ge 2$).
  2. Navegação Extensiva: Exploração substancial de produtos e mídia antes da compra ($|P_{view}| + |V_{view}| \ge \tau_v$).
  3. Alinhamento Intenção-Pedido: A compra final deve ser semanticamente consistente com a intenção expressa e os candidatos explorados.

2.2 Componentes do Benchmark

Para cada sessão retida, o APeB constrói três componentes principais:

1. Históricos Heterogêneos ($H_u$): Logs de interação de longo prazo contendo sinais diversos, incluindo interações de produtos (visualizações, curtidas, carrinhos) e interações de mídia (vídeos, transmissões ao vivo com conteúdo de OCR/ASR).
2. Espectro de Consulta:
   • Consulta de Intenção ($q_{intent}$): A primeira consulta semanticamente alinhada com a compra, representando um objetivo vago e de estágio inicial (ex: "look do campus").
   • Consulta Refinada ($q_{refined}$): A última consulta antes da compra, representando uma intenção bem especificada (ex: "camisa azul marinho de manga longa oversized").
3. Conjunto de Candidatos Difíceis ($C_{hard}$): Um conjunto de produtos que o usuário visualizou, mas não comprou, além do item comprado final. Esses candidatos são semanticamente próximos, exigindo discriminação de atributos refinada em vez de correspondência semântica grosseira.

2.3 Protocolo de Avaliação

Os modelos são avaliados em sua capacidade de classificar o item comprado dentro do conjunto de candidatos difíceis, dado um input de $(q, H_u, C_{hard})$.

• Métricas: Hit@1 e Hit@5.
• Análise de Rubrica: Etapas intermediárias de raciocínio (Inferência de Consulta, Qualidade de Preferência, Qualidade de Recomendação, Raciocínio do Agente) são pontuadas usando LLM-como-Juiz para diagnosticar modos de falha específicos.

3. Principais Contribuições

1. Benchmark APeB: O primeiro benchmark a avaliar conjuntamente agentes em históricos heterogêneos ruidosos, trajetórias de busca de vaga a refinada e candidatos fortemente concorrentes. Ele preenche a lacuna entre sistemas de recomendação (previsão do próximo item) e raciocínio de agentes (planejamento de múltiplos passos).
2. Análise Empírica de Agentes de LLM: Uma avaliação abrangente de LLMs de última geração (incluindo GPT-4/5, Qwen3, DeepSeek-R1, Gemini) e fluxos de trabalho de agentes (ReAct, Deerflow) revela que, embora os modelos lidem bem com consultas explícitas, eles têm grande dificuldade com a descoberta de intenção em estágio inicial e recuperação de preferências.
3. Diagnóstico de Modos de Falha: A análise de rubrica identifica que as lacunas de desempenho são impulsionadas principalmente pela utilização ineficaz do histórico. Os modelos falham em extrair preferências relevantes de históricos ruidosos para guiar o planejamento, e o raciocínio de múltiplos passos (ReAct) frequentemente amplifica esses erros sob intenções vagas.
4. Pipeline VQRA: Os autores propõem o VQRA (Vague Query Refinement Agent), um pipeline simples que utiliza um backbone compartilhado para reescrever consultas de intenção com base no contexto de histórico selecionado antes da avaliação. Esta abordagem gera ganhos consistentes, demonstrando que módulos de utilização de histórico explícitos são críticos para agentes personalizados.

4. Resultados Experimentais

• Lacuna de Desempenho: Em configurações dominadas por alinhamento semântico (consultas refinadas ou candidatos aleatórios), os LLMs superam substancialmente a linha de base especializada de PPS (UniSAR). No entanto, em tarefas que exigem modelagem de usuário e refinamento de intenção (consultas de intenção com candidatos difíceis), os LLMs caem ao nível de um UniSAR zero-shot, com ganhos limitados de fluxos de trabalho ReAct.
• Utilização de Histórico: Os LLMs têm dificuldade em se beneficiar do histórico sob consultas de intenção. Embora adicionar histórico melhore o desempenho para consultas refinadas, oferece ganhos marginais para consultas de intenção, sugerindo que os fluxos de trabalho atuais de LLM não extraem naturalmente preferências recuperáveis de contextos ruidosos e subespecificados.
• Dificuldade do Candidato: Os LLM superam as linhas de base em candidatos aleatórios (correspondência semântica grosseira), mas falham em distinguir atributos finos entre candidatos difíceis (itens visualizados pelo usuário). Isso indica que os modelos atuais carecem de capacidades reais de personalização quando as pistas semânticas são insuficientes.
• Eficácia do VQRA: A implementação do VQRA melhora o Hit@1 em vários backbones, confirmando que o refinamento de consulta fundamentado explicitamente no histórico ajuda os modelos a inferir a intenção latente e selecionar os candidatos apropriados.

5. Significância e Alegações

O artigo afirma que o APeB serve como um ambiente de teste necessário para avaliar sistemas de agentes sob restrições de personalização realistas. Sua principal significância reside em expor as limitações dos agentes de LLM atuais: eles são proficientes em executar tarefas com objetivos claros, mas lutam com a inferência de intenção latente e a recuperação de preferências de históricos ruidosos.

Os autores concluem que a lacuna na capacidade de personalização não é meramente uma falta de escala do modelo, mas uma deficiência estrutural nos módulos de utilização de histórico. O sucesso do simples pipeline VQRA sugere que futuros agentes personalizados requerem mecanismos dedicados para fundamentar explicitamente o planejamento e a ação em sinais históricos específicos do usuário, em vez de depender apenas do contexto implícito dentro do prompt.

Limitações Reconhecidas:

• O benchmark é derivado de uma única plataforma, o que pode limitar a transferibilidade para outros ecossistemas de e-commerce.
• A avaliação é estática e offline, não refletindo inventário em tempo real ou interações dinâmicas de múltiplos turnos.
• As compras observadas servem como proxies para preferência, mas podem ser confundidas pelo ranking de exposição e disponibilidade de estoque.
• A análise de rubrica depende de LLM-como-Juiz, o que pode introduzir vieses sistemáticos.