Resumo Técnico: Avaliação de Aprendizado Experiencial em Contexto por meio de Recomendações Repetidas de Produtos

Declaração do Problema

As avaliações atuais de agentes de Grandes Modelos de Linguagem (LLMs) negligenciam amplamente a capacidade de aprendizado experiencial ao longo de múltiplos episódios. Embora benchmarks recentes tenham abordado a resolução de incertezas dentro de uma única tarefa (episódio), eles falham em medir a capacidade de um agente de refinar sua estratégia ao inferir estruturas latentes compartilhadas entre tarefas sequenciais e semelhantes.

Em cenários do mundo real, como um agente de vendas recomendando produtos para um fluxo de clientes desconhecidos, um agente inteligente não deve apenas resolver a incerteza dentro de uma interação específica, mas também adaptar sua estratégia de coleta de informações com base na distribuição de preferências observadas em interações anteriores. Sem essa capacidade, os agentes não conseguem personalizar seu questionamento para a distribuição de tarefas específica revelada no momento do teste. O artigo argumenta que os modelos atuais têm dificuldade em extrair e utilizar informações de alto nível de experiências passadas para melhorar o desempenho futuro, uma lacuna que este trabalho visa expor e medir.

Metodologia: O Benchmark BELA

Para isolar e medir o aprendizado experiencial em contexto, os autores introduzem o BELA (Benchmark for Experiential Learning and Active exploration), um framework escalável de recomendação de produtos. O benchmark é projetado para priorizar a aprendibilidade e a escalabilidade em detrimento do realismo estrito, criando um ambiente controlado onde as estruturas de preferência latentes são consistentes e passíveis de aprendizado.

Componentes Principais

1. Módulo de Conjuntos de Escolha:

   • Derivado de 100 mil produtos amostrados do conjunto de dados Amazon Reviews.
   • Filtrado e mapeado para uma hierarquia de categorias predefinida (ASINSpotlight), resultando em 71 mil produtos organizados em 2 mil conjuntos de escolha distintos.
   • As categorias são selecionadas para garantir que funcionem como conjuntos de escolha razoáveis (ex: excluindo categorias excessivamente amplas como "Casa e Cozinha").

2. Módulo de Cliente (Simulação de Persona):

   • Utiliza 1 milhão de personas de clientes sintéticas de Li et al. [11] para garantir diversidade e escalabilidade.
   • Geração de Preferências: As pontuações dos produtos ($y_a$) para cada par persona-produto são geradas pela média das saídas do GPT-4o e do Gemini-1.5-Pro. O processo de pontuação foi verificado quanto à consistência, mostrando baixa variação entre sementes (seeds) em comparação com o desvio padrão dentro das categorias.
   • Simulação de Interação: Um LLM (GPT-4o) atua como o cliente, respondendo às perguntas do agente com base no perfil da persona.
   • Mecanismos de Feedback: O sistema suporta três tipos de feedback:
     • Regret (Arrependimento): A diferença entre a pontuação ótima e a pontuação recomendada.
     • Stars (Estrelas): Uma classificação de 1 a 5 estrelas derivada da razão de regret.
     • Texto Livre: Feedback em linguagem natural gerado pelo LLM do cliente, refletindo a voz da persona e suas preferências específicas.

Configuração Experimental

O benchmark avalia agentes através de um fluxo de episódios, onde cada episódio $e$ é definido por um cliente $c_e$ e um conjunto de escolha $S_e$. O objetivo do agente é minimizar o regret ($y^* - y_r$) enquanto equilibra a eficiência da interação (número de perguntas feitas).

Três configurações sequenciais são testadas:

1. Mesmo cliente, diferentes conjuntos de escolha por episódio.
2. Mesma categoria, diferentes clientes por episódio.
3. Diferentes clientes e diferentes conjuntos de escolha por episódio.

Os baselines incluem RANDOM (seleção uniforme), POPULARITY (maior avaliação original) e ORACLE (um agente com acesso total à descrição da persona, servindo como um limite inferior para o regret).

Resultados Principais

Os autores avaliaram uma suíte de modelos de fronteira (incluindo GPT-5.4, Gemini-3.1-Pro-Preview e Claude-Opus-4.6) contra o benchmark BELA.

1. Falha no Aprendizado Entre Episódios:

   • Embora os modelos tenham um desempenho superior aos baselines aleatórios, eles falham em exibir uma melhoria significativa entre os episódios. As pontuações de regret permanecem estagnadas ou flutuam sem uma tendência de queda conforme o número de episódios aumenta.
   • Em contraste, "trajetórias ideais" construídas pela curadoria manual de perguntas de alta qualidade e reutilização de informações entre episódios demonstram que uma redução significativa de regret é possível se o agente conseguir aproveitar as informações entre os episódios.

2. Falta de Coleta Proativa de Informações:

   • Os modelos não adaptam suas estratégias de questionamento com base na experiência. O número de perguntas feitas permanece constante ou até diminui ao longo dos episódios, indicando uma falha em reconhecer a necessidade de maior coleta de informações quando a incerteza é alta.
   • Os modelos falham em calibrar suas estimativas de incerteza. Mesmo quando a confiança em suas previsões aumenta ao longo dos episódios, essa confiança não se correlaciona com melhorias reais de desempenho.

3. Dentro do Episódio vs. Entre Episódios:

   • Os modelos exibem aprendizado dentro do episódio (melhorando suas recomendações conforme coletam mais turnos de informação dentro de uma única sessão).
   • No entanto, carecem de aprendizado entre episódios (refinando sua estratégia inicial de questionamento ou o modelo latente do usuário com base em sessões anteriores).

Significância e Alegações

O artigo postula que o aprendizado experiencial em contexto — a capacidade de refinar estratégias ao inferir estruturas de incerteza compartilhadas de episódios passados — é uma marca da inteligência que os modelos de fronteira atuais não possuem.

• Contribuição do Benchmark: O BELA fornece um ambiente de teste unicamente escalável (suportando até 2 bilhões de pares únicos de persona-conjunto de escolha) especificamente projetado para avaliar se os agentes podem explorar preferências latentes consistentes entre episódios.
• Valor Diagnóstico: Os resultados destacam uma deficiência crítica nos modelos de estado da arte atuais: eles não conseguem extrair informações de alto nível de experiências passadas para personalizar sua coleta de informações conforme a distribuição de tarefas observada.
• Direção Futura: Os autores concluem que o avanço das capacidades de aprendizado experiencial é essencial para construir agentes capazes de tomada de decisão confiável em ambientes variáveis do mundo real. Eles explicitamente observam que seu trabalho foca na avaliação e não em métodos de treinamento, deixando o desenvolvimento de modelos capazes de tal aprendizado como uma direção para pesquisas futuras.

O artigo enfatiza que, embora os clientes simulados não pretendam replicar perfeitamente o comportamento humano real, a consistência controlada das estruturas latentes no BELA é necessária para testar rigorosamente a capacidade específica de aprender com a experiência, que é frequentemente confundida pelo ruído em dados do mundo real.