Resumo Técnico: RecoAtlas

Declaração do Problema

Agentes de recomendação baseados em Modelos de Linguagem de Grande Escala (LLM) estão cada vez mais encarregados de gerar relatórios estruturados contendo conjuntos de itens acompanhados de justificativas em linguagem natural, em vez de simples listas classificadas. Os paradigmas de avaliação existentes não conseguem capturar adequadamente a complexidade desse cenário. As benchmarks atuais frequentemente reduzem o problema ao reclassificação de pequenos conjuntos de candidatos pré-selecionados contendo um único item de referência (ground-truth), o que avalia a reclassificação local, mas não a capacidade de pesquisar catálogos extensos ou de construir conjuntos coerentes de múltiplos itens. Além disso, avaliações que dependem de "LLM como Juiz" medem principalmente a plausibilidade semântica — avaliando se um relatório é coerente e bem justificado — sem verificar se os itens recomendados estão alinhados com o comportamento ou a utilidade reais dos usuários. Consequentemente, um relatório pode ser semanticamente plausível, mas recomendar produtos que os usuários raramente compram ou combinam. Há uma falta de benchmarks abertos e fundamentados no comportamento que avaliem agentes quanto à utilidade em nível de conjunto, complementaridade e diversidade, distinguindo entre coerência semântica e eficácia comportamental.

Metodologia

Os autores introduzem o RecoAtlas (Avaliação em Nível de Ferramenta para Agentes de Recomendação para Compras), uma benchmark e um conjunto de ferramentas projetados para avaliar agentes de compras sob objetivos fundamentados no comportamento e em nível de conjunto. O framework opera dentro de um ambiente de ferramentas controlado, onde os agentes devem pesquisar um catálogo extenso de produtos, invocar ferramentas específicas e construir um relatório de compras de tamanho fixo (por exemplo, $K=20$ itens) com justificativas.

Famílias de Tarefas

O RecoAtlas define dois tipos principais de tarefas, ambos exigindo relevância entre consulta e item, mas diferindo na estrutura entre itens:

1. Compras Comparativas: O usuário busca alternativas para uma necessidade ampla. O objetivo é fornecer itens relevantes enquanto evita quase-duplicatas (ênfase na não redundância/diversidade).
2. Compras em Pacote (Bundle): O usuário busca uma configuração ou kit coerente (por exemplo, "kit iniciante para guitarrista"). O objetivo é fornecer itens que desempenhem papéis complementares e funcionem juntos (ênfase na complementaridade).

Métricas de Avaliação

O RecoAtlas emprega três visões de avaliação complementares e separadas para evitar a redução da qualidade do relatório a um único escalar:

1. Recuperação Exata (SetHit@K): Mede a fração de itens de referência (ground-truth) mantidos de fora (derivados de dados de interação do usuário) recuperados no relatório final. Para tarefas de pacote, isso mede a recuperação de um conjunto-alvo, em vez de um único item.
2. Modelos de Recompensa Aprendidos: Três proxies fundamentados no comportamento, treinados em dados de interação do usuário (compras e compras conjuntas), fornecem pontuações em nível de componente:
   • Relevância: Um codificador dual consulta-item treinado com perda BPR multi-negativa.
   • Complementaridade: Um codificador dual item-item treinado em dados de compras conjuntas usando perda contrastiva InfoNCE para identificar itens frequentemente comprados juntos.
   • Diversidade (Não redundância): Uma pontuação baseada na similaridade de cosseno dentro de subcategorias, penalizando quase-duplicatas.
3. Juízes LLM: Avaliações separadas de relevância, complementaridade, diversidade e qualidade da explicação. Estas são mantidas distintas das métricas fundamentadas no comportamento para destacar a possível desconexão entre plausibilidade semântica e utilidade comportamental.

Conjunto de Ferramentas

Uma característica central é o fornecimento de ferramentas específicas para recomendação que os agentes podem chamar (até 10 chamadas por episódio):

• Ferramentas de Pesquisa: Recuperam itens com base na relevância (versões semânticas vs. alinhadas ao comportamento).
• Ferramentas de Complementaridade: Expandem conjuntos de itens com itens compatíveis comportamentalmente.
• Ferramentas de Substituibilidade: Podam quase-duplicatas com base em subcategorias e limiares de similaridade.
  A benchmark inclui variantes de ferramentas defeituosas que injetam erros controlados (por exemplo, retornando candidatos de baixa qualidade ou falhando em podar duplicatas) para diagnosticar a robustez do agente.

Principais Contribuições

1. Uma Benchmark em Nível de Conjunto e Catálogo Extenso: Diferentemente de trabalhos anteriores que dependem de reclassificação de listas curtas, o RecoAtlas avalia agentes que devem pesquisar um catálogo extenso sem uma lista curta fornecida, construir relatórios de múltiplos itens de tamanho fixo e recuperar conjuntos de itens de referência.
2. Avaliador e Conjunto de Ferramentas Fundamentados no Comportamento: O framework combina recuperação exata, modelos de recompensa aprendidos e julgamento por LLM. Ele fornece exclusivamente um conjunto de ferramentas semânticas, alinhadas ao comportamento e defeituosas para testar o raciocínio do agente, a utilização de sinais e as políticas de uso de ferramentas.
3. Estudo Empírico Diagnóstico: Os autores realizam estudos de ablação em famílias de modelos, tipos de tarefas e qualidades de ferramentas para demonstrar que o RecoAtlas exibe propriedades de uma benchmark significativa para sistemas agênticos.

Resultados Experimentais

Os experimentos foram conduzidos em três categorias de produtos da Amazon (Instrumentos Musicais, Eletrônicos, Jogos de Vídeo) usando várias bases de LLM proprietárias e de pesos abertos (por exemplo, GPT-4.1, Qwen3, Nemotron).

• Plausibilidade Semântica vs. Utilidade: Foi observada uma desalinhamento significativo entre juízes LLM e métricas de utilidade. Agentes que usam ferramentas semânticas frequentemente alcançaram pontuações mais altas de juízes LLM, mas utilidade comportamental (SetHit@20) significativamente menor em comparação com agentes que usam ferramentas alinhadas ao comportamento. Isso confirma que a plausibilidade semântica não é um proxy confiável para utilidade comportamental.
• Necessidade de Ferramentas: LLMs em contexto sem ferramentas performaram mal (SetHit@20 $\approx$ 0,01–0,03). Adicionar ferramentas de pesquisa melhorou o desempenho em compras comparativas, mas foi insuficiente para compras em pacote. A utilidade total exigiu a combinação de ferramentas de pesquisa, complementaridade e substituibilidade, com o desempenho em pacote dependendo fortemente da ferramenta de complementaridade.
• Leis de Escala: O desempenho escalou com a capacidade do modelo e a computação no momento do teste. Modelos maiores (por exemplo, 32B parâmetros) com raciocínio habilitado mostraram ganhos substanciais sobre modelos menores e modelos sem raciocínio, particularmente em tarefas de pacote.
• Capacidades Específicas da Tarefa: Enquanto as compras comparativas foram dominadas pela recuperação de relevância, as compras em pacote exigiram capacidades agênticas distintas para construir conjuntos coerentes. Modelos de pesos abertos (por exemplo, Nemotron 49B, Mistral Small 24B) frequentemente superaram modelos proprietários em tarefas de pacote ao utilizar sinais de complementaridade de forma mais agressiva.
• Robustez: Os agentes exibiram uma compensação entre desempenho e robustez. O uso agressivo de ferramentas melhorou o desempenho com ferramentas limpas, mas tornou os agentes mais sensíveis a ferramentas defeituosas, enquanto agentes conservadores mantiveram uma fração maior de desempenho sob ruído.

Significado e Alegações

O artigo alega que o RecoAtlas fornece uma base para desenvolver e avaliar assistentes de compras que otimizam não apenas para recomendações plausíveis, mas para conjuntos de recomendação coerentes e fundamentados no comportamento.

Os autores posicionam o RecoAtlas como um ambiente de teste offline reproduzível que complementa, em vez de substituir, testes A/B online. Ao separar a coerência semântica da utilidade comportamental e introduzir ambientes de ferramentas controlados, o RecoAtlas permite diagnosticar se os ganhos de desempenho decorrem de raciocínio mais forte, melhores sinais ou políticas de uso de ferramentas mais eficazes. O framework é projetado para ser extensível, permitindo a geração de novas tarefas e a aplicação de estratégias de otimização como aprendizado por reforço ou ajuste fino supervisionado, mantendo divisões mantidas de fora para avaliação final.