Resumo Técnico: Além dos Usuários Especialistas – Agentes Devem Ajudar os Usuários a Construir Preferências, Não Apenas Elas

1. Declaração do Problema

Os atuais sistemas de recomendação agênticos (ex: ChatGPT Shopping Research, Amazon Rufus) e os benchmarks usados para avaliá-los operam sob uma premissa crítica e irrealista: a de que os usuários são especialistas com preferências bem formadas e estáticas que podem ser totalmente especificadas via perguntas de esclarecimento. Na realidade, usuários não especialistas muitas vezes carecem do conhecimento de domínio para definir preferências para todos os atributos relevantes. Eles podem ser incapazes de responder a perguntas sobre atributos específicos (ex: "profundidade da aba" para botas de trilha ou "viscose vs. lyocell" para tecidos) porque ainda não entendem o que esses atributos significam ou como eles impactam a experiência do usuário.

O artigo argumenta que, quando os agentes dependem exclusivamente de perguntas de esclarecimento, eles falham em ajudar os usuários a construir as preferências necessárias para avaliar as recomendações. Consequentemente, mesmo que um agente encontre com sucesso o item ideal, o usuário pode ser incapaz de identificá-lo como a melhor escolha devido a um estado de preferência subdesenvolvido. Isso leva a uma falha no desempenho da "equipe" do sistema humano-agente, não apenas na capacidade de recuperação do agente.

2. Metodologia

2.1 O Modelo COPREF

Os autores introduzem o COPREF (Co-constructed Preferences - Preferências Co-construídas), um modelo formal de interação usuário-agente onde as preferências não são recuperadas, mas construídas através do diálogo.

• Estado de Preferência ($S_t$): Um subconjunto de atributos $F$ sobre os quais o usuário formou uma preferência no turno $t$. Este estado evolui de um estado inicial incompleto ($S_1$) baseado nas ações do agente.
• Estrutura SEC: Baseando-se na Economia da Informação (Busca-Experiência-Credencial), o modelo particiona os atributos em três tipos, cada um exigindo uma ação de diálogo diferente do agente para ser desbloqueado:
  1. Atributos de Busca ($F_s$): O usuário conhece sua preferência (ex: preço, tamanho). Desbloqueados via perguntas de esclarecimento.
  2. Atributos de Experiência ($F_e$): O usuário precisa ver exemplos concretos para decidir (ex: "este padrão é muito carregado?"). Desbloqueados via opções de exemplos.
  3. Atributos de Credencial ($F_c$): O usuário precisa de conhecimento de domínio para entender o atributo (ex: "o que é um painel de yoke?"). Desbloqueados via explicações técnicas.
• Mecanismo: Um atributo é adicionado ao estado de preferência do usuário apenas se o agente realizar a ação de diálogo específica correspondente ao tipo SEC do atributo.

2.2 O Benchmark COSHOP

Para avaliar agentes sob este modelo, os autores introduzem o COSHOP, um benchmark interativo para sistemas de recomendação agênticos em três domínios:

• Datasets: H&M (moda), MovieLens (filmes) e Goodreads (livros).
• Simulação de Usuário: Diferente dos simuladores típicos que promptam uma persona uma única vez, o COSHOP utiliza um simulador (baseado em gpt-oss-120b) explicitamente ancorado ao estado de preferência atual $S_t$. A divisão SEC do simulador (quais atributos são busca/experiência/credencial) é personalizada com base nos dados históricos de compras/avaliações do usuário.
• Protocolo de Interação:
  1. Conversa: Agente e usuário conversam por até 5 turnos (orçamento: 20 perguntas, 10 itens únicos exibidos).
  2. Pesquisa: O agente pesquisa o catálogo (orçamento: 250 recuperações).
  3. Relatório: O agente gera $k=5$ recomendações.
  4. Seleção: O usuário seleciona um item baseado em seu estado de preferência final $S_{T+1}$.
• Métricas:
  • Completude do Estado: Fração do conjunto total de preferências do usuário recuperada.
  • Recall do Agente: Se o item alvo $x^*$ aparece no top-$k$ das recomendações.
  • Acurácia da Equipe: Se o usuário seleciona com sucesso $x^*$ a partir do relatório. Esta é a métrica primária, limitada tanto pelo recall quanto pela riqueza do estado de preferência do usuário.

2.3 Validação por Estudo Humano

Um estudo com $n=25$ participantes validou as alegações centrais do COPREF:

• Usuários não especialistas possuem uma mistura de atributos de busca, experiência e credencial (nenhum usuário possuía apenas atributos de busca).
• Ações de diálogo apropriadas (exemplos para experiência, explicações para credencial) desbloquearam com sucesso preferências que antes não estavam formuladas.
• As classificações SEC variam por indivíduo; um atributo não é universalmente de credencial ou experiência, mas depende do conhecimento de domínio específico do usuário.

3. Principais Contribuições

1. Modelo COPREF: Uma formalização da construção de preferências que desafia a suposição do "usuário especialista", distinguindo entre atributos que requerem perguntas, exemplos ou explicações.
2. Benchmark COSHOP: Um benchmark interativo de código aberto que avalia agentes em sua capacidade de co-construir preferências com usuários não especialistas, medindo a "acurácia da equipe" em vez de apenas a recuperação.
3. Análise Empírica: Uma avaliação abrangente de cinco modelos de linguagem de fronteira (famílias GPT e Claude) demonstrando que os agentes atuais falham em expandir o conhecimento do usuário de forma eficaz.

4. Resultados

As avaliações de cinco modelos de fronteira (incluindo gpt-5.2, claude-sonnet-4.6 e gpt-oss-120b) no COSHOP produziram os seguintes achados:

• Queda de Desempenho: Embora os modelos pontuem alto (ex: 94,3% para claude-sonnet-4.6) quando recebem preferências totalmente especificadas antecipadamente, sua Acurácia da Equipe no COSHOP cai significativamente (máximo de 56% entre todos os modelos e domínios).
• Modos de Falha:
  1. Estados de Preferência Subdesenvolvidos: Os agentes falham em realizar as ações de diálogo necessárias (exemplos, explicações) para desbloquear atributos de experiência e credencial. Consequentemente, o usuário não consegue distinguir o item alvo de outros itens de distração, mesmo quando ele está presente no relatório.
  2. Baixa Qualidade do Relatório: Os agentes frequentemente omitem ou deturpam atributos dos itens em seus relatórios finais, impedindo que os usuários avaliem as opções corretamente.
• Estratégias de Interação:
  • Os modelos tendem a depender fortemente de perguntas de esclarecimento (frequentemente redundantes ou de confirmação) em vez de fornecer exemplos ou explicações.
  • Nenhum modelo forneceu proativamente explicações técnicas para atributos de credencial.
  • Modelos maiores (ex: gpt-5.2) exibiram um "viés de execução", encerrando conversas prematuramente para avançar para a fase de pesquisa, deixando a tarefa subespecificada.
  • Modelos menores esgotaram o orçamento de conversa, mas falharam em introduzir novos atributos, muitas vezes entrando em loop sobre atributos já conhecidos.
• Intervenções: Fornecer o histórico do usuário aos agentes não melhorou significamente o desempenho. No entanto, substituir as descrições de itens do agente por dados completos do catálogo (simulando uma qualidade de relatório perfeita) aumentou substancialmente a acurácia da equipe, confirmando que a qualidade do relatório e o desenvolvimento do estado de preferência são os principais gargalos.

5. Significância e Alegações

O artigo afirma que a principal limitação dos atuais sistemas de recomendação agênticos não é sua capacidade de pesquisar ou recuperar itens, mas sua incapacidade de ensinar aos usuários o que eles precisam saber para tomar uma decisão.

• Mudança de Paradigma: Os autores argumentam que o campo deve deixar de ver os agentes como "elicitadores de preferências" (recuperando preferências estáticas) para "construtores de preferências" (construindo ativamente o conhecimento do usuário).
• Acurácia da Equipe: O sucesso deve ser medido pela capacidade conjunta da equipe humano-agente. Um agente que encontra o item perfeito, mas falha em ajudar o usuário a entender por que ele é perfeito, falhou em sua tarefa.
• Direções Futuras: O artigo sugere que trabalhos futuros devem focar em treinar agentes para reconhecer quando um usuário carece de conhecimento de domínio e para implantar proativamente exemplos e explicações, em vez de depender apenas de perguntas de esclarecimento. Também pede a extensão do modelo COPREF para além dos cenários de recomendação para outros domínios orientados a tarefas.

Os autores permanecem modestos, observando que seu modelo simplifica a construção de preferências (assumindo desbloqueio de etapa única e crescimento monotônico do estado) e que, mesmo sob essas condições favoráveis, os modelos de fronteira atuais lutam para se adaptar.