$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

Imagine entrar em uma biblioteca onde o bibliotecário conhece todos os livros do edifício, mas você não pode simplesmente entregar a ele uma lista do que deseja. Em vez disso, você deve ter uma conversa. Você pode começar dizendo que quer um romance de ficção científica, mas conforme o bibliotecário sugere títulos, você percebe que também precisa de uma história ambientada antes do ano 2000, ou talvez uma escrita em um idioma específico. O desafio para uma inteligência artificial atuando como este bibliotecário não é apenas encontrar livros que correspondam a uma lista de fatos, mas descobrir quais são esses fatos em primeiro lugar. As pessoas reais raramente declaram todos os seus requisitos logo no início de uma conversa. Elas costumam revelar suas verdadeiras necessidades apenas após verem uma sugestão, ou podem hesitar em dizer exatamente o que procuram até o momento certo. Se a IA adivinhar cedo demais, pode recomendar um livro que ignore um requisito oculto, frustrando o usuário. Se esperar demais ou não fizer as perguntas certas, desperdiça tempo. A questão central que os pesquisadores tentam responder é quão bem esses assistentes digitais conseguem navegar por esse delicado processo de descoberta, especialmente quando o usuário retém informações.

Para investigar isso, uma equipe de pesquisadores criou um experimento controlado chamado benchmark, que é essencialmente um teste padronizado projetado para medir o desempenho sob condições específicas. Eles construíram um catálogo digital contendo 20.000 livros reais de um banco de dados público, completos com detalhes como gênero, idioma, país de origem e ano de publicação. Em seguida, projetaram 450 tarefas específicas, cada uma representando um pedido único de um livro. A parte inteligente do design foi que eles mantiveram o pedido real para cada tarefa exatamente o mesmo, mas mudaram as regras sobre quando o usuário tinha permissão para revelar os detalhes. Em um cenário, chamado "voluntário", o usuário contou à IA tudo o que queria logo no início. Em um segundo cenário, chamado "misto", o usuário declarou um detalhe, mas manteve outros ocultos, revelando-os apenas se a IA fizesse a pergunta certa. No terceiro e mais difícil cenário, chamado "oculto", o usuário recusou-se a declarar certos requisitos inteiramente, forçando a IA a adivinhar ao propor livros e observar se o usuário os aceitava ou rejeitava. Os pesquisadores usaram um usuário simulado, um programa de computador seguindo regras estritas, para interagir com quatro agentes de IA diferentes para ver como eles performavam.

Os resultados revelaram uma realidade dura sobre como esses sistemas lidam com a informação. Quando o usuário voluntariava todos os detalhes imediatamente, os agentes de IA eram notavelmente bem-sucedidos, encontrando o livro certo em quase todas as tentativas. No entanto, assim que os pesquisadores introduziram a necessidade de fazer perguntas, a taxa de sucesso caiu significamente. Quando o usuário revelava alguns detalhes apenas ao ser questionado, os agentes tinham sucesso cerca de três quartos das vezes. A situação tornou-se muito mais grave quando o usuário escondia alguns requisitos completamente. Nesses casos, os agentes de IA tiveram sucesso em menos de um terço das vezes. O estudo mostrou que a dificuldade não estava no tamanho da coleção de livros ou nas ferramentas específicas que a IA usava para pesquisar, mas no tempo da informação. Os agentes tiveram mais dificuldade quando falharam em fazer perguntas antes de fazer uma recomendação. Quando os pesquisadores instruíram explicitamente os agentes a fazerem perguntas, o desempenho deles nas tarefas "mistas" melhorou dramaticamente, atingindo os mesmos níveis elevados de quando toda a informação era fornecida de antemão.

Os pesquisadores também descobriram que os maiores fracassos nos cenários "ocultos" vinham de um erro específico: os agentes recomendavam um livro que nunca haviam proposto ao usuário para um veredito primeiro. Em vez de testar suas ideias, eles se comprometiam com uma resposta final rápido demais. Quando os agentes foram forçados a propor um livro e esperar por um sim ou não antes de fazer uma recomendação final, eles performaram melhor, embora ainda não tenham alcançado uma pontuação perfeita. O estudo também comparou duas formas de a IA pesquisar o catálogo. Um método era como digitar palavras-chave em uma barra de pesquisa, enquanto o outro era um filtro estruturado que permitia à IA restringir os resultados por categorias específicas, como ano ou país. O método de pesquisa estruturada ajudou os agentes a encontrar o livro certo com mais frequência, mas não conseguiu superar o problema fundamental de não saber o que o usuário queria.

Em última análise, este trabalho demonstra que a capacidade de uma IA de ter uma conversa bem-sucedida não é apenas sobre ter acesso a um grande banco de dados de informações. É sobre a estratégia de descoberta. O estudo prova que, quando os requisitos estão ocultos, mesmo agentes de IA avançados lutam para encontrar a resposta certa sem um processo claro de perguntar e verificar. Os pesquisadores descobriram que, se um agente é instruído a fazer perguntas, ele pode resolver quase todos os problemas onde o usuário está disposto a responder. No entanto, quando o usuário se recusa a declarar um requisito e apenas julga as sugestões, os agentes ainda cometem erros significativos, muitas vezes recomendando livros que falham nos critérios não ditos do usuário. A equipe liberou todos os seus dados, o catálogo de livros e o código que usaram, permitindo que outros cientistas repitam o experimento e construam sobre essas descobertas. O trabalho deles sugere que, para a IA se tornar um parceiro conversacional verdadeiramente eficaz em recomendações, ela deve aprender a tratar o silêncio ou a recusa de resposta de um usuário não como um beco sem saída, mas como uma pista de que existe um requisito oculto, exigindo uma abordagem de eliminação e descoberta mais cuidadosa e sistemática.