$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

Imagina que entras en una biblioteca donde el bibliotecario conoce cada libro del edificio, pero no puedes simplemente entregarle una lista de lo que quieres. En su lugar, debes tener una conversación. Podrías empezar diciendo que quieres una novela de ciencia ficción, pero a medida que el bibliotecario sugiere títulos, te das cuenta de que también necesitas una historia ambientada antes del año 2000, o quizás una escrita en un idioma específico. El desafío para una inteligencia artificial que actúa como este bibliotecario no es solo encontrar libros que coincidan con una lista de hechos, sino descubrir cuáles son esos hechos en primer lugar. Las personas reales rara vez declaran cada uno de sus requisitos al inicio de una conversación. A menudo revelan sus verdaderas necesidades solo después de ver una sugerencia, o pueden dudar en decir exactamente lo que buscan hasta el momento adecuado. Si la IA adivina demasiado pronto, podría recomendar un libro que pase por alto un requisito oculto, frustrando al usuario. Si espera demasiado o no hace las preguntas adecuadas, pierde el tiempo. La pregunta central que los investigadores intentan responder es qué tan bien pueden estos asistentes digitales navegar este delicado proceso de descubrimiento, especialmente cuando el usuario retiene información.

Para investigar esto, un equipo de investigadores creó un experimento controlado llamado benchmark, que es esencialmente una prueba estandarizada diseñada para medir el rendimiento bajo condiciones específicas. Construyeron un catálogo digital que contiene 20,000 libros reales de una base de datos pública, con detalles como género, idioma, país de origen y año de publicación. Luego diseñaron 450 tareas específicas, cada una de las cuales representa una solicitud única de un libro. La parte ingeniosa de su diseño fue que mantuvieron la solicitud real para cada tarea exactamente igual, pero cambiaron las reglas sobre cuándo se le permitía al usuario revelar los detalles. En un escenario, llamado "voluntario", el usuario le contaba a la IA todo lo que quería desde el principio. En un segundo escenario, llamado "mixto", el usuario declaraba un detalle pero mantenía otros ocultos, revelándolos solo si la IA hacía la pregunta correcta. En el tercer y más difícil escenario, llamado "oculto", el usuario se negaba a declarar ciertos requisitos por completo, obligando a la IA a adivinar mediante la propuesta de libros y observando si el usuario los aceptaba o los rechazaba. Los investigadores utilizaron un usuario simulado, un programa informático que seguía reglas estrictas, para interactuar con cuatro agentes de IA diferentes para ver cómo se desempeñaban.

Los resultados revelaron una realidad cruda sobre cómo estos sistemas manejan la información. Cuando el usuario voluntariaba todos los detalles inmediatamente, los agentes de IA tenían un éxito notable, encontrando el libro correcto en casi todos los intentos. Sin embargo, tan pronto como los investigadores introdujeron la necesidad de hacer preguntas, la tasa de éxito disminuyó significativamente. Cuando el usuario revelaba algunos detalles solo al ser preguntado, los agentes tenían éxito aproximadamente tres cuartas partes de las veces. La situación se volvió mucho más grave cuando el usuario ocultaba algunos requisitos por completo. En estos casos, los agentes de IA tenían éxito en menos de un tercio de las ocasiones. El estudio demostró que la dificultad no radicaba en el tamaño de la colección de libros o en las herramientas específicas que la IA utilizaba para buscar, sino en el tiempo de la información. Los agentes tuvieron más dificultades cuando no hacían preguntas antes de hacer una recomendación. Cuando los investigadores instruyeron explícitamente a los agentes para que hicieran preguntas, su rendimiento en las tareas "mixtas" mejoró drásticamente, alcanzando los mismos niveles altos que cuando toda la información se entregaba de antemano.

Los investigadores también descubrieron que los mayores fracasos en los escenarios "ocultos" provenían de un error específico: los agentes recomendaban un libro que nunca habían propuesto primero al usuario para obtener un veredicto. En lugar de probar sus ideas, se comprometían con una respuesta final demasiado rápido. Cuando los agentes fueron obligados a proponer un libro y esperar un sí o un no antes de hacer una recomendación final, su desempeño mejoró, aunque todavía no alcanzaron una puntuación perfecta. El estudio también comparó dos formas en las que la IA podía buscar en el catálogo. Un método era como escribir palabras clave en una barra de búsqueda, mientras que el otro era un filtro estructurado que permitía a la IA reducir los resultados mediante categorías específicas como año o país. El método de búsqueda estructurada ayudó a los agentes a encontrar el libro correcto con más frecuencia, pero no pudo superar el problema fundamental de no saber qué quería el usuario.

En última instancia, este trabajo demuestra que la capacidad de una IA para tener una conversación exitosa no se trata solo de tener acceso a una gran base de datos de información. Se trata de la estrategia de descubrimiento. El estudio prueba que cuando los requisitos están ocultos, incluso los agentes de IA avanzados luchan por encontrar la respuesta correcta sin un proceso claro de preguntar y verificar. Los investigadores encontraron que si se le indica a un agente que haga preguntas, puede resolver casi todos los problemas donde el usuario está dispuesto a responder. Sin embargo, cuando el usuario se niega a declarar un requisito y solo juzga las sugerencias, los agentes todavía cometen errores significativos, recomendando a menudo libros que fallan ante las reglas no declaradas del usuario. El equipo publicó todos sus datos, el catálogo de libros y el código que utilizaron, permitiendo que otros científicos repitan el experimento y construyan sobre estos hallazgos. Su trabajo sugiere que para que la IA se convierta en un compañero conversacional verdaderamente efectivo en la recomendación, debe aprender a tratar el silencio o la negativa a responder de un usuario no como un callejón sin salida, sino como una pista de que existe un requisito oculto, lo que requiere un enfoque de eliminación y descubrimiento más cuidadoso y sistemático.