$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

도서관에 들어섰을 때, 사서가 건물 안의 모든 책을 알고 있지만 당신이 원하는 것을 단순히 목록으로 건네줄 수는 없는 상황을 상상해 보십시오. 대신, 당신은 대화를 나누어야 합니다. 당신은 공상 과학 소설을 원한다고 말하며 시작할 수도 있지만, 사서가 제목들을 제안함에 따라 당신은 또한 2000년 이전의 이야기를 원하거나, 혹은 특정 언어로 쓰인 책이 필요하다는 사실을 깨닫게 될 수도 있습니다. 이 사서 역할을 하는 인공지능에게 주어진 과제는 단순히 사실들의 목록에 부합하는 책을 찾는 것이 아니라, 그 사실들이 무엇인지부터 알아내는 것입니다. 실제 사람들은 대화의 시작 단계에서 모든 요구 사항을 명확하게 밝히는 경우가 드뭅니다. 그들은 제안된 내용을 본 후에야 진정한 필요를 드러내기도 하고, 적절한 순간이 올 때까지 정확히 무엇을 찾고 있는지 말하기를 주저하기도 합니다. 만약 AI가 너무 빨리 추측한다면, 숨겨진 요구 사항을 놓친 책을 추천하여 사용자를 좌절시킬 수 있습니다. 반대로 너무 오래 기다리거나 적절한 질문을 던지지 못한다면 시간을 낭비하게 됩니다. 연구자들이 답을 찾고자 하는 핵심 질문은, 이러한 디지털 비서들이 사용자가 정보를 숨기고 있을 때도 이 섬세한 발견의 과정을 얼마나 잘 헤쳐 나갈 수 있는가 하는 점입니다.

이를 조사하기 위해, 연구진은 특정 조건 하에서의 성능을 측정하기 위해 설계된 표준화된 테스트인 '벤치마크'라고 불리는 통제된 실험을 만들었습니다. 그들은 공공 데이터베이스에서 가져온 장르, 언어, 원산지, 출판 연도와 같은 상세 정보가 포함된 2만 권의 실제 도서로 구성된 디지털 카탈로그를 구축했습니다. 그런 다음 각각 고유한 도서 요청을 나타내는 450개의 구체적인 과업을 설계했습니다. 이 설계의 영리한 점은 모든 과업에 대한 실제 요청 내용은 정확히 동일하게 유지하되, 사용자가 세부 사항을 공개할 수 있는 규칙을 변경했다는 것입니다. '자발적(volunteer)' 시나리오에서는 사용자가 시작 단계에서 원하는 모든 것을 AI에게 말했습니다. 두 번째 시나리오인 '혼합형(mixed)'에서는 사용자가 한 가지 세부 사항은 언급하되 다른 것들은 숨겨두었다가, AI가 적절한 질문을 던질 때만 이를 공개했습니다. 세 번째이자 가장 어려운 시나리오인 '숨김형(hidden)'에서는 사용자가 특정 요구 사항을 아예 밝히기를 거부하여, AI가 책을 제안하고 사용자의 수락 또는 거절 여부를 관찰함으로써 추측하도록 강제했습니다. 연구진은 엄격한 규칙을 따르는 컴퓨터 프로그램인 시뮬레이션된 사용자를 사용하여 네 가지 서로 다른 AI 에이전트가 어떻게 수행되는지 관찰했습니다.

결과는 이러한 시스템이 정보를 처리하는 방식에 대한 냉혹한 현실을 보여주었습니다. 사용자가 모든 세부 사항을 즉시 자발적으로 제공했을 때, AI 에이전트들은 거의 모든 시도에서 올바른 책을 찾아내며 놀라운 성공률을 보였습니다. 그러나 연구진이 질문을 던져야 하는 상황을 도입하자마자 성공률은 눈에 띄게 떨어졌습니다. 사용자가 질문을 받았을 때만 일부 세부 사항을 공개하는 경우, 에이전트들은 약 4분의 3의 확률로 성공했습니다. 사용자가 일부 요구 사항을 완전히 숨기는 상황이 되면 상황은 훨씬 더 심각해졌습니다. 이 경우 AI 에이전트의 성공률은 3분의 1에도 미치지 못했습니다. 이 연구는 어려움의 원인이 도서 컬렉션의 규모나 AI가 사용하는 특정 도구에 있는 것이 아니라, 정보의 '타이밍'에 있다는 것을 보여주었습니다. 에이전트들은 추천을 하기 전에 질문을 던지지 못했을 때 가장 큰 어려움을 겪었습니다. 연구진이 에이전트들에게 질문을 하라고 명시적으로 지시했을 때, '혼합형' 과업에서의 성능은 극적으로 향కు되어 모든 정보가 사전에 제공되었을 때와 같은 높은 수준에 도달했습니다.

연구진은 또한 '숨김형' 시나리오에서 발생하는 가장 큰 실패가 특정 실수에서 비롯된다는 것을 발견했습니다. 그것은 에이전트들이 사용자에게 판결을 받기 위해 먼저 제안해 본 적도 없는 책을 추천한다는 것이었습니다. 자신의 아이디어를 검증하는 대신, 그들은 너무 빨리 최종 답변을 확정 지어 버렸습니다. 에이전트들이 책을 제안하고 최종 추천을 하기 전에 '예' 또는 '아니오'의 답변을 기다리도록 강제했을 때 성능이 개선되었지만, 여전히 완벽한 점수에는 미치지 못했습니다. 연구는 또한 AI가 카탈로그를 검색하는 두 가지 방법을 비교했습니다. 한 방법은 키워드를 검색창에 입력하는 것과 같았고, 다른 하나는 연도나 국가와 같은 특정 카테고리로 결과를 좁힐 수 있는 구조화된 필터를 사용하는 것이었습니다. 구조화된 검색 방식은 에이전트들이 올바른 책을 더 자주 찾도록 도왔지만, 사용자가 무엇을 원하는지 알지 못한다는 근본적인 문제는 극복할 수 없었습니다.

궁극적으로, 이 연구는 AI가 성공적인 대화를 나누는 능력은 단순히 방대한 데이터베이스에 접근하는 것만이 아니라는 점을 입증합니다. 그것은 '발견의 전략'에 관한 것입니다. 이 연구는 요구 사항이 숨겨져 있을 때, 심지어 고급 AI 에이전트라 할지라도 질문하고 검증하는 명확한 과정 없이는 정답을 찾는 데 어려움을 겪는다는 것을 증명합니다. 연구진은 에이전트에게 질문을 하라고 지시하면 사용자가 응답할 의사가 있는 거의 모든 문제를 해결할 수 있다는 것을 발견했습니다. 그러나 사용자가 요구 사항을 밝히기를 거부하고 오직 제안만을 판단할 때, 에이전트들은 여전히 상당한 오류를 범하며, 종종 사용자의 암묵적인 규칙에 어긋나는 책을 추천하곤 합니다. 연구팀은 자신들이 사용한 모든 데이터, 도서 카탈로그, 그리고 코드를 공개하여 다른 과학자들이 이 실험을 반복하고 이 발견을 바탕으로 후속 연구를 진행할 수 있도록 했습니다. 이들의 작업은 AI가 추천을 위한 진정한 대화 상대가 되기 위해서는, 사용자의 침묵이나 답변 거부를 막다른 골목이 아니라, 더 신중하고 체계적인 제거와 발견의 과정이 필요한 숨겨진 요구 사항의 단서로 취급하는 법을 배워야 한다는 점을 시사합니다.