$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

Stellen Sie sich vor, Sie betreten eine Bibliothek, in der der Bibliothekar jedes Buch im Gebäude kennt, aber Sie können ihm nicht einfach eine Liste dessen übergeben, was Sie suchen. Stattdessen müssen Sie ein Gespräch führen. Sie könnten beispielsweise damit beginnen zu sagen, dass Sie einen Science-Fiction-Roman suchen, doch während der Bibliothekar Buchtitel vorschlägt, merken Sie, dass Sie auch eine Geschichte benötigen, die vor dem Jahr 2000 spielt, oder vielleicht eines, das in einer bestimmten Sprache geschrieben ist. Die Herausforderung für eine künstliche Intelligenz, die als dieser Bibliothekar fungiert, besteht nicht nur darin, Bücher zu finden, die einer Liste von Fakten entsprechen, sondern darin, herauszufinden, was diese Fakten überhaupt sind. Echte Menschen nennen selten alle Anforderungen direkt zu Beginn eines Gesprächs. Sie offenbaren ihre wahren Bedürfnisse oft erst, nachdem sie einen Vorschlag gesehen haben, oder sie zögern, ihre genauen Wünsche zu äußern, bis der richtige Moment gekommen ist. Wenn die KI zu früh rät, könnte sie ein Buch empfehlen, das eine verborgene Anforderung verfehlt, was den Nutzer frustriert. Wenn sie zu lange wartet oder nicht die richtigen Fragen stellt, verschwendet sie Zeit. Die Kernfrage, die Forscher zu beantworten versuchen, ist, wie gut diese digitalen Assistenten diesen sensiblen Prozess der Entdeckung navigieren können, insbesondere wenn der Nutzer Informationen zurückhält.

Um dies zu untersuchen, erstellte ein Forscherteam einen kontrollierten Experimentaufbau namens Benchmark, was im Wesentlichen ein standardisierter Test ist, der darauf ausgelegt ist, die Leistung unter spezifischen Bedingungen zu messen. Sie bauten einen digitalen Katalog mit 20.000 echten Büchern aus einer öffentlichen Datenbank auf, lengkap mit Details wie Genre, Sprache, Herkunftsland und Erscheinungsjahr. Dann entwarfen sie 450 spezifische Aufgaben, die jeweils eine einzigartige Anfrage für ein Buch darstellten. Der kluge Teil ihres Designs war, dass sie die eigentliche Anfrage für jede Aufgabe exakt gleich hielten, aber die Regeln dafür änderten, wann der Nutzer die Details preisgeben durfte. In einem Szenario, das „Volunteer“ (Freiwilliger) genannt wurde, teilte der Nutzer der KI direkt zu Beginn alles mit, was er wollte. In einem zweiten Szenario, „Mixed“ (Gemischt), nannte der Nutzer ein Detail, hielt andere jedoch verborgen und gab sie erst preis, wenn die KI die richtige Frage stellte. Im dritten und schwierigsten Szenario, „Hidden“ (Verborgen), weigerte sich der Nutzer, bestimmte Anforderungen überhaupt zu nennen, was die KI dazu zwang, durch das Vorschlagen von Büchern und das Beobachten, ob der Nutzer diese annahm oder ablehnte, zu raten. Die Forscher nutzten einen simulierten Nutzer – ein Computerprogramm, das strengen Regeln folgt – um mit vier verschiedenen KI-Agenten zu interagieren, um deren Leistung zu testen.

Die Ergebnisse zeigten eine ernüchternde Realität darüber, wie diese Systeme mit Informationen umgehen. Wenn der Nutzer alle Details sofort freiwillig mitteilte, waren die KI-Agenten bemerkenswert erfolgreich und fanden das richtige Buch in fast jedem einzelnen Versuch. Sobald die Forscher jedoch die Notwendigkeit einführten, Fragen zu stellen, sank die Erfolgsquote signifikant. Als der Nutzer einige Details nur auf Nachfrage offenbarte, waren die Agenten in etwa drei Vierteln der Fälle erfolgreich. Die Situation wurde viel prekärer, wenn der Nutzer einige Anforderungen komplett verbarg. In diesen Fällen waren die KI-Agenten in weniger als einem Drittel der Fälle erfolgreich. Die Studie zeigte, dass die Schwierigkeit nicht in der Größe der Buchsammlung oder den spezifischen Werkzeugen lag, die die KI zur Suche verwendete, sondern im Timing der Information. Die Agenten hatten die größten Probleme, wenn sie versäumten, Fragen zu stellen, bevor sie eine Empfehlung aussprachen. Als die Forscher die Agenten explizit anwiesen, Fragen zu stellen, verbesserte sich ihre Leistung bei den „Mixed“-Aufgaben drastisch und erreichte dieselben hohen Werte wie bei der vollständigen Vorab-Informationsgabe.

Die Forscher entdeckten auch, dass die größten Fehler in den „Hidden“-Szenarien auf einen spezifischen Fehler zurückzuführen waren: Die Agenten empfahlen ein Buch, ohne dieses zuvor dem Nutzer zur Beurteilung vorgeschlagen zu haben. Anstatt ihre Ideen zu testen, trafen sie sich zu schnell zu einer endgültigen Entscheidung. Als die Agenten gezwungen wurden, ein Buch vorzuschlagen und auf ein Ja oder Nein zu warten, bevor sie eine endgültige Empfehlung aussprachen, agierten sie besser, erreichten jedoch dennoch keine perfekte Punktzahl. Die Studie verglich zudem zwei Arten, wie die KI den Katalog durchsuchen konnte. Eine Methode glich der Eingabe von Schlagworten in eine Suchleiste, während die andere ein strukturierter Filter war, der es der KI ermöglichte, die Ergebnisse nach spezifischen Kategorien wie Jahr oder Land einzugrenzen. Die strukturierte Suchmethode half den Agenten, das richtige Buch häufiger zu finden, konnte aber das grundlegende Problem des Nicht-Wissens darüber, was der Nutzer wollte, nicht überwinden.

Letztlich zeigt diese Arbeit, dass die Fähigkeit einer KI, ein erfolgreiches Gespräch zu führen, nicht nur aus dem Zugriff auf eine große Datenbank mit Informationen besteht. Es geht um die Strategie der Entdeckung. Die Studie beweist, dass KI-Agenten, selbst wenn sie fortschrittlich sind, Schwierigkeiten haben, die richtige Antwort zu finden, wenn Anforderungen verborgen sind und es keinen klaren Prozess für das Fragen und Verifizieren gibt. Die Forscher fanden heraus, dass ein Agent, dem angewiesen wird, Fragen zu stellen, fast alle Probleme lösen kann, bei denen der Nutzer bereit ist zu antworten. Wenn der Nutzer jedoch eine Anforderung nicht nennt und stattdessen lediglich Vorschläge beurteilt, machen die Agenten immer noch erhebliche Fehler und empfehlen oft Bücher, die gegen die ungesprochenen Regeln des Nutzers verstoßen. Das Team veröffentlichte alle ihre Daten, den Buchkatalog und den verwendeten Code, um anderen Wissenschaftlern zu ermöglichen, das Experiment zu wiederholen und auf diesen Erkenntnissen aufzubauen. Ihre Arbeit legt nahe, dass eine KI, um ein wirklich effektiver Gesprächspartner in der Empfehlung zu werden, lernen muss, das Schweigen oder die Verweigerung des Nutzers nicht als Sackgasse zu betrachten, sondern als Hinweis darauf, dass eine verborgene Anforderung existiert, die einen sorgfältigeren und systematischeren Ansatz der Eliminierung und Entdeckung erfordert.