$\tau$-Rec-Books: A Disclosure-Controlled Benchmark for Requirement Elicitation in Agentic Recommender Systems

Immagina di entrare in una biblioteca dove il bibliotecario conosce ogni libro dell'edificio, ma non puoi semplicemente consegnargli un elenco di ciò che desideri. Inveve, devi avere una conversazione. Potresti iniziare dicendo che vuoi un romanzo di fantascienza, ma mentre il bibliotecario suggerisce dei titoli, ti rendi conto che hai anche bisogno di una storia ambientata prima dell'anno 2000, o forse una scritta in una lingua specifica. La sfida per un'intelligenza artificiale che agisce come questo bibliotecario non è solo trovare libri che corrispondano a un elenco di fatti, ma capire quali siano questi fatti fin dall'inizio. Le persone reali raramente dichiarano ogni singolo requisito all'inizio di una conversazione. Spesso rivelano i loro veri bisogni solo dopo aver visto un suggerimento, o potrebbero esitare a dire esattamente cosa stanno cercando finché non arriva il momento giusto. Se l'IA indovina troppo presto, potrebbe raccomandare un libro che tralascia un requisito nascosto, frustrando l'utente. Se aspetta troppo a lungo o non pone le domande giuste, spreca tempo. La domanda centrale che i ricercatori stanno cercando di rispondere è quanto bene questi assistenti digitali possano navigare in questo delicato processo di scoperta, specialmente quando l'utente trattiene le informazioni.

Per investigare su questo, un team di ricercatori ha creato un esperimento controllato chiamato benchmark, che è essenzialmente un test standardizzato progettato per misurare le prestazioni in condizioni specifiche. Hanno costruito un catalogo digitale contenente 20.000 libri reali da un database pubblico, completi di dettagli come genere, lingua, paese di origine e anno di pubblicazione. Hanno poi progettato 450 compiti specifici, ognuno dei quali rappresenta una richiesta unica di un libro. La parte geniale del loro design era che hanno mantenuto la richiesta effettiva per ogni compito esattamente la stessa, ma hanno cambiato le regole su quando all'utente era permesso rivelare i dettagli. In uno scenario, chiamato "volontario", l'utente diceva all'IA tutto ciò che voleva fin dall'inizio. In un secondo scenario, chiamato "misto", l'utente dichiarava un dettaglio ma teneva nascosti gli altri, rivelandoli solo se l'IA poneva la domanda giusta. Nel terzo e più difficile scenario, chiamato "nascosto", l'utente si rifiutava di dichiarare interamente certi requisiti, costringendo l'IA a indovinare proponendo libri e osservando se l'utente li accettava o li rifiutava. Hanno usato un utente simulato, un programma per computer che seguiva regole rigide, per interagire con quattro diversi agenti di IA per vedere come si comportavano.

I risultati hanno rivelato una realtà cruda su come questi sistemi gestiscono l'informazione. Quando l'utente offriva volontariamente tutti i dettagli immediatamente, gli agenti di IA avevano un successo straordinario, trovando il libro giusto in quasi ogni singolo tentativo. Tuttavia, non appena i ricercatori introducevano la necessità di porre domande, il tasso di successo diminuiva significamente. Quando l'utente rivelava alcuni dettagli solo se interrogato, gli agenti avevano successo circa tre quarti delle volte. La situazione diventava molto più grave quando l'utente nascondeva completamente alcuni requisiti. In questi casi, gli agenti di IA avevano successo meno di un terzo delle volte. Lo studio ha dimostrato che la difficoltà non risiedeva nella dimensione della collezione di libri o negli strumenti specifici utilizzati dall'IA per la ricerca, ma nel tempismo dell'informazione. Gli agenti faticavano di più quando non ponevano domande prima di fare una raccomandazione. Quando i ricercatori istruivano esplicitamente gli agenti a porre domande, le loro prestazioni nei compiti "misti" miglioravano drasticamente, raggiungendo gli stessi livelli elevati di quando tutte le informazioni venivano fornite all'inizio.

I ricercatori hanno anche scoperto che i fallimenti più grandi negli scenari "nascosti" derivavano da un errore specifico: gli agenti raccomandavano un libro che non avevano mai proposto all'utente per un verdetzza prima. Invece di testare le loro idee, si impegnavano in una risposta finale troppo velocemente. Quando gli agenti erano costretti a proporre un libro e aspettare un sì o un no prima di fare una raccomandazione finale, le loro prestazioni miglioravano, sebbene non raggiungevano un punteggio perfetto. Lo studio ha anche confrontato due modi in cui l'IA può cercare nel catalogo. Un metodo era simile al digitare parole chiave in una barra di ricerca, mentre l'altro era un filtro strutturato che permetteva all'IA di restringere i risultati attraverso categorie specifiche come l'anno o il paese. Il metodo di ricerca strutturata aiutava gli agenti a trovare il libro giusto più spesso, ma non poteva superare il problema fondamentale di non sapere cosa volesse l'utente.

In definitiva, questo lavoro dimostra che la capacità di un'IA di avere una conversazione di successo non riguarda solo l'avere accesso a un grande database di informazioni. Si tratta della strategia di scoperta. Lo studio prova che quando i requisiti sono nascosti, anche gli agenti di IA avanzati faticano a trovare la risposta giusta senza un processo chiaro di domanda e verifica. I ricercatori hanno scoperto che se un agente riceve l'istruzione di porre domande, può risolvere quasi tutti i problemi in cui l'utente è disposto a rispondere. Tuttavia, quando l'utente rifiuta di dichiarare un requisito e si limita a giudicare i suggerimenti, gli agenti commettono ancora errori significativi, raccomandando spesso libri che falliscono rispetto alle regole non dette dell'utente. Il team ha rilasciato tutti i propri dati, il catalogo di libri e il codice utilizzato, permettendo ad altri scienziati di ripetere l'esperimento e costruire sulle basi di queste scoperte. Il loro lavoro suggerisce che, affinché l'IA diventi un partner conversazionale davvero efficace nella raccomandazione, deve imparare a trattare il silenzio o il rifiuto di rispondere dell'utente non come un vicolo cieco, ma come un indizio che esiste un requisito nascosto, che richiede un approccio più attento e sistematico di eliminazione e scoperta.