One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

Nel mondo in rapida evoluzione dell'intelligenza artificiale, è emersa una nuova generazione di programmi informatici noti come "agent". A differenza dei chatbot precedenti che si limitavano a rispondere a domande o a scrivere testi, questi agent sono progettati per compiere azioni. Possono navigare sul web, eseguire codice software o ricorrere a strumenti digitali per svolgere compiti, proprio come farebbe un dipendente umano. Per anni, i ricercatori hanno testato questi agent chiedendo loro di risolvere problemi con risposte chiare e facili da verificare, come correggere una riga di codice interrotta o trovare un dato specifico su un sito web. Il successo in queste aree era misurato in base al fatto che l'agent producesse un output finale corretto o un comando valido. Tuttavia, il mondo reale del business è raramente così semplice. In un ufficio aziendale, il lavoro spesso comporta una lunga catena di eventi in cui il sistema informatico deve essere aggiornato correttamente, le politiche devono essere seguite e lo stato di un database deve cambiare in un modo specifico. Se un agent commette un errore nel mezzo di un processo, o se modifica il record sbagliato, le conseguenze possono essere reali e costose. La domanda critica per il futuro di questa tecnologia non è solo se un agent possa trovare un modo per avere successo una volta, ma se possa farlo in modo affidabile, ogni singola volta, senza causare danni imprevisti.

Un team di ricercatori dell'Università di Pittsburgh, della Northwestern University, della University of California, Irvine, e di Microsoft ha costruito un nuovo campo di prova per rispondere a questa domanda. Hanno creato un ambiente digitale chiamato ThinkingBox, che funge da sandbox sicura e isolata dove questi agent di IA possono interagire con utenti simulati e complessi strumenti aziendali. All'interno di questa sandbox, agli agent vengono assegnati compiti realistici, come elaborare un rimborso per un ordine online, modificare una prenotazione alberghiera, aggiornare una pratica assicurativa o gestire la richiesta di assistenza IT di un dipendente. L'ambiente è progettato per imitare la realtà disordinata del lavoro d'ufficio, dove le informazioni sono spesso incomplete, le regole sono rigide e ogni azione lascia un segno permanente su un record digitale. I ricercatori non hanno solo chiesto agli agent di parlare; hanno richiesto loro di cambiare effettivamente lo stato del sistema. Per garantire che i test fossero equi e ripetibili, la sandbox si resetta completamente dopo ogni tentativo, assicurando che non due prove condividano gli stessi dati o la stessa cronologia nascosta.

I ricercatori hanno poi popolato questo ambiente con 507 compiti distinti in cinque diversi settori: vendita al dettaglio, viaggi e ospitalità, assicurazioni auto, banche e consulenza. Hanno invitato una vasta gamma dei modelli di intelligenza artificiale più avanzati disponibili, inclusi sia sistemi proprietari di grandi aziende tecnologiche che modelli open-source, per tentare questi compiti. Ogni modello ha avuto venti possibilità di risolvere ogni problema. La valutazione è stata rigorosa. Un agent non passava semplicemente perché forniva una risposta cortese o effettuava una chiamata a uno strumento che sembrava corretta in superficie. Invece, il sistema controllava il risultato finale rispetto all'esito richiesto. Il rimborso è apparso effettivamente nel database? La camera d'albergo è stata correttamente contrassegnata come modificata? La pratica assicurativa è stata aggiornata senza alterare accidentalmente la polizza di un altro cliente? Il sistema ha anche controllato gli "effetti collaterali", ovvero ha verificato se l'agent avesse accidentalmente modificato qualcosa che non doveva toccare, un errore comune e pericoloso nei software del mondo reale.

I risultati hanno rivelato un divario significativo tra ciò che gli agent potevano fare occasionalmente e ciò che potevano fare in modo affidabile. Il modello con le prestazioni migliori è riuscito a risolvere il compito correttamente al primo tentativo circa il 65 percento delle volte. Sebbene questo possa sembrare impressionante, il quadro è cambiato quando i ricercatori hanno controllato quanto spesso un modello riuscisse a risolvere il compito con successo in tutti i venti tentativi. Il numero è sceso drasticamente a appena il 25 percento. Ciò significa che, sebbene un agent intelligente potesse spesso imboccare un percorso di successo se gli venissero date abbastanza possibilità, non riusciva a ripetere quel successo in modo costante senza commettere errori. I ricercatori hanno scoperto che molti fallimenti non erano dovuti all'incapacità degli agent di comprendere la richiesta o di parlare con l'utente. Invece, il problema più comune era che gli agent non riuscivano a recuperare quando uno strumento restituiva un messaggio di errore, o eseguivano l'azione corretta sul dato sbagliato. Ad esempio, un agent potrebbe chiamare con successo uno strumento per aggiornare un record ma applicare la modifica al cliente sbagliato, oppure potrebbe interrompere il processo prima di completare un passaggio necessario, lasciando il sistema in uno stato di malfunzionamento.

Lo studio ha inoltre evidenziato come modelli diversi abbiano avuto difficoltà con tipi di lavoro differenti. Alcuni modelli erano piuttosto bravi a gestire ordini al dettaglio, ma performavano scarsamente nel gestire polizze assicurative complesse o regolamentazioni bancarie. Ciò suggerisce che un'alta prestazione in un'area non garantisce che un agent sarà affidabile in un'altra. I ricercatori hanno osservato che anche quando un agent produceva un messaggio finale perfetto per l'utente, il database sottostante spesso rimaneva invariato o veniva corrotto. Questa scoperta mette in discussione l'attuale modo in cui molti sistemi vengono valutati, che spesso si concentra sulla qualità della conversazione o sulla validità della chiamata allo strumento piuttosto che sul risultato effettivo. Il documento conclude che, affinché l'intelligenza artificiale possa essere affidata a lavori aziendali consequenziali, essa deve andare oltre il semplice trovare un percorso di successo una volta e imparare a eseguire quel percorso con precisione costante e ripetibile. La sandbox ThinkingBox e il suo benchmark sono ora disponibili al pubblico, fornendo un nuovo standard per misurare se questi lavoratori digitali siano davvero pronti per il mondo reale.