Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses

Nel panorama moderno dell'intelligenza artificiale, è emerso un nuovo tipo di lavoratore digitale: l'agente linguistico. A differenza dei programmi precedenti che si limitavano a rispondere a domande basate su un database statico, questi agenti sono progettati per agire. Possono navigare sul web, interrogare database e utilizzare strumenti software per risolvere problemi complessi, proprio come un assistente umano che telefona per fare una prenotazione o controlla un foglio di calcolo per l'inventario. Tuttavia, questi lavoratori digitali non sono infallibili. Quando si rivolgono a uno strumento, si aspettano una risposta pulita e accurata. Nel mondo reale, gli strumenti a volte falliscono, restituendo messaggi di errore, oppure restituiscono dati che sembrano perfetti in superficie ma contengono una sottile menzogna. La sfida centrale per i ricercatori non è solo costruire agenti che funzionino quando tutto va per il verso giusto, ma costruire agenti capaci di riconoscere quando qualcosa è andato storto e rispondere in modo appropriato. Se un agente non riesce a distinguere tra uno strumento rotto e uno fuorviante, applicherà la correzione sbagliata, rischiando potenzialmente di sprecare tempo o peggiorare la situazione.

Un team di ricercatori dell'Università di Aalborg e dell'Università di Zhejiang si è posto l'obiettivo di investigare esattamente questo momento decisionale. Volevano sapere se un'intelligenza artificiale potesse distinguere istantaneamente tra uno strumento che ha fallito nel restituire qualsiasi dato e uno strumento che ha restituito una risposta ben formata ma falsa. Per testarlo, hanno creato un ambiente controllato che simulava uno scenario di assistenza clienti nel settore retail. In questo mondo digitale, un agente agisce come un rappresentante del supporto, utilizzando un set di sedici diversi strumenti per cercare dettagli sugli ordini, controllare i metodi di pagamento e aggiornare le informazioni dell'utente. I ricercatori hanno preso una sequenza standard e di successo di azioni e, in un punto specifico, hanno sostituito la risposta normale dello strumento con una difettosa. Hanno creato tre tipi di guasti: un fallimento completo in cui lo strumento ha restituito un messaggio di errore, uno stato dell'ordine falsificato che cambiava le regole di ciò che all'agente era permesso fare successivamente, e un identificativo di pagamento falsificato che sembrava corretto ma non apparteneva al cliente.

I ricercatori non si sono limitati a osservare l'agente mentre cercava di completare il compito per vedere se avesse successo. Al contrario, hanno interrotto il processo nell'istante esatto in cui arrivavano i dati difettosi. Hanno esaminato il "processo di pensiero" interno del modello, osservando specificamente quanto fosse probabile che generasse la parola successiva della sua risposta. Hanno misurato due cose distinte. Primo, hanno controllato quanto i dati restituiti si adattassero al formato atteso dello strumento stesso. Secondo, hanno controllato quanto quei dati si adattassero a tutto ciò che l'agente aveva già visto nella conversazione, inclusa la richiesta originale dell'utente e i risultati degli strumenti precedenti. Hanno anche osservato il piano dell'agente per il passaggio immediatamente successivo, misurando quanto fosse fiducioso riguardo all'azione da intraprendere e se tale azione comportasse il controllo nuovamente dello stato del sistema o l'avanzamento verso un cambiamento.

I risultati hanno rivelato una differenza netta e immediata nel modo in cui l'agente reagiva a questi diversi tipi di errori. Quando lo strumento restituiva un messaggio di errore rotto, l'agente riconosceva immediatamente che i dati non rispettavano il formato base dello strumento. Questo era un segnale chiaro che lo strumento era fallito. Di conseguenza, il piano dell'agente cambiava drasticamente; diventava altamente probabile che scegliesse un'azione che avrebbe riletto lo stato del sistema, decidendo essenzialmente di riprovare o di verificare i fatti. Al contrario, quando lo strumento restituiva una risposta ben formata ma falsa, l'agente non vedeva alcun problema con il formato. I dati sembravano perfetti. Tuttavia, il confronto interno dell'agente tra i nuovi dati e la cronologia della conversazione rivelava un conflitto. I dati falsi contrastavano con quanto l'utente aveva precedentemente dichiarato o con quanto stabilito dalla policy del sistema.

Fondamentalmente, i ricercatori hanno scoperto che la reazione dell'agente a queste risposte false dipendeva interamente dalla natura della menzogna. Quando l'informazione falsificata era una semplice discrepanza, come un ID di pagamento che non apparteneva all'utente, il piano dell'agente rimaneva ampiamente invariato. Non diventava confuso o incerto; semplicemente accettava i dati falsi e procedeva, perché la menzogna non alterava le regole fondamentali dell'interazione. Ma quando l'informazione falsificata era uno stato dell'ordine che cambiava le regole di quali azioni erano consentite, il comportamento dell'agente cambiava. Diventava incerto su cosa fare dopo e il suo piano cambiava per riflettere la nuova, errata realtà. Ciò dimostrava che l'agente poteva distinguere tra uno strumento rotto e uno strumento bugiardo, ma non riusciva sempre a distinguere tra una menzogna innocua e una consequenziale che avrebbe deviato il compito.

Lo studio ha anche esaminato cosa accadeva dopo l'errore iniziale. I ricercatori hanno scoperto che il tipo di errore lasciava una traccia duratura nel comportamento futuro dell'agente. Il sistema rotto causava l'agente a continuare a tentare di rileggere lo stato del sistema nei passaggi successivi, un segno che era bloccato in un ciclo di verifica. Lo stato dell'ordine falsificato, invece, portava l'agente su un percorso completamente diverso, portandolo a intraprendere azioni che cambiavano lo stato del sistema sulla base delle informazioni false. L'ID di pagamento falsificato, che l'agente aveva inizialmente accettato senza problemi, continuava ad essere accettato nei passaggi successivi, senza alcun segno che l'agente si rendesse conto di essere stato ingannato. Ciò dimostrava che la capacità dell'agente di riconoscere un errore non era un singolo allarme universale. Al contrario, era una collezione di segnali differenti. Un segnale diceva all'agente che lo strumento era rotto, un altro diceva che i dati erano incoerenti con il passato e un terzo diceva che i dati erano incoerenti con le regole. Nessun segnale singolo poteva catturare ogni tipo di errore.

I ricercatori hanno concluso che la robustezza in questi agenti non riguarda un singolo parametro che segnali tutti i dati errati. Inveve, richiede la lettura simultanea di molteplici canali di informazione. Un agente deve essere in grado di vedere quando i dati non corrispondono alla forma di uno strumento, quando contraddicono la cronologia della conversazione e quando contraddicono le regole del dominio. Lo studio ha dimostrato che questi diversi tipi di errori producono firme distinte nei calcoli interni dell'agente. Uno strumento rotto è immediatamente ovvio perché rompe il formato. Uno strumento bugiardo è più difficile da catturare perché si adatta al formato ma rompe la storia. Le menzogne più pericolose sono quelle che cambiano le regole del gioco, poiché possono mandare l'agente su un percorso completamente sbagliato senza innescare alcuna confusione. Comprendendo queste firme specifiche, gli sviluppatori possono costruire agenti meglio equipaggiati per diagnosticare i propri errori e scegliere il rimedio corretto, che si tratti di riprovare uno strumento, verificare un fatto o fermarsi per chiedere chiarimenti.