ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation

Nel mondo moderno del business, rendere un cliente felice spesso significa rispondere alle sue domande in modo rapido e accurato. Quando una persona acquista qualcosa online e poi ha bisogno di informazioni su un rimborso, un ritardo nella spedizione o un articolo danneggiato, si aspetta una risposta immediata. Per decenni, le aziende hanno cercato di automatizzare questo processo con i chatbot, programmi informatici progettati per chattare come gli esseri umani. Questi programmi funzionano bene per domande semplici e ripetitive, ma spesso inciampano quando la situazione si complica. Se un cliente chiede informazioni su una politica specifica menzionando contemporaneamente un ordine passato o un problema unico, un programma di base potrebbe smarrirsi perché non è in grado di ricordare la conversazione o trovare il manuale delle regole corretto. Per risolvere questo problema, i ricercatori stanno costruendo sistemi che agiscono più come un team di specialisti piuttosto che come un singolo robot. Questi nuovi sistemi utilizzano un metodo chiamato generazione aumentata dal recupero (retrieval-augmented generation), che è un modo elaborato per dire che il computer cerca fatti in un database prima di parlare, assicurando che la sua risposta si basi su regole aziendali reali anziché limitarsi a indovinare. Utilizzano anche molteplici "agent", ovvero piccoli programmi che gestiscono compiti diversi, come uno che ricorda chi è il cliente, un altro che trova la politica corretta e un terzo che decide se sia necessario l'intervento di un essere umano.

Un team di ricercatori dell'Indian Institute of Technology Kharagpur ha costruito un nuovo sistema chiamato ShopEase per testare quanto bene funzioni questo approccio basato sul team per l'assistenza clienti aziendale. Il loro obiettivo era creare un framework in grado di gestire l'intero percorso di una richiesta del cliente, dal momento in cui viene posta la domanda fino alla risposta finale, sapendo al contempo quando passare il testimone a un operatore umano. Il sistema è progettato con sei parti distinte che lavorano insieme. Per prima cosa, un guardiano controlla la domanda in entrata per assicurarsi che sia sicura e chiara. Successivamente, un agente identifica ciò che il cliente desidera realmente. Altri agenti recuperano la storia personale del cliente da un database e richiamano i dettagli di conversazioni precedenti. Un team di recupero centrale cerca tra migliaia di documenti sulle policy per trovare le regole specifiche applicabili alla situazione. Se il sistema percepisce che il problema è troppo complesso o rischioso, un agente di escalation consegna il caso a un essere umano. Infine, un supervisore coordina tutti questi passaggi e assicura che la risposta finale sia revisionata prima di essere inviata al cliente.

Per vedere se questo design funziona effettivamente, i ricercatori lo hanno testato su un ampio set di 2.632 domande reali dei clienti che erano state messe da parte per questo esperimento specifico. Queste domande coprivano sei categorie comuni: rimborsi, resi, problemi di spedizione, cancellazioni, prodotti danneggiati e un gruppo di domande che non rientravano in alcuna categoria chiara. Il team voleva vedere quale metodo di ricerca del documento della policy corretto funzionasse meglio. Hanno testato sei diverse strategie di ricerca. Alcune si basavano solo sulla corrispondenza di parole esatte, mentre altre utilizzavano un metodo che comprendeva il significato dietro le parole, anche se il vocabolario specifico era diverso. Hanno anche testato combinazioni di questi metodi e aggiunto un passaggio in cui veniva eseguito un secondo controllo più accurato per vedere se migliorava la risposta finale.

I risultati hanno mostrato che comprendere il significato della domanda era molto più importante che far corrispondere le parole esatte. Il sistema che si basava esclusivamente sul trovare documenti con significati simili ha ottenuto il tasso di successo più elevato, identificando correttamente la categoria della policy corretta per l'85,37 percento delle domande. Questo è stato significativamente migliore rispetto al sistema che cercava solo parole corrispondenti, che ha dato la risposta corretta solo nel 55,74 percento dei casi. Interessantemente, aggiungere quel passaggio di controllo più attento non ha aiutato. Di fatto, ha reso il sistema più lento senza renderlo più accurato. I ricercatori hanno scoperto che il tempo necessario per ottenere una risposta è aumentato sensibilmente quando hanno aggiunto questo ulteriore livello di elaborazione, eppure il numero di risposte corrette non è aumentato. Ciò suggerisce che, per questo tipo di compito, una ricerca veloce basata sul significato è più efficace di un processo multi-step più lento.

Quando i ricercatori hanno esaminato più da vicino dove il sistema aveva successo e dove falliva, è emerso un modello chiaro. Il sistema era molto bravo a gestire domande su spedizioni, cancellazioni e resi, ottenendo spesso la risposta corretta più del 90 percento delle volte. Tuttavia, incontrava difficoltà significative con le domande che non rientravano nettamente in una categoria nota. Quando un cliente poneva una domanda vaga che non corrispondeva ad alcuna policy specifica, il sistema spesso tirava a indovinare e la assegnava comunque a una categoria nota, invece di ammettere di non sapere. Questa è stata la fonte principale degli errori. Il sistema ha anche avuto difficoltà a distinguere tra rimborsi e resi, poiché questi due concetti utilizzano spesso un linguaggio simile, portando a qualche confusione. Nonostante questi intoppi, lo studio ha dimostrato che un sistema multi-agente può combinare con successo la cronologia del cliente, la memoria della conversazione e il recupero delle policy in un unico flusso di lavoro coordinato.

I ricercatori hanno anche testato cosa accadeva rimuovendo certe parti del sistema per vedere quanto fosse importante ciascun elemento. Hanno scoperto che rimuovere la parte che ricordava i dettagli personali del cliente causava il calo maggiore nella percezione di personalizzazione delle risposte. Ciò ha confermato che conoscere chi è il cliente è importante quanto conoscere le regole. Rimuovere la parte che gestisce la cronologia della conversazione ha danneggiato la qualità delle risposte, sebbene non quanto la perdita dei dati del cliente. La parte responsabile del passaggio dei casi agli umani ha avuto un impatto minore sulla qualità delle risposte automatizzate, il che ha senso poiché il suo compito principale è intervenire quando la macchina non può risolvere il problema, piuttosto che migliorare le prestazioni della macchina stessa.

In conclusione, il sistema ShopEase ha dimostrato che un approccio basato su un team funziona bene per l'assistenza aziendale, a patto di utilizzare gli strumenti giusti. Lo studio ha mostrato che il recupero denso, che comprende il significato delle parole, è superiore alla semplice corrispondenza di parole chiave per questo tipo di lavoro. Ha inoltre rivelato che l'aggiunta di complessi passaggi di ricontrollo può rallentare le cose senza aggiungere valore. Sebbene il sistema non sia perfetto, specialmente quando si occupa di domande vaghe o fuori ambito, offre una solida base per il futuro del servizio clienti. I ricercatori suggeriscono che i miglioramenti futuri dovrebbero concentrarsi su modi migliori per rilevare quando una domanda è al di fuori della conoscenza del sistema e sull'espansione della libreria di policy per coprire scenari più diversificati. Per ora, questo lavoro fornisce una chiara tabella di marcia per la costruzione di sistemi di assistenza intelligenti, veloci, accurati e pronti a passare la mano a un essere umano quando la situazione lo richiede.