ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation

Dans le monde moderne des affaires, satisfaire un client signifie souvent répondre à ses questions rapidement et avec précision. Lorsqu'une personne achète quelque chose en ligne et qu'elle a ensuite besoin de savoir ce qu'il en est d'un remboursement, d'un retard de livraison ou d'un article endommagé, elle s'attend à une réponse immédiate. Depuis des décennies, les entreprises tentent d'automatiser cela avec des chatbots, des programmes informatiques conçus pour discuter comme des humains. Ces programmes fonctionnent bien pour les questions simples et répétitives, mais ils trébuchent souvent lorsque la situation devient complexe. Si un client pose une question sur une politique spécifique tout en mentionnant une commande passée ou un problème unique, un programme de base peut s'y perdre car il ne peut pas se souvenir de la conversation ou trouver le bon manuel de règles. Pour résoudre cela, des chercheurs construisent désormais des systèmes qui agissent davantage comme une équipe de spécialistes plutôt que comme un robot unique. Ces nouveaux systèmes utilisent une méthode appelée génération augmentée par récupération (RAG), une façon sophistiquée de dire que l'ordinateur cherche des faits dans une base de données avant de parler, garantissant que sa réponse est basée sur les règles réelles de l'entreprise plutôt que de simplement deviner. Ils utilisent également plusieurs « agents », ou petits programmes qui gèrent différentes tâches, comme un qui se souvient de qui est le client, un autre qui trouve la bonne politique, et un troisième qui décide si l'intervention d'un humain est nécessaire.

Une équipe de chercheurs de l'Institut indien de technologie de Kharagpur a construit un nouveau système appelé ShopEase pour tester l'efficacité de cette approche d'équipe pour le support client en entreprise. Leur objectif était de créer un cadre capable de gérer tout le parcours d'une requête client, du moment où la question est posée jusqu'à la réponse finale, tout en sachant quand passer le témoin à un travailleur humain. Le système est conçu avec six parties distinctes qui travaillent ensemble. D'abord, un garde vérifie la question entrante pour s'assurer qu'elle est sûre et claire. Ensuite, un agent identifie ce que le client veut réellement. D'autres agents extraient l'historique personnel du client d'une base de données et rappellent des détails de conversations précédentes. Une équipe de récupération centrale recherche ensuite à travers des milliers de documents de politique pour trouver les règles spécifiques qui s'appliquent à la situation. Si le système estime que le problème est trop complexe ou risqué, un agent d'escalade transmet le dossier à un humain. Enfin, un superviseur coordonne toutes ces étapes et s'assure que la réponse finale est examinée avant d'être renvoyée au client.

Pour voir si ce design fonctionne réellement, les chercheurs l'ont testé sur un large ensemble de 2 632 questions réelles de clients qui avaient été mises de côté pour cette expérience spécifique. Ces questions couvraient six catégories communes : les remboursements, les retours, les problèmes d'expédition, les annulations, les produits endommagés et un groupe de questions qui ne rentraient dans aucune catégorie claire. L'équipe voulait voir quelle méthode de recherche du bon document de politique fonctionnait le mieux. Ils ont testé six stratégies de recherche différentes. Certaines reposaient uniquement sur la correspondance de mots exacts, tandis que d'autres utilisaient une méthode qui comprenait le sens derrière les mots, même si le vocabulaire spécifique était différent. Ils ont également testé des combinaisons de ces méthodes et ajouté une étape où un second contrôle plus minutieux était effectué sur les meilleurs résultats pour voir si cela améliorait la réponse finale.

Les résultats ont montré que la compréhension du sens de la question était bien plus importante que la correspondance de mots exacts. Le système qui reposait uniquement sur la recherche de documents ayant des significations similaires a obtenu le taux de réussite le plus élevé, identifiant correctement la bonne catégorie de politique pour 85,37 % des questions. C'était nettement mieux que le système qui ne cherchait que des mots correspondants, qui a trouvé la bonne réponse pour seulement 55,74 % des cas. Curieusement, l'ajout de cette étape de contrôle supplémentaire et minutieuse n'a pas aidé. En fait, cela a rendu le système plus lent sans le rendre plus précis. Les chercheurs ont constaté que le temps nécessaire pour obtenir une réponse augmentait notablement lorsqu'ils ajoutaient cette couche de traitement supplémentaire, pourtant le nombre de réponses correctes n'augmentait pas. Cela suggère que pour ce type de tâche, une recherche rapide basée sur le sens est plus efficace qu'un processus multi-étapes plus lent.

Lorsque les chercheurs ont regardé de plus près là où le système réussissait et là où il échouait, un schéma clair est apparu. Le système était très bon pour gérer les questions concernant l'expédition, les annulations et les retours, obtenant souvent la bonne réponse plus de 90 % du temps. Cependant, il avait beaucoup de mal avec les questions qui ne rentraient pas proprement dans une catégorie connue. Lorsqu'un client posait une question vague qui ne correspondait à aucune politique spécifique, le système devinait souvent et l'assignait à une catégorie connue malgré tout, plutôt que d'admettre qu'il ne savait pas. C'était la principale source d'erreurs. Le système avait également du mal à distinguer les remboursements des retours, car ces deux concepts utilisent souvent un langage similaire, ce qui entraînait une certaine confusion. Malgré ces accrocs, l'étude a prouvé qu'un système multi-agents pouvait combiner avec succès l'historique du client, la mémoire de la conversation et la récupération de politiques en un flux de travail coordonné unique.

Les chercheurs ont également testé ce qui se passait s'ils retiraient certaines parties du système pour voir l'importance de chaque pièce. Ils ont découvert que retirer la partie qui se souvenait des détails personnels du client causait la plus grande baisse de la sensation de personnalisation des réponses. Cela a confirmé que savoir qui est le client importe autant que connaître les règles. Retirer la partie qui gère l'historique de la conversation a également nui à la qualité des réponses, bien que moins que la perte des données client. La partie responsable du transfert des cas aux humains avait moins d'impact sur la qualité des réponses automatisées, ce qui est logique car son rôle principal est d'intervenir lorsque la machine ne peut pas résoudre le problème, plutôt que d'améliorer la performance de la machine elle-même.

En fin de compte, le système ShopEase a démontré qu'une approche basée sur une équipe fonctionne bien pour le support en entreprise, à condition d'utiliser les bons outils. L'étude a montré que la récupération dense, qui comprend le sens des mots, est supérieure à la simple correspondance de mots-clés pour ce genre de travail. Elle a également révélé que l'ajout d'étapes de re-vérification complexes peut ralentir les choses sans apporter de valeur ajoutée. Bien que le système ne soit pas parfait, notamment lorsqu'il traite des questions vagues ou hors périmètre, il offre une base solide pour l'avenir du service client. Les chercheurs suggèrent que les améliorations futures devraient se concentrer sur de meilleures façons de détecter quand une question est en dehors des connaissances du système et sur l'expansion de la bibliothèque de politiques pour couvrir des scénarios plus diversifiés. Pour l'instant, ce travail fournit une feuille de route claire pour construire des systèmes de support intelligents, rapides, précis et prêts à passer le relais à un humain lorsque la situation l'exige.