ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation

In de moderne zakenwereld betekent het tevreden houden van een klant vaak dat hun vragen snel en accuraat worden beantwoord. Wanneer iemand iets online koopt en vervolgens informatie nodig heeft over een terugbetaling, een verzendvertraging of een beschadigd artikel, verwachten zij een direct antwoord. Decennialang hebben bedrijven geprobeerd dit te automatiseren met chatbots, computerprogramma's die ontworpen zijn om te chatten als mensen. Deze programma's werken goed voor eenvoudige, herhaalde vragen, maar ze struikelen vaak wanneer een situatie ingewikkelder wordt. Als een klant vraagt naar een specifiek beleid en daarbij ook een eerdere bestelling of een uniek probleem vermeldt, kan een basisprogramma de weg kwijtraken omdat het het gesprek niet kan onthouden of de juiste regelset niet kan vinden. Om dit op te lossen, bouwen onderzoekers nu systemen die meer lijken op een team van specialisten dan op een enkele robot. Deze nieuwe systemen maken gebruik van een methode genaamd retrieval-augmented generation, wat een chique manier is om te zeggen dat de computer feiten opzoekt in een database voordat hij spreekt, zodat zijn antwoord gebaseerd is op echte bedrijfsregels in plaats van alleen maar te gokken. Ze gebruiken ook meerdere "agents", of kleine programma's die verschillende taken afhandelen, zoals één die onthoudt wie de klant is, een andere die de juiste beleidsregels opzoekt, en een derde die beslist of er een mens moet worden ingeschakeld.

Een team van onderzoekers aan het Indian Institute of Technology Kharagpur heeft een nieuw systeem genaamd ShopEase gebouwd om te testen hoe goed deze teambenadering werkt voor zakelijke klantenservice. Hun doel was om een framework te creëren dat de volledige reis van een klantvraag kon afhandelen, van het moment dat een vraag wordt gesteld tot het uiteindelijke antwoord, terwijl het weet wanneer het het stokje moet overdragen aan een menselijke medewerker. Het systeem is ontworpen met zes duidelijke onderdelen die samenwerken. Eerst controleert een bewaker de binnenkomende vraag om te controleren of deze veilig en duidelijk is. Vervolgens identificeert een agent wat de klant daadwerkelijk wil. Andere agents halen de persoonlijke geschiedenis van de klant op uit een database en halen details op uit eerdere gesprekken. Een centraal retrieval-team doorzoekt vervolgens duizenden beleidsdocumenten om de specifieke regels te vinden die van toepassing zijn op de situatie. Als het systeem het gevoel heeft dat het probleem te complex of riskant is, draagt een escalatie-agent de zaak over aan een mens. Ten slotte coördineert een supervisor al deze stappen en zorgt ervoor dat het uiteindelijke antwoord wordt beoordeeld voordat het naar de klant wordt teruggestuurd.

Om te zien of dit ontwerp daadwerkelijk werkt, testten de onderzoekers het op een grote set van 2.632 echte klantvragen die apart waren gehouden voor dit specifieke experiment. Deze vragen bestonden uit zes veelvoorkomende categorieën: terugbetalingen, retourzendingen, verzendproblemen, annuleringen, beschadigde producten en een groep vragen die niet in een duidelijke categorie pasten. Het team wilde zien welke methode voor het vinden van het juiste beleidsdocument het beste werkte. Ze probeerden zes verschillende zoekstrategieën. Sommige vertrouwden enkel op het matchen van exacte woorden, terwijl andere een methode gebruikten die de betekenis achter de woorden begreep, zelfs als de specifieke woordenschat anders was. Ze testten ook combinaties van deze methoden en voegden een stap toe waarbij een tweede, nauwkeurigere controle werd uitgevoerd op de topresultaten om te zien of dit het uiteindelijke antwoord verbeterde.

De resultaten lieten zien dat het begrijpen van de betekenis van de vraag veel belangrijker was dan het matchen van exacte woorden. Het systeem dat uitsluitend vertrouwde op het vinden van documenten met een vergelijkbare betekenis, behaalde de hoogste succesratio en identificeerde de juiste beleidscategorie correct voor 85,37 procent van de vragen. Dit was aanzienlijk beter dan het systeem dat alleen zocht naar overeenkomstige woorden, dat het antwoord slechts in 55,74 procent van de gevallen correct kreeg. Interessant genoeg hielp het toevoegen van die extra, zorgvuldige controlesstap niet. Sterker nog, het maakte het systeem trager zonder dat het nauwkeuriger werd. De onderzoekers ontdekten dat de tijd die nodig was om een antwoord te krijgen merkbaar toenam wanneer ze deze extra laag van verwerking toevoegden, terwijl het aantal correcte antwoorden niet toenam. Dit suggereert dat voor dit type taak een snelle, op betekenis gebaseerde zoekopdracht effectiever is dan een langzamer, meerstaps proces.

Toen de onderzoekers nauwkeuriger keken naar waar het systeem slaagde en waar het faalde, kwam er een duidelijk patroon naar voren. Het systeem was erg goed in het afhandelen van vragen over verzending, annuleringen en retourzendingen, waarbij het vaak in meer dan 90 procent van de gevallen het juiste antwoord gaf. Het had echter aanzienlijke problemen met vragen die niet netjes in een bekende categorie pasten. Wanneer een klant een vage vraag stelde die niet overeenkwam met een specifiek beleid, gokte het systeem vaak en wijs het toch toe aan een bekende categorie in plaats van toe te geven dat het het niet wist. Dit was de belangrijkste bron van fouten. Het systeem had ook moeite met het onderscheid tussen terugbetalingen en retourzendingen, aangezien deze twee concepten vaak vergelijkbare taal gebruiken, wat tot verwarring leidde. Ondanks deze imperfecties bewees de studie dat een multi-agent systeem succesvol de klantgeschiedenis, gesprekgeheugen en beleidsretrieval kan combineren in één enkele, gecoördineerde workflow.

De onderzoekers testten ook wat er gebeurde als ze bepaalde onderdelen van het systeem zouden verwijderen om te zien hoe belangrijk elk onderdeel was. Ze ontdekten dat het verwijderen van het onderdeel dat de persoonlijke details van de klant onthoudt, de grootste daling veroorzaakte in hoe gepersonaliseerd de antwoorden aanvoelden. Dit bevestigde dat weten wie de klant is even belangrijk is als het kennen van de regels. Het verwijderen van het deel dat de gesprekshistorie beheert, schaadde ook de kwaliteit van de antwoorden, hoewel minder sterk dan het verlies van de klantgegevens. Het onderdeel dat verantwoordelijk is voor het overdragen van zaken aan mensen had minder impact op de kwaliteit van de geautomatiseerde antwoorden, wat logisch is omdat de hoofdfunctie ervan is om in te grijpen wanneer de machine het probleem niet kan oplossen, in plaats van de eigen prestaties van de machine te verbeteren.

Uiteindelijk toonde het ShopEase-systeem aan dat een teamgerichte aanpak goed werkt voor zakelijke ondersteuning, mits de juiste instrumenten worden gebruikt. De studie toonde aan dat "dense retrieval", wat de betekenis van woorden begrijpt, superieur is aan eenvoudige trefwoordmatching voor dit soort werk. Het onthulde ook dat het toevoegen van complexe controle-stappen de zaken kan vertragen zonder waarde toe te voegen. Hoewel het systeem niet perfect is, vooral bij het omgaan met vage of buiten de scope vallende vragen, biedt het een solide fundament voor de toekomst van klantenservice. De onderzoekers suggereren dat toekomstige verbeteringen zich moeten richten op betere manieren om te detecteren wanneer een vraag buiten de kennis van het systeem valt, en op het uitbreiden van de bibliotheek met beleidsregels om meer diverse scenario's te dekken. Voor nu biedt dit werk een duidelijk stappenplan voor het bouwen van intelligente ondersteuningssystemen die snel, accuraat en klaar zijn om het stokje over te dragen aan een mens wanneer de situatie daarom vraagt.