Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes
Dit artikel presenteert een door een LLM aangedreven triage-agent die gebruikmaakt van meertrapsconversaties en synthetische digitale tweelingen voor evaluatie om de nauwkeurigheid en efficiëntie te verbeteren bij het doorsturen van bankklanten die geconfronteerd worden met fraude of geschillen naar specialistische teams, met een stijging van 30,6% in de classificatienauwkeurigheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een enorme, drukke bank voor als een grote spoedeisende hulpafdeling van een ziekenhuis. Elke dag lopen duizenden mensen binnen (of bellen ze) met verschillende problemen: sommigen zijn opgelicht, anderen denken dat ze bedrogen zijn, en weer anderen zijn gewoon in de war over een transactie.
In de oude tijden gebruikte de bank een "menu-systeem" (zoals "1" indrukken voor fraude, "2" voor geschillen) of vertrouwde het op vermoeid menselijk personeel om elk verhaal te horen en te raden welk specialistisch team ze moest sturen. Dit was traag, frustrerend voor klanten en stuurde mensen vaak naar de verkeerde dokter, waardoor ze langer moesten wachten en bozer werden.
Om dit op te lossen, bouwde NatWest AI Research een slimme, door AI aangedreven receptie (een "Triage Agent") die geavanceerde Large Language Models (LLM's) gebruikt om met klanten te chatten. Hier is hoe het werkt, simpel uitgelegd:
1. De Slimme Receptie (De Agent)
In plaats van een robotisch menu is deze agent als een hoogopgeleide detective die een natuurlijk gesprek kan voeren.
- Hoe het praat: Het vraagt niet alleen "Is dit fraude?". Het stelt vervolgvragen, luistert aandachtig en legt het verhaal samen, net zoals een mens dat zou doen.
- Het Regelboek: De AI raadt niet zomaar; het heeft een streng "regelboek" (interne bankbeleid) gekregen dat precies aangeeft welke vragen het moet stellen en wat het niet mag zeggen. Het weet hoe het beleefd, feitelijk en veilig moet zijn.
- Het Doel: De taak is om uit te zoeken of een zaak een "Oplichting", "Fraude", "Geschil" of "Onduidelijk" is, en de klant vervolgens direct naar het juiste specialistische team te sturen.
2. De "Digitale Twins" (De Oefenpatiënten)
Hoe test je een nieuwe receptie voordat je ze met echte mensen laat praten? Je kunt niet zomaar raden.
- De Oplossing: De bank creëerde "Digitale Twins." Stel je deze voor als videospelletjespersonages die zo geprogrammeerd zijn dat ze precies als echte klanten gedragen. Het team voerde de AI duizenden oude telefoonopnames en transactieregisters aan om deze twins te leren hoe echte mensen spreken, paniek krijgen of in de war raken.
- De Test: De AI-receptie oefende miljoenen gesprekken met deze "Digitale Twins". Dit stelde de bank in staat om te zien hoe de AI lastige situaties aanpakte, zonder het risico te lopen de ervaring van een echte klant te schaden.
3. Het Veiligheidsnet (Guardrails)
Je zou een nieuwe arts niet zonder toezicht laten opereren, en de bank vertrouwde de AI ook niet zonder veiligheidsnetten.
- De Portier: Het systeem heeft "guardrails" (zoals een portier in een club) die voorkomen dat de AI iets gevaarlijks, onbeleefds of illegaals zegt. Als een klant de AI probeert te misleiden om geheime bankregels te onthullen of haatzaaiende taal gebruikt, blokkeren de guardrails dit.
- De Overdracht: Als een klant te overstuur, kwetsbaar is of gewoon met een mens wil praten, detecteert een speciale "diversion agent" dit en leidt deze de klant zachtjes naar een echte menselijke specialist, zodat niemand tussen wal en schip valt.
4. De Resultaten: Werkte het?
Het team testte dit nieuwe systeem tegen de oude methoden, zowel met de "Digitale Twins" als met echte menselijke experts (Subject Matter Experts) die als klanten optraden.
- Betere Nauwkeurigheid: De AI was 30,6% beter in het correct identificeren van het type probleem vergeleken met het oude systeem. Het was veel minder waarschijnlijk dat het een klant naar het verkeerde team stuurde.
- Tevreden Klanten: De experts beoordeelden de AI hoog op beleefdheid, duidelijkheid en behulpzaamheid.
- Veiligheid: De veiligheidsnetten werkten bijna perfect en vingen meer dan 98% van de slechte pogingen om het systeem te misleiden.
De Conclusie
De bank bouwde een chatbot die niet alleen vragen beantwoordt, maar ze eigenlijk onderzoekt. Door het te trainen op "Digitale Twin"-klanten en het te omhullen met strikte veiligheidsregels, creëerden ze een systeem dat bankproblemen sneller en nauwkeuriger sorteert dan de oude manier. Het is alsof je opklimt van een chaotische wachtkamer naar een gestroomlijnd, slim triagecentrum waar iedereen veel sneller de juiste hulp krijgt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.