In de wereld van kunstmatige intelligentie is er een duidelijk onderscheid tussen een chatbot die simpelweg reageert op wat je zegt en een die actief een gesprek leidt naar een specifiek doel. Dit tweede type, bekend als proactieve dialoog, is de motor achter digitale assistenten die proberen je te overtuigen om aan een goed doel te doneren, je helpen te kalmeren wanneer je in nood verkeert, of een prijs onderhandelen voor een tweedehands artikel. Om deze systemen te laten werken, moeten ze meer doen dan alleen vloeiende zinnen genereren; ze moeten anticiperen op hoe hun woorden je mening, je gevoelens en je intenties zullen veranderen gedurende een lang gesprek. De uitdaging is altijd geweest dat de meest geavanceerde AI-modellen vaak in een vacuüm worden getraind, waarbij ze hun vaardigheden oefenen tegen computerprogramma's die te graag willen pleasen. Deze programma's, of simulaties, fungeren als overdreven gehoorzame studenten die met alles instemmen, waardoor de AI hoge cijfers haalt zonder ooit te leren hoe ze om moeten gaan met een echt persoon die sceptisch, weerbarstig of simpelweg van gedachten kan veranderen kan zijn.

Een team van onderzoekers van Dongchezu Technology en Beihang University heeft een nieuwe trainingsmethode geïntroduceerd die ontworpen is om dit gebrek te herstellen. Ze noemen hun aanpak MASP, wat staat voor Mentalized Adversarial Self-Play. In plaats van de AI te laten oefenen op een zacht, makkelijk doelwit, hebben de onderzoekers een trainingsgrond gecreëerd waar de AI speelt tegen een digitale tegenstander die ontworpen is om rationeel maar moeilijk te zijn. In deze opstelling moet de AI leren de verborgen mentale staat van de gebruiker te lezen—wat zij geloven, wat zij willen en wat zij van plan zijn te doen—en de strategie dienovereenkomstig aanpassen. Het systeem wordt niet alleen beloond voor het winnen, maar ook voor het goed genoeg begrijpen van de gebruiker om progressie te boeken, zelfs wanneer de gebruiker weerstand biedt. Deze methode dwingt de AI om een robuust vermogen te ontwikkelen om complexe menselijke interacties te navigeren, in plaats van alleen te leren hoe ze winnen tegen een gehoorzaam script.

De kern van dit werk is dat een AI niet kan leren een gesprek te leiden als het nooit echte weerstand ervaart. In eerdere methoden trainde de AI tegen een vast gebruikersmodel dat ofwel statisch of te gemakkelijk te manipuleren was. De onderzoekers ontdekten dat dit leidde tot een "soft user"-probleem, waarbij de AI succesvol leek in tests maar faalde wanneer deze werd geconfronteerd met een echt persoon die haar eigen evoluerende gedachten had. Om dit op te lossen, creëerden de onderzoekers een trainingslus waarbij de AI en een gebruikersimulator tegen elkaar spelen in een continu spel. De gebruikersimulator is niet zomaar een willekeurige blokkade; het is getraind om suggesties van de AI op een rationele manier te weerstaan. Als de AI een goed argument biedt, kan de gebruiker ermee instemmen. Als de AI een zwak argument voert, zal de gebruiker weerstand bieden. Deze dynamiek dwingt de AI om te leren hoe ze stap voor stap een overtuigend betoog opbouwt, in plaats van te vertrouwen op gelukstreffers of overdreven eenvoudige tactieken.

Een cruciaal onderdeel van dit systeem is hoe het de interne staat van de gebruiker bijhoudt. De onderzoekers gebruiken een raamwerk gebaseerd op overtuigingen, verlangens en intenties. Stel je een verborgen kaart voor die de AI probeert te lezen, die laat zien wat de gebruiker momenteel denkt, wat zij hopen te bereiken en wat zij vervolgens van plan zijn te doen. De AI ziet deze kaart niet direct; zij ziet alleen de woorden die de gebruiker uitspreekt en moet de kaart afleiden uit het gesprek. Om ervoor te zorgen dat de AI correct leert afleiden, gebruikt de trainingsopstelling een "leraar" en "leerling" benadering. Een bevroren leraarmodel, dat vooraf is getraind op een grote hoeveelheid gegevens, kent de ware verborgen staat van de gebruiker. De AI, die optreedt als de leerling, ziet alleen een schatting van die staat. De AI wordt vervolgens beloond voor het maken van progressie richting het doel, terwijl zij ook wordt gestraft als haar schatting van de geest van de gebruiker onjuist is. Dit zorgt ervoor dat de AI leert de persoon met wie zij spreekt te begrijpen, en niet alleen de woorden die zij uitspreken.

De onderzoekers testten deze methode bij verschillende soorten gesprekken, waaronder het overtuigen van mensen om te doneren, het bieden van emotionele steun, het tonen van empathie en het onderhandelen over prijzen. Ze vergeleken hun nieuwe methode met twee andere veelvoorkomende benaderingen: één waarbij de AI simpelweg wordt getraind op menselijke gesprekken zonder speciale strategie, en een andere waarbij de AI een planner gebruikt maar nog steeds traint tegen een gemakkelijke gebruiker. De resultaten lieten zien dat de nieuwe methode consequent beter presteerde dan de andere. In de overtuigingstests behaalde de AI een succespercentage van bijna 86 procent tegen gemakkelijke gebruikers en 79 procent tegen moeilijke gebruikers, terwijl de andere methoden aanzienlijk meer moeite hadden met de moeilijke gebruikers. De nieuwe methode verminderde ook het aantal beurten dat nodig was om een doel te bereiken, wat betekende dat de gesprekken efficiënter waren. Misschien wel het belangrijkste is dat de AI die met deze methode is getraind, beter was in het behouden van een rationaal gesprek, waardoor situaties werden vermeden waarin het de winst zou forceren door de gebruiker te verwarren of te irriteren.

De studie keek ook naar hoe de AI presteerde wanneer de gebruiker bijzonder koppig was. In deze moeilijke scenario's behield de nieuwe methode een hoog succespercentage, terwijl de prestaties van de andere methoden scherp daalden. Dit suggereert dat de AI een flexibelere en veerkrachtigere strategie heeft geleerd. Zij leerde niet alleen te winnen tegen één specifiek type gebruiker; zij leerde zich aan te passen aan een breed scala aan menselijk gedrag. De onderzoekers merkten op dat het vermogen van de AI om te slagen niet alleen ging over sneller of agressiever zijn, maar over het vermogen om de kamer te lezen en de aanpak aan te passen op basis van de veranderende mentale staat van de gebruiker. Wanneer de gebruiker weerstand bood, pauzeerde de AI en verzamelde meer informatie. Wanneer de gebruaker tekenen van openheid vertoonde, maakte de AI haar zet.

Een van de belangrijkste bevindingen was dat het succes van de AI gekoppeld was aan het vermogen om de rationaliteit van de gebruiker te begrijpen. De onderzoekers introduceerden een nieuwe manier om succes te meten die een overwinning alleen telde als de gebruiker om een logische reden instemde, in plaats van enkel onder druk toe te geven. Onder deze striktere maatstaf presteerde de nieuwe methode nog steeds beter dan de alternatieven. Dit geeft aan dat de AI de gebruiker niet simpelweg onder druk zette om in te stemmen; zij leidde hen daadwerkelijk naar een conclusie die voor hen logisch was. Het trainingsproces, dat duizenden gesimuleerde gesprekken omvatte waarin de AI en de gebruiker tegen elkaar speelden, stelde het systeem in staat om de strategie in de loop van de tijd te verfijnen. De AI leerde dat de beste manier om te winnen was door vertrouwen op te bouwen en heldere, eerlijke redenen voor haar suggesties te geven.

De onderzoekers voerden ook een gedetailleerde analyse uit van de gevallen waarin het systeem faalde. In de gevallen waarin de AI niet slaagde, kwam dit vaak doordat de gebruiker een sterke financiële beperking of een diepgeworteld gebrek aan vertrouwen had dat de AI binnen het beperkte aantal beurten niet kon overwinnen. Deze mislukkingen waren niet te wijten aan verwarring of agressie van de AI, maar aan het feit dat de interne staat van de gebruiker te weerstandbiedend was voor verandering binnen de gegeven tijdspanne. Deze analyse hielp de onderzoekers de grenzen van het systeem te begrijpen en bevestigde dat de AI zelfs in falen rationeel handelde. Zij bleef niet aandringen op een donatie nadat de gebruiker duidelijk "nee" had gezegd; in plaats daarvan herkende zij de impasse en stopte zij.

Dit werk vormt een belangrijke stap voorwaarts in het creëren van AI-agenten die op een natuurlijkere en effectievere manier met mensen kunnen communiceren. Door de AI te trainen tegen een rationele maar moeilijke tegenstander, hebben de onderzoekers een systeem gecreëerd dat beter voorbereid is op de complexiteit van echte menselijke gesprekken. De methode vertrouwt niet op magie of complexe trucs; het vertrouwt op het simpele maar krachtige idee dat om te leren hoe je moet overtuigen, je eerst moet leren hoe je moet luisteren en begrijpen. De resultaten suggereren dat deze aanpak kan worden toegepast op veel andere gebieden waar AI menselijk gedrag moet sturen, van mentale gezondheidszorg tot klantenservice. De studie concludeert dat het behandelen van de gebruiker als een actieve, rationele deelnemer aan het trainingsproces essentieel is voor het bouwen van AI die echt kan slagen in de echte wereld.

De onderzoekers merken er zorgvuldig bij op dat hun systeem nog steeds een simulatie is en nog niet is getest op echte mensen in een live omgeving. De succespercentages en gedragingen die worden beschreven, zijn gebaseerd op interacties tussen computerprogramma's. Echter, de consistentie van de resultaten over verschillende soorten gesprekken en de robuustheid van het systeem tegen moeilijke gebruikers bieden sterk bewijs dat de methode werkt. Het team is van plan het systeem verder te verfijnen en uiteindelijk te testen met echte gebruikers om te zien hoe het presteert buiten de gecontroleerde omgeving van de simulatie. Voor nu biedt de studie een boeiende nieuwe richting voor hoe we machines leren met ons te praten, bewegend van eenvoudige patroonherkenning naar een dieper, strategischer begrip van het menselijk denken.