Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

Wanneer een mens een kind leert fietsen, is de les een gesprek van blikken, wiebelen en aanmoedigende woorden. Het kind leert door het gevoel van de verschuivende balans, en de ouder leert door te kijken naar hoe het kind hun begeleiding interpreteert. Deze wisselwerking is de essentie van hybride intelligentie: twee verschillende geesten die samenwerken om een probleem op te lossen dat zij alleen niet zouden kunnen beheersen. In de wereld van robotica wordt dit partnerschap human-interactive robot learning genoemd. Hier fungeert een persoon als leraar, die een robot door een taak loodst met behulp van feedback of demonstraties. De hoop is dat de robot leert een kamer te navigeren, een doos te duwen of een vloer schoon te maken door de signalen van de leraar te begrijpen. Er bestaat echter vaak een aanzienlijke kloof tussen wat de leraar beoogt en wat de robot daadwerkelijk begrijpt. Als een mens denkt dat de robot in de war is, kan hij een hint geven die de robot interpreteert als een beloning voor een volkomen andere actie. Om betere partnerschappen op te bouwen, moeten wetenschappers eerst begrijpen hoe mensen betekenis geven aan het gedrag van een robot wanneer zij er niet direct mee kunnen spreken.

Een team van onderzoekers zette zich in om te ontdekken hoe mensen het leerproces van een robot interpreteren wanneer zij enkel toekijken. Zij waren niet geïnteresseerd in hoe een robot wiskundig leert, maar eerder in het verhaal dat een menselijke waarnemer zichzelf vertelt over wat de robot denkt. Om dit te doen, ontwikkelden zij een nieuwe manier om menselijke perceptie te bestuderen die de complicatie van actief onderricht wegnam. In plaats van mensen te vragen te interageren met een robot en feedback te geven, vroegen de onderzoekers hen simpelweg om video's te bekijken van robots die leren en vervolgens te beschrijven wat zij geloofden dat er in de geest van de machine gebeurde. Deze aanpak stelde de wetenschappers in staat om de rauwe, ongefilterde aannames te zien die mensen maken wanneer zij proberen een kunstmatige leerling te begrijpen.

In hun eerste studie interviewden de onderzoekers negen mensen die keken naar een robot die leerde navigeren door een rasterachtige omgeving, waarbij de robot gaten vermeed en een uitgang vond. De deelnemers kregen de opdracht om hardop uit te spreken wat zij dachten terwijl zij de robot zagen bewegen. De onderzoekers luisterden naar patronen in hoe deze waarnemers de acties van de robot verklaarden. Zij ontdekten dat mensen niet alleen willekeurige bewegingen zagen; zij construeerden een gedetailleerd mentaal model van het interne leven van de robot. Dit model viel consequent in vier hoofdcategorieën. Ten eerste namen mensen aan dat de robot specifieke doelen had, zoals het willen bereiken van de uitgang zo snel mogelijk of het proberen te vermijden van vallen. Ten tweede geloofden zij dat de robot kennis verzamelde, door te onthouden welke plekken gevaarlijk waren en welke veilig. Derde dachten waarnemers dat de robot beslissingen nam, waarbij hij opties af weighed en paden koos op basis van een strategie. Ten slotte concludeerden mensen dat de robot een leermechanisme had, een manier om zijn begrip bij te stellen op basis van eerdere fouten of successen. Deze bevindingen suggereerden dat mensen van nature een rijke, menselijke innerlijke wereld op de machine projecteren om het gedrag begrijpelijk te maken.

Om deze initiële ideeën te bevestigen en te zien of ze standhielden in complexere situaties, voerden de onderzoekers een tweede, grotere studie uit met vierendertig deelnemers. Zij breidden het experiment uit naar twee verschillende soorten taken en twee verschillende soorten leeralgoritmen. In het ene scenario leerde een robot een kamer schoon te maken door rond meubels te navigeren en vuil op te pakken. In het andere scenario leerde een andere robot een doos met medicatie over een tafel te duwen naar een patiënt die er niet bij kon. De robots gebruikten verschillende methoden om te leren: de één gebruikte een eenvoudige, tabelgebaseerde methode van trial-and-error, terwijl de andere een complexere, continue methode gebruikte die nabootst hoe biologische hersenen vloeiende bewegingen verwerken. De deelnemers bekeken video's van deze robots in drie verschillende stadia van het leerproces: vroeg, midden en laat. Na elke video beoordeelden zij hoe relevant de vier thema's doelen, kennis, besluitvorming en leermechanismen waren voor wat zij zagen.

De resultaten van deze grotere studie bevestigden dat de vier thema's die in het eerste experiment werden geïdentificeerd, geen toevalstreffer waren. Over zowel de schoonmaak- als de duwtaak heen, en ongeacht de complexe leermethode die de robot gebruikte, vertrouwden mensen consistent op deze vier categorieën om de robot te begrijpen. De onderzoekers ontdekten dat naarmate de robots beter werden in hun taken, de manier waarop mensen hen beschreven veranderde. In de beginfase dachten waarnemers vaak dat de robot een gebrek aan kennis had of simpelweg aan het gokken was. Naarmate de robot verbeterde, verschoften mensen hun visie en geloofden zij dat de robot een duidelijk plan had ontwikkeld en bewuste beslissingen nam. De studie toonde aan dat het menselijk begrip niet statisch is; het evolueert naarmate het gedrag van de robot verandert. Mensen zien niet alleen een machine die code volgt; zij zien een agent die leert, onthoudt en plant.

De onderzoekers ontdekten ook dat de specifieke details van deze aannames vrij vloeiend waren. Wanneer mensen bijvoorbeeld nadachten over de doelen van de robot, richtten zij zich soms op de uiteindelijke uitkomst, zoals het bereiken van de uitgang, en op andere momenten op de kwaliteit van de beweging, zoals efficiënt schoonmaken of veilig bewegen. Op een vergelijkbare manier, wanneer zij nadachten over hoe de robot leerde, stelden mensen zich soms voor dat de robot leerde door pure exploratie, terwijl zij op andere momenten geloofden dat de robot leerde door feedback of door te redeneren over het probleem. Deze flexibiliteit suggereert dat mensen een dynamisch kader hebben voor het interpreteren van robots, een kader dat zij voortdurend aanpassen terwijl zij de robot uitvoeren zien. De studie vond geen bewijs dat de achtergrond van een persoon, zoals het hebben van kinderen of huisdieren, deze fundamentele denkpatronen veranderde.

Dit werk benadrukt een cruciale uitdaging voor de toekomst van mens-robot samenwerking. Omdat mensen van nature aannemen dat robots doelen, kennis en besluitvormingsprocessen hebben die vergelijkbaar zijn met die van henzelf, bestaat het risico dat deze aannames onjuist zijn. Als een mens gelooft dat een robot leert door te redeneren terwijl hij in werkelijkheid slechts een eenvoudige regel volgt, kan de mens feedback geven die de machine in de war brengt. De onderzoekers suggereren dat voor robots om werkelijk effectieve partners te zijn, hun ontwerpers deze menselijke aannames moeten begrijpen. Door te erkennen dat mensen onvermijdelijk een menselijke geest op een robot projecteren, kunnen ingenieurs systemen creëren die transparanter zijn. Zij kunnen robots ontwerpen die hun werkelijke leerproces communiceren op een manier die aansluit bij menselijke verwachtingen, waardoor de kloof tussen wat de robot doet en wat de mens denkt dat de robot doet, wordt verkleind. Deze afstemming is essentieel voor het bouwen van het soort hybride intelligentie waarbij mensen en machines echt samen kunnen werken, waarbij zij elkaars rol in de gedeelde taak begrijpen.