🤖 AI

Evaluating XAI Support From A Hierarchical Reinforcement Learning Policy in Human-Agent Collaboration

Dit artikel presenteert de eerste systematische evaluatie van intrinsiek uitlegbare hiërarchische reinforcement learning in mens-agent samenwerking met behulp van de Overcooked-AI benchmark, waarbij wordt onthuld dat hoewel uitleg trends vertoonde naar snellere verbetering, via audio geleverde uitleg de mens-agent werkalliantie aanzienlijk ondermijnde door het creëren van onvervulde partnerschapverwachtingen.

Oorspronkelijke auteurs: Mateus Levi Simões Fernandes, Alberto Sardinha

Gepubliceerd 2026-08-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mateus Levi Simões Fernandes, Alberto Sardinha

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een razendsnelle videogame speelt met een robot-teamgenoot. Jullie moeten allebei uien snijden, soep koken en deze serveren voordat de tijd om is. In de echte wereld, wanneer twee mensen samen spelen, praten ze: "Ik pak de tomaat, jij pakt de pan!" of "Pas op, ik kom eraan!" Dit geklets helpt hen om een gedeeld begrip te creëren van wat er gebeurt. Maar robots zijn vaak als stille, mysterieuze machines; ze bewegen snel en doen dingen, maar ze vertellen je niet waarom. Dit creëert een kloof. Als een robot een echte partner moet zijn, en niet alleen een hulpmiddel, moet hij zijn gedachten kunnen uitleggen. Hier komt "Explainable AI" (XAI) om de hoek kijken. Dit is de wetenschap van het leren aan robots om te zeggen: "Ik doe dit omdat..." zodat mensen hen beter kunnen vertrouwen en met hen kunnen samenwerken. Maar hier zit de lastige kant aan: als de robot te veel praat, kan het je afleiden. Als de robot op de verkeerde manier praat, kan het je irriteren. De grote vraag is: hoe zorgen we ervoor dat een robot zichzelf uitlegt zonder in de weg te zitten van het spel?

Dit artikel duikt in dat exacte probleem door een digitaal keukenexperiment op te zetten met behulp van een spel genaamd Overcooked-AI. De onderzoekers gebruikten een speciaal soort robotbrein genaamd "Hierarchical Reinforcement Learning". Denk hierbij aan een robot die niet alleen over elke kleine stap nadenkt (zoals "stap links, stap rechts"), maar in plaats daarvan in grotere brokken denkt, zoals "haal een ui" of "doe de soep in een kom". Omdat de robot in deze grote brokken denkt, kan hij je van nature vertellen wat hij als volgende van plan is. Het team wilde zien of het toestaan dat deze robot met zijn menselijke speler praatte, hen hielp om beter samen te werken. Ze testten twee manieren van communiceren: de robot kon berichten op het scherm typen (Tekst) of ze hardop uitspreken (Audio).

De resultaten waren een mix van verrassingen en lessen. Ten eerste zorgden de uitleg van de robot er niet direct voor dat de teams meer punten scoorden. Sterker nog, de menselijke spelers die géén enkele uitleg kregen, scoorden gemiddeld iets hoger, hoewel het verschil niet heel groot was. Dit suggereert dat voor mensen die al goed zijn in games, constante updates slechts een afleiding kunnen zijn. Er was echter een zilveren randje: de spelers die uitleg kregen, leken sneller te leren hoe ze met de robot moesten samenwerken. Hun scores verbeterden sneller over een bepaalde periode, alsof het gepraat van de robot hen hielp om de stijl van de robot eerder te begrijpen.

Maar de meest interessante ontdekking gebeurde bij de manier waarop de robot sprak. Wanneer de robot hardop sprak (Audio), gebeurde er iets vreemds. Hoewel de spelers sneller leerden, voelden ze een veel zwakkere connectie met de robot. Ze voelden niet dat ze in hetzelfde team zaten. Het is alsof de stem van de robot hen deed verwachten dat er een echt gesprek zou volgen en een belofte van wat er vervolgens zou gebeuren. Maar omdat de robot alleen reageerde op het moment (zoals een reflex), veranderde hij zijn mening vaak onmiddellijk na het spreken. Wanneer de robot zei: "Ik ga naar de pan," maar vervolgens direct naar het aanrecht rende, voelde de mens zich verraden. De gesproken stem liet de robot lijken op een partner die zijn woord zou moeten houden, maar het brein van de robot was te reactief om die belofte daadwerkelijk na te komen.

In contrast hiermee, toen de robot alleen berichten op het scherm typde, voelden de spelers deze verraden niet. Ze konden de tekst negeren als ze dat wilden, waardoor de robot niet als een "nep" partner aanvoelde. De studie suggereert dat hoewel hardop praten de aandacht trekt en mensen helpt sneller te leren, het ook verwachtingen schept die een eenvoudige, reactieve robot misschien niet kan waarmaken. De onderzoekers concluderen dat als we willen dat robots tegen ons praten, we ervoor moeten zorgen dat ze ook daadwerkelijk goed zijn in het nakomen van de beloften die hun stem impliceert, anders kan het partnerschap gebroken aanvoelen.

Technische Samenvatting: Evaluatie van XAI-ondersteuning vanuit een Hiërarchisch Reinforcement Learning Beleid in Mens-Agent Collaboratie

Probleemstelling

De transitie van AI-systemen van hulpmiddelen naar collaboratieve partners vereist dat zij niet alleen effectief, maar ook begrijpelijk zijn voor menselijke teamgenoten. Hoewel Explainable AI (XAI) potentiële oplossingen biedt, blijft systematische evaluatie in collaboratieve contexten beperkt. Bestaand onderzoek leunt vaak op handmatig ontworpen beleidsregels (policies) in aangepaste omgevingen (bijv. Minecraft), wat de generaliseerbaarheid van bevindingen naar state-of-the-art teaming-onderzoek dat gebruikmaakt van gevestigde benchmarks zoals Overcooked-AI, beperkt. Bovendien ontbreekt in de huidige literatuur een systematische evaluatie van XAI-ondersteuning gegenereerd uit intrinsiek verklaarbare, geleerde beleidsregels (in tegenstelling tot post-hoc verklaringen of handmatige regels) binnen deze hoogwaardige benchmarks. Er is ook een gebrek aan begrip over hoe de verklarende modaliteit (tekst versus audio) samenwerking beïnvloedt in visueel veeleisende, snelle taken.

Methodologie

De auteurs voerden een between-subjects experiment uit ( $n=38$ ) in de Overcooked-AI benchmark-omgeving, specifiek met de Counter-Circuit lay-out.

Agent Architectuur: De studie maakte gebruik van de Hierarchical Ad Hoc Agents (HA2) architectuur. Dit systeem hanteert een Manager-Worker structuur waarbij een hoog-niveau Manager-beleid ( $\pi_H$ ) semantisch betekenisvolle subtaken (bijv. "pak ui op", "plaats ui in pan") selecteert uit een vooraf gedefinieerde set van 12 domeinspecifieke doelen. Een laag-niveau Worker-beleid ( $\pi_W$ ) voert vervolgens primitieve acties uit om de geselecteerde subtaak te voltooien. Deze hiërarchie biedt intrinsieke verklaarbaarheid, aangezien hoog-niveau beslissingen menselijk interpreteerbaar zijn.
Generatie van Verklaringen: Real-time verklaringen werden direct gegenereerd vanuit de subtaak-selecties van de Manager. Om informatie-overload te voorkomen, werd een nieuw trigger-gebaseerd systeem geïmplementeerd om verklaringen alleen op coördinatie-relevante momenten te leveren. Triggers omvatten:
- Blokkade (Blocking): Wanneer de mens de weg van de agent blokkeert.
- Kritiek Pad (Critical Path): Wanneer de agent essentiële subtaken selecteert voor de voortgang van de taak.
- Afstandsdrempel (Distance Threshold): Periodieke updates tijdens uitgebreide beweging.
- Subtaakverandering (Subtask Change): Aankondigingen wanneer de Manager van doel wisselt.
Experimentele Condities: De deelnemers werden willekeurig toegewezen aan een van de drie condities:
1. Controle: Geen verklaringen.
2. Tekst: Verklaringen weergegeven in een semi-transparante balk onderaan het scherm.
3. Audio: Identieke inhoud geleverd via browser-native text-to-speech.
Procedure: Deelnemers voltooiden vier sessies van 80 seconden gameplay. De metrieken omvatten spelscores, leersnelheden (lineaire hellingen over sessies), NASA-TLX werklast-beoordelingen en subjectieve evaluaties met behulp van de Godspeed Questionnaire en een gemodificeerde Human-Robot Fluency Assessment. De steekproef bestond uit volwassenen met ervaring in gaming (gemiddelde bekendheidsscore 8.1/10).

Belangrijkste Bijdragen

Eerste Systematische Evaluatie in een Benchmark: Dit werk biedt de eerste systematische evaluatie van XAI-ondersteuning gegenereerd vanuit state-of-the-art geleerde beleidsregels (HA2) binnen een gevestigde mens-agent teaming benchmark (Overcooked-AI), waarmee wordt aangetoond dat intrinsiek verklaarbare reinforcement learning-architecturen authentieke real-time verklaringen kunnen genereren zonder de prestaties in gevaar te brengen.
Vergelijking van Modaliteiten: Het presenteert de eerste vergelijking van verklarende modaliteiten (tekst versus audio) in een real-time mens-agent collaboratieve taak, waarbij de effecten van de leveringsmodus op prestaties en de subjectieve ervaring worden geïsoleerd.
Baseline Methodologie: De auteurs vestigen een baseline trigger-gebaseerd leveringssysteem voor hiërarchische beleidsverklaringen, en bieden daarmee een methodologie voor het evalueren van intrinsiek verklaarbare RL-architecturen in benchmark-omgevingen.

Resultaten

Prestaties (H1): Er was geen significant verschil in directe spelscores tussen de Controle-groep en de gecombineerde verklarende condities ( $p=0.136$ ). Er was echter een trend zichtbaar waarbij deelnemers die verklaringen ontvingen (met name audio) een snellere leersnelheid vertoonden (verbetering over sessies) vergeleken met de Controle-groep ( $d=0.59$ ), hoewel dit de statistische significantie niet bereikte ( $p=0.087$ ).
Cognitieve Belasting (H2): Er werden geen significante verschillen gevonden in cognitieve werklast (NASA-TLX) tussen tekst- en audiomodaliteiten.
Subjectieve Ervaring (H3): Er kwam een significante en robuuste bevinding naar voren met betrekking tot de Working-Alliance Bond. Deelnemers in de Audio-conditie beoordeelden hun band met de agent significant lager dan die in de Tekst- of Controle-condities ( $p=0.003$ $p = 0.003$ ). Tekstuele verklaringen hadden geen negatieve impact op de band vergeleken met de Controle-groep.
- Antropomorfisme: Een trend gaf aan dat audio-deelnemers de agent als minder antropomorf beoordeelden, hoewel dit de Bonferroni-correctie niet overleefde.
- Mechanisme: De auteurs interpreteren de reductie in de band in de audio-conditie als een "claim-versus-reality" gat. Gesproken verklaringen kaderen de agent als een communicatieve partner die verbintenissen aangaat, maar het onderliggende model-vrije, reactieve beleid kan deze verbintenissen niet nakomen (het kan bijvoorbeeld direct na het spreken van een subtaak wisselen). Dit gat is minder merkbaar bij tekst (dat genegeerd kan worden) of stilte.

Betekenis en Claims

Het artikel claimt bij te dragen aan het begrip van wanneer en hoe XAI opereert in snelle collaboratieve omgevingen. De primaire inzichten zijn dat het afstemmen van de verklarende modaliteit op de capaciteit van het onderliggende beleid cruciaal is.

Architecturale Mismatch: De studie suggereert dat gesproken verklaringen verwachtingen van partnerschap activeren die reactieve, model-vrije beleidsregels niet kunnen waarmaken, wat leidt tot een breuk in de werkalliantie. De "band-kosten" zijn geen afwijzing van de audio-levering zelf, maar van beleidsregels die niet over de nodige planning-horizon of mens-modellering beschikken om de gesproken intenties te ondersteunen.
Adaptatie versus Executie: De resultaten suggeren dat XAI-ondersteuning de menselijke adaptatie aan patronen in agentgedrag kan verbeteren (het versnellen van het leren), eerder dan de directe uitvoering van de taak, met name voor expertgebruikers die al efficiënte coördinatiestrategieën bezitten.
Toekomstige Richting: De auteurs stellen dat de weg voorwaarts voor effectieve collaboratieve XAI architecturaal is. Om de door gesproken verklaringen gesuggereerde samenwerking te ondersteunen, moeten toekomstige systemen langere commitment-horizonten (bindende plannen) en expliciete modellen van menselijke teamgenoten integreren om bidirectionele, op Theory-of-Mind gebaseerde communicatie mogelijk te maken, in plaats van enkel reactieve outputs te narreren.

Het artikel concludeert dat hoewel hiërarchische RL een veelbelovende basis biedt voor intrinsiek verklaarbare AI, de effectiviteit van XAI wordt beperkt door het vermogen van het beleid om het eigen gedrag af te stemmen op de relationele verwachtingen die de leveringsmethode (vooral spraak) creëert.