Influence-Based Reward Modulation for Implicit Communication in Human-Robot Interaction

Dit artikel introduceert een methode die Transfer Entropy gebruikt om de invloed tussen agenten te moduleren via beloning, waardoor robots in mens-robotinteracties effectief impliciete communicatie kunnen ontwikkelen zonder expliciete intentiemodellering.

De kern

Stel je voor dat je door een drukke gang loopt en je komt iemand tegen. Je hoeft niet te praten om te weten of jullie elkaar moeten passeren of dat je samen moet stoppen om te groeten. Jullie kijken naar elkaars lichaamshouding, een klein stapje naar links, een blikje. Dat is impliciete communicatie: informatie uitwisselen zonder woorden.

Dit papier beschrijft hoe robots die vaardigheid kunnen leren, zonder dat ze een "brein" nodig hebben dat precies weet wat jij denkt of voelt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Stomme Robot

Meestal proberen robots om te praten met mensen door hun gedachten te raden of door een ingewikkeld model te gebruiken van hoe mensen zich gedragen. Dat is als proberen een gesprek te voeren door een boekje te raadplegen over "hoe mensen praten". Het werkt vaak niet goed, omdat mensen onvoorspelbaar zijn en we niet altijd weten wat de ander wil.

2. De Oplossing: De "Invloed-Meter"

De auteurs (onderzoekers) hebben een slimme truc bedacht. In plaats van te proberen te raden wat de ander denkt, kijken ze puur naar invloed.

Stel je voor dat er een onzichtbare draad tussen jou en de robot hangt.

• Als de robot jouw bewegingen beïnvloedt (bijvoorbeeld: jij ziet dat hij naar links stapt en jij stapt ook naar links), dan is er veel invloed.
• De robot gebruikt een wiskundige maatstaf (Transfer Entropy) om te meten: "Hoeveel verandert mijn actie als jij iets anders doet?"

3. De Twee Manieren van Dingen Doen

De robot kan deze "invloed-meting" gebruiken op twee manieren, net als een danspartner:

• De "Open Danspartner" (Positieve Invloed):
  De robot probeert zijn bewegingen zo te maken dat jij er duidelijk op reageert. Hij maakt zijn intenties "leesbaar".

  • Vergelijking: Het is alsof de robot zingt terwijl hij dansstappen maakt, zodat jij precies weet wat hij gaat doen.
  • Resultaat: In samenwerkingssituaties (waar jullie samen moeten werken) werkt dit fantastisch. Jullie vinden elkaar sneller, botsen niet en werken als een goed geoliede machine. De robot "geeft zich over" aan de samenwerking, wat voor jou als mens voelt alsof hij meedenkt.

• De "Gesloten Danspartner" (Negatieve Invloed):
  De robot probeert zijn invloed op jou te minimaliseren. Hij doet zijn eigen ding en laat zich niet beïnvloeden door jouw bewegingen.

  • Vergelijking: Het is alsof de robot een masker opzet en doof is voor jouw dansstappen. Hij beweegt alsof hij alleen is.
  • Resultaat: Dit is handig in competitieve situaties (waar jullie tegen elkaar spelen). Als de robot niet reageert op jouw trucs, ben jij minder succesvol. Maar in samenwerking werkt dit slecht; je voelt je genegeerd en jullie botsen vaak.

4. De Experimenten: Van Videospel tot Echte Robot

De onderzoekers hebben dit getest in drie situaties:

1. In de computer (Simulatie): Twee virtuele figuren in een smalle gang. Als de robot "open" was, werkten ze samen perfect. Als de robot "gesloten" was, botsten ze of wonnen ze minder vaak.
2. Met mensen in een virtuele wereld: Mensen speelden tegen de robot. Mensen vonden het veel makkelijker om samen te werken met de "open" robot. Ze wisten instinctief wat hij ging doen, zelfs zonder dat hij het zei.
3. Met een echte robot: Ze deden hetzelfde met een fysieke robot (een Fetch-robot) in een echte gang. Het resultaat was hetzelfde: mensen konden beter samenwerken met de robot die zijn intenties "leesbaar" maakte.

5. De Auto-Opdracht (De Snelweg)

Ze testten het ook op een virtuele snelweg.

• Als de auto de "open" modus had, was hij agressiever en interactiever (hij probeerde andere auto's te beïnvloeden om van baan te wisselen). Dit was soms gevaarlijk op een drukke snelweg.
• Als de auto de "gesloten" modus had, was hij heel voorzichtig en hield hij grote afstanden. Dit was veiliger, maar minder efficiënt.

De les: Je moet kiezen welke modus je wilt, afhankelijk van de situatie. Soms wil je een robot die meedoet (samenwerken), soms wil je een robot die zijn eigen boontjes doppt (veiligheid op de snelweg).

Conclusie: Waarom is dit cool?

Het grootste voordeel van deze methode is dat de robot niet hoeft te weten wie jij bent. Hij hoeft niet te weten of je een kind bent, een ouder mens, of een haastige zakenman. Hij hoeft ook niet te weten wat je doel is.

Hij leert simpelweg: "Als ik mijn bewegingen zo aanpas dat jij erop reageert, werken we beter samen."

Het is alsof je een danspartner hebt die niet hoeft te weten wat je favoriete muziek is, maar gewoon zo goed reageert op je bewegingen dat jullie samen een prachtige dans maken. De robot wordt niet "slimmer" door meer kennis, maar door beter te luisteren naar de stroom van informatie tussen jullie tweeën.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Influence-Based Reward Modulation for Implicit Communication in Human-Robot Interaction" in het Nederlands.

Probleemstelling

Communicatie is essentieel voor succesvolle interacties tussen mensen en robots (HRI). Waar expliciete communicatie (directe instructies) goed onderzocht is, biedt impliciete communicatie (subtiele, indirecte signalen via context en non-verbale cues) grote potentie om robots beter te laten inspelen op menselijke behoeften, emoties en intenties.

Bestaande benaderingen voor impliciete communicatie in HRI hebben echter twee grote beperkingen:

1. Ze vereisen vaak expliciete modellen van menselijke intenties.
2. Ze vertrouwen op vooraf bestaande kennis of sociale regels.

In dynamische, onvoorspelbare omgevingen is het echter moeilijk om menselijke intenties vooraf te modelleren of te kennen. Er is behoefte aan een methode die impliciete communicatie bevordert zonder deze beperkingen, zodat robots proactief kunnen reageren op menselijk gedrag.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat Transfer Entropie (TE) gebruikt om de invloed tussen agenten te moduleren. Het kernconcept is dat communicatie wordt gedefinieerd als de mate waarin agenten invloed hebben op elkaar.

1. Transfer Entropie (TE) als Maatstaf voor Invloed:
TE is een informatie-theoretische maatstaf die de directionele stroom van informatie tussen twee stochastische processen kwantificeert. In dit paper wordt TE gebruikt om te meten hoeveel de historische acties van de "andere agent" (bijv. de mens) de onzekerheid over de huidige actie van de "ego-agent" (de robot) verminderen.

• Formule: $TE(X \rightarrow Y) = H(Y_t | Y_{t-1}, ...) - H(Y_t | Y_{t-1}, ..., X_{t-1}, ...)$
• Een hoge TE betekent dat de robot sterk reageert op de mens (hoge legibiliteit/invloed). Een lage TE betekent weerstand tegen invloed.

2. Reward Modulation in POMDP:
De interactie wordt gemodelleerd als een Partially Observable Markov Decision Process (POMDP). De beloningsfunctie ($Reward$) van de robot wordt aangevuld met een TE-component:
$$Reward = \phi \cdot TE + r$$
Waarbij:

• $r$ de standaard beloning is voor het bereiken van doelen.
• $\phi$ een schalingsfactor is die bepaalt of invloed wordt bevorderd (positief $\phi$) of geresist (negatief $\phi$).
• Door $\phi$ positief te kiezen, wordt de robot beloond voor acties die de menselijke invloed op zijn eigen gedrag vergroten (bevorderen van samenwerking/legibiliteit).
• Door $\phi$ negatief te kiezen, wordt de robot beloond voor onafhankelijkheid (weerstand tegen menselijke invloed).

3. Implementatie:

• Q-Learning: De TE wordt berekend op basis van de kansverdeling van acties (beleidsfunctie), afgeleid van Q-waarden. Voor continue ruimtes (zoals in de Highway-taak) wordt Monte Carlo-sampling gebruikt om de gemarginaliseerde beleidsverdeling te benaderen.
• Scenario's: Het systeem wordt getest in een "Corridor Dilemma" (een smalle doorgang waar agenten moeten beslissen om elkaar te passeren of te ontmoeten) en in een "Highway" omgeving (autonoom rijden).

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Een methode om impliciete communicatie te faciliteren zonder expliciete mensmodellen of vooraf bekende sociale kennis.
2. Informatie-Asymmetrie: Het bewijzen dat het manipuleren van informatieoverdracht (via TE) de dynamiek van samenwerking en competitie direct kan beïnvloeden.
3. Validatie: Uitgebreide validatie via simulaties, virtuele mens-robot experimenten en fysieke robotexperimenten.
4. Generalisatie: Het uitbreiden van het concept naar Deep Reinforcement Learning (DRL) en multi-agent omgevingen met continue ruimtes.

Resultaten

1. Simulaties en Virtuele Experimenten (Corridor Dilemma):

• Samenwerking: Agenten met een Positieve-TE beloning (die invloed bevorderen) presteerden significant beter in samenwerkingssituaties. Ze bereikten een hogere succesrate (SRCL) en zorgden voor eerlijkere uitkomsten in competitiesituaties.
• Competitie: Positieve-TE agenten vertoonden soms "altruïstisch" gedrag (zelfopoffering) om de mens te laten winnen, wat de menselijke prestaties in competitiesituaties verhoogde.
• Negatieve-TE: Agenten die invloed weerstonden, presteerden slechter in samenwerking en leidden tot minder voorspelbare interacties.
• Vergelijking met Baselines: Het Positieve-TE systeem presteerde beter dan traditionele "Social Force" modellen, zelfs wanneer die modellen volledige kennis van de tegenstander hadden. Dit toont aan dat proactieve aanpassing superieur is aan passieve reactie.

2. Mens-Robot Experimenten (Fysieke Robot):

• Mensen die interacteerden met een Positieve-TE robot (die invloed bevorderde) hadden een hogere succesrate in samenwerkingssituaties vergeleken met een Negatieve-TE robot.
• In competitiesituaties was het resultaat minder eenduidig dan in de simulaties (de mens had soms een lichte voorkeur voor de Negatieve-TE robot), waarschijnlijk door fysieke factoren (snelheid, persoonlijke ruimte) die de strategie beïnvloedden.
• Perceptie: Hoewel de prestatieverschillen groot waren, waren de subjectieve verschillen in "legibiliteit" of "menselijkheid" voor de gebruikers subtiel. Dit bevestigt dat de communicatie echt impliciet was.

3. Highway Environment (DRL):

• In de complexe, continue omgeving van autonoom rijden toonden Positieve-TE voertuigen assertiever gedrag: hogere snelheden, kleinere afstanden tot andere voertuigen en meer interactie (bijv. het triggeren van rijwissels). Dit leidde echter ook tot een hogere botsingskans.
• Negatieve-TE voertuigen waren conservatiever (lagere snelheid, grotere afstand), maar bij te sterke onderdrukking van invloed werden de beslissingen irrationeel.
• Dit toont aan dat de toepassing van TE afhankelijk is van de context: bevorderen is goed voor samenwerking, maar kan risicovol zijn in veiligheidskritieke scenario's.

Betekenis en Conclusie

Dit paper introduceert een krachtige, modelvrije benadering om robots te laten communiceren via impliciete invloed. De belangrijkste inzichten zijn:

• Controleerbaarheid: Door de TE-beloning te manipuleren, kunnen ontwikkelaars robots "leren" om meer samenwerkend (altruïstisch) of meer onafhankelijk (conservatief) te gedragen.
• Toepasbaarheid: Het raamwerk werkt zonder dat de robot de intenties van de mens hoeft te begrijpen; het reageert puur op de statistische correlatie in bewegingen.
• Context-afhankelijkheid: De optimale strategie hangt af van de situatie. In een smalle doorgang is het bevorderen van invloed (Positieve TE) ideaal voor samenwerking. In gevaarlijke situaties (zoals snelwegen) kan het onderdrukken van invloed (Negatieve TE) veiliger gedrag opleveren.

De studie sluit af met de suggestie dat dit raamwerk een fundamentele stap is naar robots die zich natuurlijk en adaptief gedragen in menselijke omgevingen, zonder zware vooronderstellingen over menselijk gedrag.