When Robots Say No: The Empathic Ethical Disobedience Benchmark

Probleemstelling

Naarmate robots de gecontroleerde omgeving verlaten en in huishoudens, werkplekken en openbare ruimtes terechtkomen, krijgen ze steeds vaker instructies van niet-experts. Dit creëert een fundamenteel dilemma:

1. Blinde gehoorzaamheid: Kan leiden tot fysieke schade of sociale onaanvaardbaarheid (bijv. een robot die een heet voorwerp draagt in de buurt van kinderen).
2. Overmatige weigering: Kan vertrouwen ondermijnen en samenwerking belemmeren.

Bestaande benchmarks voor veilig Reinforcement Learning (RL) focussen voornamelijk op fysieke gevaren, terwijl studies over mens-robotinteractie (HRI) en vertrouwen vaak kleinschalig en moeilijk reproduceerbaar zijn. Er ontbreekt een gestandaardiseerde testomgeving die zowel veiligheid (het vermijden van schadelijke compliance) als sociale aanvaardbaarheid (het behoud van vertrouwen en empathie) tegelijkertijd evalueert.

Methodologie: EED Gym

De auteurs introduceren EED Gym (Empathic Ethical Disobedience Gym), een gesimuleerde HRI-omgeving die is gebouwd op het Gymnasium-toolkit. Het doel is om te leren wanneer en hoe een robot een onveilige opdracht moet weigeren.

1. Formele Definitie (MDP):
De omgeving wordt gemodelleerd als een Markov Decision Process (MDP) met een mens-in-de-lus staat.

• Observatieruimte ($o_t$): Omvat een verstoord risicoschatting ($\hat{p}_t$), de huidige weigerdrempel ($\tau_t$), affectieve signalen van de mens (valentie $v_t$ en arousal $a_t$), het huidige vertrouwen ($trust_t$), en persona-kenmerken ($\phi$).
• Actieruimte: De agent kan kiezen uit zeven discrete acties:
  1. Compliance (Gehoorzamen)
  2. Eenvoudige Weigering (Refuse-Plain)
  3. Verklarende Weigering (Refuse-Explain)
  4. Empathische Weigering (Refuse-Explain-Empathic)
  5. Constructieve Weigering (Refuse-Explain-Constructive)
  6. Verduidelijking vragen (Clarify)
  7. Veilig alternatief voorstellen (Propose-Alternative)
• Dynamica: Vertrouwen en affect evolueren op basis van "lekke" updates (leaky updates) die zijn afgeleid uit een menselijke vignette-studie. Een dynamische drempel ($\tau_t$) bepaalt of een risico acceptabel is, afhankelijk van het huidige vertrouwen en de affectieve toestand van de gebruiker.

2. Beloningssysteem (Reward Shaping):
De beloningsfunctie ($R_t$) weegt taakvooruitgang, veiligheid, schuld (blame), en vertrouwen af.

• Er zijn zware straffen voor veiligheidsviolaties.
• Er is een "hinge-penalty" voor vertrouwen om te voorkomen dat de robot te weinig of te veel vertrouwen wekt (calibratie).
• Er zijn kleine bonussen voor bepaalde weigeringsstijlen (bijv. constructief of empathisch).

3. Baselines en Experimenten:
De auteurs evalueren vier RL-baselines tegenover heuristische regels:

• Vanilla PPO: Standaard PPO op de vormgegeven beloning.
• PPO-LSTM: PPO met een LSTM-head voor geheugen van langdurige vertrouwensdynamiek.
• Masked PPO: PPO waarbij onveilige acties (zoals gehoorzamen bij hoog risico) direct uit de actieruimte worden verwijderd (action masking).
• Lagrangian PPO: PPO met een Lagrangiaanse multiplier om een budget voor veiligheidsviolaties te handhaven.
• Heuristieken: Regels zoals "Altijd Gehoorzamen", "Risico-Weigering", en "Vignette-Gate" (gebaseerd op menselijke data).

4. Menselijke Validatie:
Een vignette-studie met 54 deelnemers werd gebruikt om de dynamica van vertrouwen, empathie en schuld te kalibreren. De resultaten hiervan werden gebruikt om de simulatieparameters en de beloningsfunctie te fitten.

Belangrijkste Resultaten

1. Veiligheid vs. Vertrouwen Trade-off:

• Masked PPO presteerde het best in stress-testscenario's (ST) met de laagste onveilige compliance (8,3%) en een hoge F1-score (0,71), hoewel dit leidde tot meer weigeringen.
• Lagrangian PPO was zeer veilig maar neigde tot overmatige weigering, wat het vertrouwen van de gebruiker aanzienlijk verlaagde.
• Vanilla PPO en PPO-LSTM toonden een betere balans in vertrouwen, maar waren minder robuust onder stress (hoger percentage onveilige acties).

2. Impact van Affect en Communicatie (Ablatiestudies):

• Affect: Het verwijderen van affectieve signalen (valentie/arousal) leidde tot een significante daling in prestaties (F1 daalde van 0,81 naar 0,76 in ID; onveilige acties verdubbelden in ST). Affect is cruciaal voor sociaal onderbouwde weigering.
• Communicatieve Weigering: Het verwijderen van verduidelijking en alternatieven had het grootste negatieve effect (F1 daalde naar 0,46). Constructieve en empathische weigeringen zijn essentieel voor acceptatie.
• Curriculum Learning: Hielp bij het stabiliseren van de weigerfrequentie en voorkwam overmatig conservatief gedrag.

3. Menselijke Waardering:

• Constructieve weigeringen ("Nee, maar ik kan dit alternatief doen") werden door mensen als het veiligst en meest betrouwbaar beoordeeld.
• Empathische weigeringen ("Ik maak me zorgen dat dit onveilig is") maximaliseerden de waargenomen empathie.
• Blinde gehoorzaamheid kreeg de laagste vertrouwensscores.

Bijdragen

1. EED Gym Benchmark: Een unificatie van algoritmische veiligheid en sociale dynamiek van weigering in een reproduceerbare testomgeving.
2. Systematische Evaluatie: Een uitgebreide analyse van de trade-offs tussen veiligheid, vertrouwen en taakuitvoering onder stress en distributieveranderingen.
3. Ontwerpprincipes: Identificatie van sleutelfactoren voor empathische ongehoorzaamheid: structurele beperkingen (zoals masking) voor veiligheid, gecombineerd met sociale signalen (affect, communicatie) voor vertrouwen.
4. Open Source: Beschikbaarstelling van code, configuraties en referentiebeleidslijnen voor herhaalbaar onderzoek.

Significantie

Dit paper verschuift de focus van louter fysieke veiligheid naar een holistische benadering van robotveiligheid die sociale acceptatie centraal stelt. Het toont aan dat een robot niet alleen "veilig" moet zijn (geen schade aanrichten), maar ook "sociaal veilig" moet handelen (vertrouwen behouden).

De bevindingen suggereren dat er geen één-oplossing is:

• Voor huiselijke assistentie kunnen structureel beperkte agents (zoals Masked PPO) ongevallen voorkomen zonder gebruikers te vervreemden.
• Voor kritieke omgevingen (ziekenhuizen, magazijnen) kunnen strengere strategieën (Lagrangian) gerechtvaardigd zijn, zelfs ten koste van vertrouwen.

EED Gym biedt onderzoekers een gestandaardiseerd instrument om deze complexe afwegingen systematisch te onderzoeken en robots te ontwikkelen die zowel robuust als betrouwbaar zijn in dynamische menselijke omgevingen.