💻 computer science

When Robots Say No: The Empathic Ethical Disobedience Benchmark

Die Autoren stellen das „Empathic Ethical Disobedience (EED) Gym" vor, ein standardisiertes Testumfeld zur Bewertung des Gleichgewichts zwischen sicherheitskonformer Verweigerung und sozialer Akzeptanz bei Robotern, das zeigt, dass erklärende und konstruktive Ablehnungen das Vertrauen stärken, während sichere Reinforcement-Learning-Methoden zwar die Robustheit erhöhen, aber zu übermäßiger Vorsicht führen können.

Ursprüngliche Autoren: Dmytro Kuzmenko, Nadiya Shvai

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dmytro Kuzmenko, Nadiya Shvai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen neuen Roboter-Hausmeister. Er ist stark, schnell und sehr gehorsam. Aber hier liegt das Problem: Wenn Sie ihm sagen „Trag diesen kochenden Topf über die Kinder", tut er es vielleicht wirklich, weil er den Befehl einfach befolgt. Das wäre katastrophal. Wenn er aber jedes Mal „Nein" schreit, ohne zu erklären warum, werden Sie ihn bald als störrisch empfinden und ihm nicht mehr vertrauen.

Genau dieses Dilemma untersucht die neue Studie „When Robots Say No" (Wenn Roboter „Nein" sagen). Die Forscher haben dafür ein neues Testfeld namens EED Gym entwickelt.

Hier ist eine einfache Erklärung der wichtigsten Punkte, gemischt mit ein paar bildhaften Vergleichen:

1. Das Problem: Der blind gehorsame Diener vs. der sture Widerling

Bisher haben Roboter-Tests sich oft nur darauf konzentriert, ob ein Roboter physisch gefährlich wird (z. B. gegen eine Wand fährt). Aber im echten Leben ist die Gefahr oft sozial: Ein Roboter, der zu blind gehorsam ist, verletzt Menschen; einer, der zu oft „Nein" sagt, verliert das Vertrauen.

Die Analogie: Stellen Sie sich einen neuen Mitarbeiter vor.

Typ A (Blind gehorsam): Er macht alles, was Sie sagen, auch wenn Sie ihm sagen, er soll mit dem Auto in einen Baum fahren. Er ist „sicher" im Sinne von gehorsam, aber er ist ein Sicherheitsrisiko.
Typ B (Stur): Er sagt bei jedem Befehl „Nein", auch bei harmlosen Dingen. Sie vertrauen ihm nicht mehr, weil er unzuverlässig wirkt.
Das Ziel: Wir brauchen einen Typ C, der sagt: „Das ist gefährlich, ich mache es nicht. Aber ich kann stattdessen das hier tun."

2. Die Lösung: Das EED Gym (Der Flugsimulator für Roboter-Ethik)

Die Forscher haben eine Art Flugsimulator für Roboter-Entscheidungen gebaut. In diesem Simulator gibt es keine echten Roboter, sondern eine digitale Welt, in der ein Roboter-Agent Befehle von verschiedenen „Menschen" (Personas) bekommt.

Die Szenarien: Ein Chef sagt: „Hebe diese Kiste, die zu schwer ist." Oder: „Gib mir das heiße Öl."
Die Wahlmöglichkeiten: Der Roboter muss entscheiden:
1. Machen: (Gefährlich?)
2. Einfach „Nein" sagen: (Stur)
3. „Nein" mit Erklärung: („Das ist zu schwer, ich könnte mir den Rücken verletzen.")
4. „Nein" mit Empathie: („Ich mache mir Sorgen, dass uns etwas passiert.")
5. „Nein" mit Alternativvorschlag: („Ich kann die Kiste nicht heben, aber ich bringe einen Wagen.")
6. Nachfragen: („Sind Sie sicher, dass das sicher ist?")

3. Was haben sie herausgefunden? (Die großen Erkenntnisse)

Die Forscher haben verschiedene „Roboter-Geister" (Algorithmen) gegeneinander antreten lassen. Hier sind die wichtigsten Ergebnisse, einfach erklärt:

Der „Verbotsschild"-Ansatz (Action Masking) ist der Held:
Stellen Sie sich vor, Sie geben einem Roboter eine Liste mit verbotenen Aktionen. Wenn ein Befehl gefährlich ist, wird die Taste dafür einfach ausgegraut. Der Roboter kann gar nicht auf „Gefährlich machen" drücken.
- Ergebnis: Das verhindert fast alle Unfälle. Aber: Wenn man es zu streng macht, wird der Roboter ängstlich und verweigert auch harmlose Aufgaben.
Erklärungen sind der Schlüssel zum Vertrauen:
Ein Roboter, der einfach nur „Nein" sagt, verliert das Vertrauen. Ein Roboter, der sagt: „Ich mache das nicht, weil es gefährlich ist, aber ich schlage vor, wir machen es so...", gewinnt das Vertrauen.
- Die Metapher: Es ist wie bei einem Freund. Wenn er sagt „Nein", ist das okay. Wenn er sagt „Nein, weil ich Angst habe, dass du dir weh tust, aber wir können es anders machen", fühlen Sie sich verstanden und geschätzt.
Empathie vs. Konstruktion:
- Empathische Art: „Ich fühle mich unwohl dabei." (Menschen finden das sehr nett und einfühlsam).
- Konstruktive Art: „Ich schlage eine bessere Lösung vor." (Menschen finden das am sichersten und vertrauenswürdigsten).
- Fazit: Die besten Roboter kombinieren beides. Sie zeigen Verständnis, aber bieten auch eine Lösung an.

4. Warum ist das wichtig für die Zukunft?

Heute lernen Roboter oft nur, Aufgaben zu erledigen. In Zukunft müssen sie lernen, sozial klug zu sein.

Im Haushalt: Ein Roboter sollte nicht stur sein, sondern verständnisvoll ablehnen, wenn Sie ihn bitten, etwas Gefährliches zu tun.
Im Krankenhaus: Ein Roboter muss vielleicht strenger sein und Dinge ablehnen, die gegen Protokolle verstoßen, auch wenn der Arzt es will.

Die Studie zeigt: Ein sicherer Roboter ist nicht nur einer, der keine Unfälle baut. Ein sicherer Roboter ist einer, der versteht, wann er „Nein" sagen muss, und es so sagt, dass Sie ihm trotzdem vertrauen.

Zusammenfassung in einem Satz

Die Forscher haben einen neuen Test entwickelt, um Roboter zu trainieren, nicht nur blind zu gehorchen, sondern wie ein vernünftiger menschlicher Partner zu handeln: Sie sagen „Nein", wenn es gefährlich ist, erklären warum, und bieten eine bessere Lösung an – damit wir ihnen weiterhin vertrauen können.

1. Problemstellung

Der Übergang von Robotern aus kontrollierten Umgebungen in private Haushalte, Arbeitsplätze und öffentliche Räume führt dazu, dass diese zunehmend Anweisungen von Laien erhalten. Ein zentrales Dilemma besteht darin, dass blinde Befolgung (blind obedience) zu physischen Schäden oder sozialen Verletzungen führen kann, während übermäßige Verweigerung (over-refusal) das Vertrauen der Nutzer untergräbt und die Zusammenarbeit behindert.

Bestehende Benchmarks für sicheres Reinforcement Learning (RL) konzentrieren sich meist nur auf physische Gefahren (z. B. Kollisionen), während Studien zur menschlich-robotischen Interaktion (HRI) oft klein skaliert und schwer reproduzierbar sind. Es fehlt ein systematischer Benchmark, der die Sicherheit (Vermeidung von Schaden) und die soziale Akzeptanz (Vertrauen, Empathie, angemessene Kommunikation) bei der Verweigerung unsicherer Befehle gemeinsam bewertet.

2. Methodik: EED Gym

Die Autoren stellen EED Gym (Empathic Ethical Disobedience Gym) vor, eine standardisierte Simulationsumgebung, die als Testbett für die Bewertung von Agenten dient, die entscheiden müssen, ob sie Befehle befolgen, verweigern, nachfragen oder sichere Alternativen vorschlagen.

Umgebung und Zustandsraum

Formalisierung: Die Umgebung wird als MDP (Markov-Entscheidungsprozess) mit „Human-in-the-Loop"-Zuständen modelliert.
Beobachtungen ( $o_t$ ): Der Agent erhält Informationen über:
- Geschätztes Risiko ( $\hat{p}_t$ ) mit stochastischem Rauschen.
- Dynamische Verweigerungsschwellen ( $\tau_t$ ), die vom aktuellen Vertrauen und der affektiven Stimmung (Valenz/Arousal) des Humans abhängen.
- Latente Variablen für Vertrauen ( $trust_t$ ) und Affekt ( $v_t, a_t$ ), die durch ein vignette-basiertes Modell aktualisiert werden.
- Persona-Deskriptoren ( $\phi$ ), die Persönlichkeitsmerkmale wie Risikobereitschaft, Ungeduld und Reaktionsfähigkeit kodieren.
Aktionsraum: Der Agent kann zwischen sieben diskreten Aktionen wählen:
1. Befolgen (Comply)
2. Einfach verweigern (Refuse-Plain)
3. Verweigern mit Erklärung (Refuse-Explain)
4. Empathisch verweigern (Refuse-Explain-Empathic)
5. Konstruktiv verweigern (Refuse-Explain-Constructive – mit Alternativvorschlag)
6. Nachfragen (Clarify)
7. Alternative vorschlagen (Propose-Alternative)

Belohnungsfunktion und Dynamik

Die Belohnung ( $R_t$ ) balanciert vier Faktoren:

Fortschritt: Erfolg bei der Aufgabenbewältigung.
Sicherheit: Strafe bei Sicherheitsverletzungen.
Soziale Faktoren: Strafen für Schuldzuweisungen (Blame) und Belohnungen für angemessenes Vertrauen.
Verweigerungsstil: Belohnungen für erklärende, empathische oder konstruktive Verweigerungen.

Ein Curriculum-Learning-Ansatz wird verwendet, bei dem die Gewichte für Sicherheit und Schuldzuweisungen während des Trainings schrittweise erhöht werden, um eine stabile Lernkurve zu gewährleisten.

Baselines und Heuristiken

Es werden vier RL-Baselines verglichen:

Vanilla PPO: Unbeschränkter Proximal Policy Optimization.
PPO-LSTM: PPO mit LSTM-Kopf zur Bewältigung partieller Beobachtbarkeit und langfristiger Vertrauensdynamiken.
Masked PPO: PPO, bei dem unsichere Aktionen (z. B. Befolgen bei hohem Risiko) im Aktionsraum maskiert werden.
Lagrangian PPO: PPO mit einem Lagrange-Multiplikator, der eine explizite Kostenbeschränkung für Sicherheitsverletzungen erzwingt.

Zusätzlich werden regelbasierte Heuristiken (z. B. „Immer Befolgen", „Risikobasierte Verweigerung") als Referenzpunkte verwendet.

Menschliche Validierung

Die Dynamiken von Vertrauen und Affekt wurden durch eine Vignette-Studie ( $N=54$ ) kalibriert. Teilnehmer bewerteten Robotreaktionen auf Unsicherheitsszenarien. Die Ergebnisse zeigten, dass konstruktive Verweigerungen als am sichersten und vertrauenswürdigsten, und empathische Verweigerungen als am empathischsten wahrgenommen wurden. Diese Daten fließen in die Belohnungsfunktion und die Zustandsupdates ein.

3. Wichtige Beiträge

EED Gym Benchmark: Ein einheitliches Testbett, das algorithmische Sicherheit mit den sozialen Dynamiken der Verweigerung verbindet.
Systematische Evaluation: Eine umfassende Analyse von Safe-RL-Methoden unter Berücksichtigung von Vertrauenskalibrierung, Empathie und Robustheit gegenüber Störungen (Stress-Tests).
Design-Levers Identifikation: Die Arbeit identifiziert Schlüsselfaktoren (Affekt-Signale, kommunikative Verweigerungsstile, Curriculum-Training), die für das Gleichgewicht zwischen Sicherheit und Vertrauen entscheidend sind.
Reproduzierbarkeit: Veröffentlichung von Code, Konfigurationen und Referenzrichtlinien (Policies), um die Forschung zur HRI-Verweigerung zu standardisieren.

4. Ergebnisse

Die Experimente wurden in zwei Regimen durchgeführt: In-Distribution (ID) (auf Trainings-Personas) und Stress-Test (ST) (auf zurückgehaltenen Personas mit verrauschten Parametern).

Sicherheit vs. Vertrauen:
- Masked PPO zeigte die beste Balance: Es eliminierte fast vollständig unsichere Befolgung (niedrigste Unsafe-%), während es das Vertrauen am besten erhielt.
- Lagrangian PPO war extrem sicher, neigte aber zu übermäßiger Verweigerung (Over-Refusal), was das Vertrauen und die Effizienz beeinträchtigte.
- Vanilla PPO und PPO-LSTM waren weniger robust unter Stressbedingungen (höhere Unsafe-Raten im ST-Regime).
Rolle der sozialen Signale (Ablationsstudie):
- Das Entfernen von Affekt-Signalen (Valenz/Arousal) führte zu einem signifikanten Anstieg der unsicheren Befolgung und einem Vertrauensverlust.
- Das Entfernen von kommunikativen Optionen (Nachfragen, Alternativen vorschlagen) hatte den stärksten negativen Effekt: Die F1-Scores brachen ein, und das Vertrauen sank drastisch. Dies zeigt, dass reine Risikovermeidung ohne soziale Kommunikation nicht ausreicht.
Kalibrierung: Alle RL-Modelle zeigten eine gute Kalibrierung (hohe Spearman-Korrelation zwischen vorhergesagtem Risiko und tatsächlicher Verweigerung), wobei PPO-LSTM die beste Kalibrierung aufwies.

5. Bedeutung und Implikationen

Die Studie zeigt, dass Sicherheit und soziales Vertrauen in der HRI nur lose gekoppelt sind. Ein reiner Fokus auf Risikominimierung führt oft zu unakzeptablem Verhalten (zu viele Verweigerungen).

Praktische Leitlinien:
- Strukturelle Constraints (wie Action Masking) sind effektiv, um physische Schäden zu verhindern, müssen aber durch soziale Mechanismen ergänzt werden, um das Vertrauen zu erhalten.
- Soziale Signale (Empathie, Erklärungen, Alternativen) sind entscheidend für die Akzeptanz, insbesondere wenn sich die Umgebungsbedingungen ändern (Distribution Shift).
- Kontextabhängigkeit: In Umgebungen mit hohem Sicherheitsrisiko (z. B. Krankenhäuser) können konservative Strategien (Lagrangian) angemessen sein, während in häuslichen Umgebungen konstruktive, vertrauensbildende Ansätze (Masked PPO) vorzuziehen sind.

Das Paper liefert somit einen wichtigen Rahmen, um Roboter nicht nur als sicher, sondern auch als sozial kompetente und vertrauenswürdige Partner zu gestalten, die lernen können, „Nein" zu sagen, ohne die Zusammenarbeit zu zerstören.