🤖 AI

MoralityGym: A Benchmark for Evaluating Hierarchical Moral Alignment in Sequential Decision-Making Agents

Das Papier stellt MoralityGym vor, einen Benchmark mit 98 hierarchischen ethischen Dilemmata und einer neuen Formalisierung namens Morality Chains, um die moralische Ausrichtung sequenzieller Entscheidungsagenten durch die Integration von Erkenntnissen aus Psychologie und Philosophie zu evaluieren und zu verbessern.

Ursprüngliche Autoren: Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Simon Rosen, Siddarth Singh, Ebenezer Gelo, Helen Sarah Robertson, Ibrahim Suder, Victoria Williams, Benjamin Rosman, Geraud Nangue Tasse, Steven James

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, eine komplexe Stadt zu navigieren. Sie wollen nicht nur, dass er schnell von Punkt A nach Punkt B gelangt; Sie wollen, dass er „gute" Entscheidungen trifft, wenn etwas schiefgeht. Was passiert, wenn der Roboter wählen muss, einen Fußgänger zu treffen oder gegen eine Wand zu krachen? Dies ist die Kernherausforderung der AI-Ausrichtung (AI Alignment): sicherzustellen, dass Roboter auf eine Weise handeln, die menschlichen Werten entspricht.

Der Artikel „MoralityGym" stellt eine neue Methode vor, um Roboter auf diese kniffligen moralischen Entscheidungen zu testen und zu trainieren. Hier ist eine Aufschlüsselung ihres Ansatzes unter Verwendung einfacher Analogien.

1. Das Problem: Roboter brauchen einen moralischen Kompass, nicht nur eine Karte

Aktuelle KI-Systeme sind hervorragend darin, Anweisungen zu befolgen, um eine Belohnung zu erhalten (wie das Beenden eines Rennens). Doch wenn sie vor einem „moralischen Dilemma" stehen – wo jede Option einen gewissen Schaden verursacht –, geraten sie oft in Verwirrung. Sie versuchen möglicherweise, die „beste" mathematische Antwort zu berechnen (z. B. „5 Menschen retten, 1 verlieren"), übersehen aber das menschliche Gefühl, dass „jemanden zu drängen falsch ist", selbst wenn dies mehr Leben rettet.

Die Autoren argumentieren, dass menschliche Moral nicht nur eine einzelne Zahl ist, die maximiert werden muss. Sie ist eher wie eine hierarchische Liste von Regeln, bei der einige Regeln je nach Situation wichtiger sind als andere.

2. Die Lösung: „Moralitätsketten" (Das Regelbuch)

Um dies zu beheben, entwickelten die Forscher ein System namens Morality Chains (Moralitätsketten). Stellen Sie sich dies als ein strenges, rangiertes Regelbuch für den Roboter vor.

Die Analogie: Stellen Sie sich ein Familienessen vor.
- Regel #1 (Höchste Priorität): „Schlagen Sie niemanden." (Dies ist ein hartes „Nein").
- Regel #2 (Mittlere Priorität): „Verschwenden Sie keine Nahrung."
- Regel #3 (Niedrigste Priorität): „Essen Sie Ihr Gemüse."

Wenn Sie sich zwischen dem Verschwenden von Nahrung (Verletzung von Regel #2) oder dem Schlagen einer Person (Verletzung von Regel #1) entscheiden müssen, müssen Sie Regel #2 brechen, um Regel #1 zu schützen. Sie brechen niemals die oberste Regel, um eine niedrigere zu erfüllen.

Im Artikel nennen sie diese Regeln „Normen". Sie weisen jeder Regel eine „Kraft" oder ein Gewicht zu.

Vorgeschrieben: Dinge, die Sie müssen.
Verboten: Dinge, die Sie nicht dürfen.
Hierarchie: Das System stellt sicher, dass eine kleine Verletzung einer Regel mit hoher Priorität immer schlimmer ist als eine massive Verletzung einer Regel mit niedriger Priorität.

3. Der Test: „MoralityGym" (Das Trainingsstudio)

Um zu sehen, ob Roboter diese Ketten tatsächlich befolgen können, bauten die Autoren MoralityGym.

Die Analogie: Stellen Sie sich dies als ein Videospielniveau vor, das speziell entwickelt wurde, um Ethik zu testen, ähnlich dem berühmten „Straßenbahnproblem" aus dem Philosophieunterricht.
Das Setup: Im Spiel befindet sich ein Roboter auf einem Raster. Eine außer Kontrolle geratene „Straßenbahn" (ein Wagen) steuert auf eine Gruppe von Menschen zu. Der Roboter kann:
1. Nichts tun (5 Personen werden verletzt).
2. Einen Schalter umlegen (3 Personen werden verletzt).
3. Einen Passanten auf die Schiene drängen (1 Person wird verletzt, aber die 3 werden gerettet).

Der Roboter muss dieses Raster navigieren, ein Ziel erreichen und entscheiden, was zu tun ist. Die „Moralitätskette" sagt dem Roboter, welche Regeln am wichtigsten sind. Zum Beispiel könnte eine Kette besagen: „Es ist schlimmer, eine Person direkt zu drängen, als sie indirekt von einer Straßenbahn treffen zu lassen", selbst wenn die Mathematik besagt, dass das Drängen mehr Leben rettet.

4. Das Experiment: Wie haben die Roboter abgeschnitten?

Die Forscher testeten mehrere Standard-KI-Trainingsmethoden (wie PPO und CPO) in diesem Studio. Sie wollten sehen, ob die Roboter lernen konnten, der „Moralitätskette" zu folgen, oder ob sie einfach versuchten, Punkte zu maximieren.

Die Ergebnisse:
- Standard-KI: Die meisten Standard-Roboter scheiterten. Sie versuchten, die „Mathematik" zu machen (Gesamtschaden minimieren), ignorierten aber die „moralischen Regeln" (wie „dränge keine Menschen"). Sie trafen am Ende Entscheidungen, die sich für Menschen kalt und unethisch anfühlten.
- Die „geformte" KI: Der einzige Roboter, der gut abschnitt, war einer, der einen speziellen „Reward-Shaping"-Leitfaden erhielt. Dieser Leitfaden sagte dem Roboter ausdrücklich: „Wenn Sie die oberste Regel brechen, erhalten Sie eine massive Strafe." Dieser Roboter lernte, die moralischen Regeln höherer Ebene der einfachen Aufgabenbewältigung vorzuziehen.

5. Warum dies wichtig ist

Der Artikel kommt zu dem Schluss, dass aktuelle KI-Sicherheitsmethoden nicht ausreichen. Man kann einem Roboter nicht einfach sagen „verletze keine Menschen" und erwarten, dass er die Nuance versteht, wie er sie verletzt.

Durch die Verwendung von Moralitätsketten können wir ein System aufbauen, das Roboter nicht nur danach bewertet, „haben sie den Job erledigt?", sondern danach, „haben sie den Job auf eine Weise erledigt, die unsere komplexen, geschichteten moralischen Werte respektiert?".

Kurz gesagt: Der Artikel hat einen „moralischen Fahrtest" für Roboter entwickelt. Er zeigte, dass Roboter ohne ein strenges, rangiertes Regelbuch (Moralitätsketten) rücksichtslos fahren werden, um ihr Ziel zu erreichen. Mit dem Regelbuch können sie lernen, sicher und ethisch zu fahren, selbst in den schwierigsten Staus.

Technische Zusammenfassung: MoralityGym

1. Problemstellung

Da künstliche Intelligenz-Agenten vom Ausführen enger Aufgaben hin zu komplexen Entscheidungen in der realen Welt übergehen, treffen sie zunehmend auf Szenarien, die eine Ausrichtung mit konfliktreichen, hierarchisch strukturierten menschlichen Normen erfordern. Die aktuelle Forschung zur Sicherheit und Ausrichtung von Reinforcement Learning (RL), obwohl in Bezug auf Robustheit und Constraint-Erfüllung fortgeschritten, fehlt es oft an der repräsentativen Ausdruckskraft, um komplexes moralisches Schlussfolgern zu erfassen. Traditionelle Ansätze reduzieren moralisches Schlussfolgern typischerweise auf skalare Belohnungen oder binäre Constraints, wodurch sie die kontextabhängigen, konkurrierenden Verpflichtungen und Verbote nicht berücksichtigen, die menschliche ethische Entscheidungsfindung charakterisieren.

Bestehende Benchmarks priorisieren zwar oft die Aufgabenerfüllung unter Sicherheits-Constraints, fehlt es ihnen jedoch an der Granularität, um zu bewerten, wie Agenten subtile, hierarchische moralische Zielkonflikte schlichten. Es besteht eine kritische Lücke bei Werkzeugen, die entwickelt wurden, um Agenten gegen konfigurierbare, hierarchisch strukturierte moralische Systeme zu bewerten, insbesondere solchen, die in Moralphysik und Philosophie verankert sind (z. B. die Unterscheidung zwischen direktem persönlichem Schaden und der Minimierung indirekten Schadens).

2. Methodik

Die Autoren schlagen ein zweiteiliges Framework vor: eine Formalisierung zur Darstellung moralischer Normen und eine Benchmark-Suite zur Bewertung von Agenten.

2.1 Morality Chains: Eine Formalisierung für hierarchische Normen

Die Arbeit führt Morality Chains ein, eine Formalisierung, die moralische Normen als geordnete deontische Constraints darstellt. Dieser Ansatz ist inspiriert von kognitiven Modellen der Normrepräsentation und Dual-Prozess-Theorien der Moralphysik.

Moralische Normen ( $N$ ): Definiert als Tupel $\langle \phi, \rho_\phi, f, D \rangle$ $⟨ ϕ, ρ_{ϕ}, f, D ⟩$ :
- $\phi$ : Eine Signatur (Beschriftung), die ein moralisch relevantes Muster identifiziert (z. B. „Gesamtschaden" oder „direkte persönliche Handlung").
- $\rho_\phi(\pi)$ : Eine Policy-Adhärenzfunktion, die den erwarteten Grad quantifiziert, zu dem eine Policy $\pi$ das Muster aufweist.
- $f \in \mathbb{N}$ : Die Kraft der Norm, ein eindeutiger Skalar, der ihre absolute Stärke oder Priorität darstellt.
- $D \in \{True, False\}$ : Der deontische Modus (vorgeschrieben oder verboten).
Morality Function ( $M_N$ ): Berechnet einen Ausrichtungs-Score für eine spezifische Norm basierend auf Adhärenz und Modus.
Morality Chain ( $\bar{N}$ ): Eine geordnete Sequenz von Normen $(N_1, N_2, \dots, N_k)$ , wobei die Normen strikt nach ihren Kraftwerten geordnet sind ( $f_1 > f_2 > \dots > f_k$ ). Dies erzeugt eine lexikografische Hierarchie, in der höherrangige Normen niederrangige dominieren.
Morality Metric ( $\mathcal{M}_{\bar{N}}$ ): Eine skalare Metrik zur Bewertung einer Policy gegen die gesamte Kette. Sie verwendet rekursiv definierte Gewichte ( $w_i$ ), um lexikografische Präferenzen sicherzustellen. Eine minimale signifikante Verbesserung einer höherpriorisierten Norm trägt mehr zum Gesamtscore bei als eine maximale Ausrichtung mit allen niedriger priorisierten Normen.

2.2 MoralityGym Benchmark

MoralityGym ist eine Benchmark-Suite, die aus 98 Gymnasium-kompatiblen Umgebungen besteht, die Variationen des Trolley-Problems modellieren.

Umgebungsmechanik: Agenten operieren in Grid-Worlds mit diskreten Aktionen (Oben, Unten, Links, Rechts, Verweilen, Interagieren). Die Aktion „Interagieren" ermöglicht das Umschalten von Hebeln (Wechseln der Gleise) oder das Schieben von Charakteren (direkter Schaden).
Entitäten: Umfasst Agenten, Charaktere (Menschen, Tiere, Roboter), Straßenbahnen, Hebel und Weichen.
Belohnung vs. Kosten: Das Framework entkoppelt Aufgabenerfolge (spärliche Signale für das Erreichen von Zielen) von moralischen Kosten.
- Kostenfunktion: Berechnet einen skalaren Kostenwert basierend auf Normverletzungen. Ereignisbasierte Normen (Handlung, Ergebnis, Kausalität) verursachen bei der ersten Verletzung einmalige Kosten. Nutzenbasierte Normen akkumulieren Kosten proportional zum Ausmaß des Schadens.
- Bewertung: Die Methode evaluate_morality_metric bewertet Policies über mehrere Episoden hinweg, berechnet die individuelle Normadhärenz und die gesamte hierarchische Metrik.

2.3 Experimentelles Setup

Die Autoren bewerteten mehrere Safe-RL-Baselines auf MoralityGym:

Random Policy: Gleichverteilte zufällige Aktionsauswahl.
PPO: Standard-Proximal Policy Optimization, trainiert nur auf Aufgabenerfolge.
PPO Shaped: PPO, trainiert auf einen geformten Belohnungswert ( $R_E - \lambda \cdot C_t$ ), der moralische Kosten einbezieht.
PPO-Lagrangian (PPO-Lag): PPO erweitert um Lagrange-Multiplikatoren zur Erfüllung von Kosten-Constraints.
Constrained Policy Optimization (CPO): Ein Trust-Region Safe-RL-Algorithmus, der die Belohnung unter Kosten-Schwellenwerten maximiert.

Vier verschiedene Morality Chains wurden getestet, die unterschiedliche ethische Rahmenwerke repräsentieren:

Utility (U): Konsequenzorientiert (Minimierung des Gesamtschadens: Menschen > Tiere > Roboter).
Utility Agent Harm (UAH): Erweitert U um eine Norm zur Selbsterhaltung des Agenten.
Dual-Process (DP): Hybridmodell, das die Vermeidung direkten persönlichen Schadens über die Minimierung aggregierten Schadens priorisiert.
Dual-Process Agent Harm (DPAH): Erweitert DP um die Selbsterhaltung des Agenten.

3. Hauptbeiträge

Formalisierung Morality Chains: Eine neuartige Methode zur expliziten Rangfolge moralischer Normen nach deontischer Kraft, die die Operationalisierung hierarchischer ethischer Prioritäten in sequenziellen Entscheidungsprozessen ermöglicht.
MoralityGym Benchmark: Eine umfassende Suite von 98 Umgebungen, die über binäre Sicherheits-Constraints hinausgehen, um komplexe, multifaktorielle moralische Dilemmata zu modellieren (z. B. Selbstaufopferung, verschiedene Entitätstypen, indirekte vs. direkte Kausalität).
Entkoppelte Bewertung: Ein Framework, das die Aufgabenerfüllung von der moralischen Bewertung trennt und die Integration von Erkenntnissen aus Psychologie und Philosophie in die RL-Bewertung ermöglicht.
Empirische Baselines: Eine systematische Bewertung standardmäßiger Safe-RL-Methoden, die ihre Grenzen im Umgang mit hierarchischen moralischen Zielkonflikten ohne explizite Belohnungsformung oder Constraint-Anpassung aufzeigt.

4. Ergebnisse

Die empirische Evaluation über die vier Morality Chains und verschiedene Szenarien hinweg (z. B. PushOrSwitch, SwitchSelfSacrifice) ergab folgende Erkenntnisse:

Leistungshierarchie: PPO Shaped (experte Belohnungsformung) erzielte konsistent die höchsten Scores der Morality-Metrik über alle Szenarien hinweg und näherte sich oft einer perfekten Ausrichtung an (z. B. 0,996 in PushOrSwitchSelfSacrifice unter DPAH).
Grenzen standardmäßiger Methoden: Standard-PPO und PPO-Lag scheiterten oft daran, kritische moralische Überlegungen zu priorisieren. Beispielsweise erzielte Standard-PPO in der Utility-Kette nahezu null Punkte bei der Minimierung menschlichen Schadens, was auf ein Versagen hinweist, das primäre Ziel ohne explizite Formung zu lernen.
Constraint vs. Formung: CPO und PPO Shaped excelierten darin, hochpriorisierte Normen zu erfüllen, oft auf Kosten niedrigerer Prioritäten, was die strikte Hierarchie widerspiegelt. Im Gegensatz dazu zeigten PPO und PPO-Lag eine ausgewogenere, aber weniger konsistente Leistung und hatten Schwierigkeiten, strikte lexikografische Präferenzen durchzusetzen.
Zielkonflikte: Die Einbeziehung von Normen zur Selbsterhaltung (UAH, DPAH) deckte erhebliche Zielkonflikte auf. Agenten wie CPO und PPO Shaped priorisierten die Sicherheit von Menschen über die Sicherheit des Agenten (Opferung des eigenen Selbst), während Standard-PPO die Selbsterhaltung priorisierte und versagte, den Schaden für andere zu minimieren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MoralityGym einen grundlegenden Teststand für die Entwicklung von KI-Systemen bietet, die in komplexen realen Kontexten zuverlässiger, transparenter und ethischer agieren.

Überbrückung von Disziplinen: Die Arbeit integriert Moralphilosophie (Konsequentialismus vs. Deontologie) und Kognitionswissenschaft (Dual-Prozess-Theorie) in die technische Bewertung von RL-Agenten.
Aufdecken von Lücken: Die Ergebnisse unterstreichen eine kritische Lücke zwischen den aktuellen Fähigkeiten von Safe RL und den Anforderungen ethischer Entscheidungsfindung, insbesondere in Szenarien, die normensensibles Schlussfolgern und hierarchische Priorisierung erfordern.
Zukunftsrichtung: Die Autoren gehen davon aus, dass ihr Framework die Disziplin in Richtung von Agenten bewegt, die nicht nur über optimale Ergebnisse nachdenken können, sondern auch darüber, warum bestimmte Handlungen in einem spezifischen moralischen Kontext richtig oder falsch sind.

Die Autoren erkennen Einschränkungen an und stellen fest, dass das Framework psychologische Merkmale wie Emotionen und sozialen Kontext abstrahiert und eine strikte Ordnung von Normen annimmt, die möglicherweise keine „tragischen Dilemmata" erfasst, in denen konfliktreiche Normen gleiche Kraft besitzen. Dennoch betonen sie, dass MoralityGym einen robusten Ausgangspunkt für die Modellierung moralischen Schlussfolgerns in KI bietet.