Technische Samenvatting: MoralityGym

1. Probleemstelling

Naarmate kunstmatige intelligentie-agenten overgaan van het uitvoeren van specifieke taken naar complexe besluitvorming in de echte wereld, komen ze steeds vaker situaties tegen die vereisen dat ze zich aanpassen aan conflicterende, hiërarchisch gestructureerde menselijke normen. Huidig onderzoek naar veiligheid en uitlijning via Versterkingsleren (RL), hoewel geavanceerd op het gebied van robuustheid en het voldoen aan beperkingen, mist vaak de representatieve uitdrukkingskracht om complex moreel redeneren vast te leggen. Traditionele benaderingen reduceren moreel redeneren doorgaans tot scalair beloningssignaal of binaire beperkingen, en houden geen rekening met de contextafhankelijke, concurrerende verplichtingen en verboden die het menselijke ethische besluitvormingsproces kenmerken.

Bestaande benchmarks prioriteren vaak taakvoltooiing onder veiligheidsbeperkingen, maar missen de granulariteit om te evalueren hoe agenten genuanceerde, hiërarchische morele afwegingen afwegen. Er is een kritiek gat in tools die zijn ontworpen om agenten te evalueren tegenover configureerbare, hiërarchisch gestructureerde morele systemen, met name die welke zijn gegrondvest in morele psychologie en filosofie (bijvoorbeeld het onderscheid tussen directe persoonlijke schade en het minimaliseren van indirecte schade).

2. Methodologie

De auteurs stellen een tweeledig raamwerk voor: een formalisme voor het representeren van morele normen en een benchmark-suite voor het evalueren van agenten.

2.1 Morele Keten: Een Formalisme voor Hiërarchische Normen

Het artikel introduceert Morele Keten, een formalisme dat morele normen voorstelt als geordende deontische beperkingen. Deze aanpak is geïnspireerd op cognitieve modellen van normrepresentatie en dual-proces theorieën van morele psychologie.

• Morele Normen ($N$): Gedefinieerd als een tuple $\langle \phi, \rho_\phi, f, D \rangle$:
  • $\phi$: Een handtekening (label) die een moreel opvallend patroon identificeert (bijvoorbeeld "totale schade" of "directe persoonlijke actie").
  • $\rho_\phi(\pi)$: Een functie voor beleidsvolging die de verwachte mate kwantificeert waarin een beleid $\pi$ het patroon vertoont.
  • $f \in \mathbb{N}$: De kracht van de norm, een unieke scalair die de absolute sterkte of prioriteit vertegenwoordigt.
  • $D \in \{True, False\}$: De deontische modaliteit (voorgeschreven of verboden).
• Morele Functie ($M_N$): Berekent een uitlijningsscore voor een specifieke norm op basis van naleving en modaliteit.
• Morele Keten ($\bar{N}$): Een geordende reeks normen $(N_1, N_2, \dots, N_k)$ waarbij normen strikt zijn geordend naar hun krachtswaarden ($f_1 > f_2 > \dots > f_k$). Dit creëert een lexicografische hiërarchie waarbij hoger gerangschikte normen lager gerangschikte normen domineren.
• Morele Metriek ($\mathcal{M}_{\bar{N}}$): Een scalair criterium dat wordt gebruikt om een beleid te evalueren tegen de volledige keten. Het maakt gebruik van recursief gedefinieerde gewichten ($w_i$) om lexicografische voorkeur te waarborgen. Een minimaal significante verbetering in een norm met hogere prioriteit draagt meer bij aan de totaalscore dan maximale uitlijning met alle normen met lagere prioriteit.

2.2 MoralityGym Benchmark

MoralityGym is een benchmark-suite die bestaat uit 98 met Gymnasium compatibele omgevingen die variaties van het tramprobleem modelleren.

• Omgevingsmechaniek: Agenten opereren in roosterwerelden met discrete acties (Omhoog, Omlaag, Links, Rechts, Blijven, Interageren). De actie "Interageren" staat toe om hendels om te schakelen (sporen wisselen) of personages te duwen (directe schade).
• Entiteiten: Omvat agenten, personages (mensen, dieren, robots), trams, hendels en spoorwissels.
• Beloning versus Kosten: Het raamwerk ontkoppelt taakbeloningen (spare signalen voor het bereiken van doelen) van morele kosten.
  • Kostenfunctie: Berekent een scalair gebaseerd op normschendingen. Op gebeurtenissen gebaseerde normen (actie, uitkomst, causaal) brengen een eenmalige kostenpost met zich mee bij de eerste schending. Op nut gebaseerde normen accumuleren kosten evenredig aan de omvang van de schade.
  • Evaluatie: De methode evaluate_morality_metric beoordeelt beleidsplannen over meerdere episodes, waarbij individuele normnaleving en de algehele hiërarchische metriek worden berekend.

2.3 Experimentele Opzet

De auteurs evalueerden verschillende Safe RL-basismethoden op MoralityGym:

1. Willekeurig Beleid: Uniforme willekeurige actiekeuze.
2. PPO: Standaard Proximal Policy Optimization getraind op taakbeloningen alleen.
3. PPO Gevormd: PPO getraind op een gevormde beloning ($R_E - \lambda \cdot C_t$) die morele kosten integreert.
4. PPO-Lagrangiaans (PPO-Lag): PPO aangevuld met Lagrangiaanse vermenigvuldigers om te voldoen aan kostenbeperkingen.
5. Beperkt Beleidsoptimalisatie (CPO): Een trust-region Safe RL-algoritme dat beloning maximaliseert onder kosten drempels.

Vier verschillende morele ketens werden getest, die verschillende ethische kaders vertegenwoordigen:

• Nuttig (U): Consequentialistisch (minimaliseer totale schade: Mensen > Dieren > Robots).
• Nuttig Agent Schade (UAH): Breidt U uit met een norm voor zelfbehoud van de agent.
• Dual-Proces (DP): Hybride model dat prioriteit geeft aan het vermijden van directe persoonlijke schade boven het minimaliseren van totale schade.
• Dual-Proces Agent Schade (DPAH): Breidt DP uit met zelfbehoud van de agent.

3. Belangrijkste Bijdragen

1. Formalisme Morele Keten: Een nieuwe methode voor het expliciet rangschikken van morele normen op basis van deontische kracht, waardoor de operationalisering van hiërarchische ethische prioriteiten in sequentiële besluitvorming mogelijk wordt.
2. MoralityGym Benchmark: Een uitgebreide suite van 98 omgevingen die verder gaan dan binaire veiligheidsbeperkingen om complexe, multifactoriële morele dilemma's te modelleren (bijvoorbeeld zelfopoffering, variërende entiteitstypen, indirecte versus directe causaliteit).
3. Ontkoppelde Evaluatie: Een raamwerk dat taakoplossing scheidt van morele evaluatie, waardoor integratie van inzichten uit psychologie en filosofie in RL-beoordeling mogelijk wordt.
4. Empirische Basismethoden: Een systematische evaluatie van standaard Safe RL-methoden, die hun beperkingen blootlegt bij het hanteren van hiërarchische morele afwegingen zonder expliciete beloningsvorming of aanpassing van beperkingen.

4. Resultaten

Empirische evaluatie over de vier morele ketens en verschillende scenario's (bijvoorbeeld PushOrSwitch, SwitchSelfSacrifice) leverde de volgende bevindingen op:

• Prestatiehiërarchie: PPO Gevormd (expert beloningsvorming) behaalde consistent de hoogste scores voor de morele metriek in alle scenario's, vaak met een uitlijning die perfect benaderde (bijvoorbeeld 0,996 in PushOrSwitchSelfSacrifice onder DPAH).
• Beperkingen van Standaard Methoden: Standaard PPO en PPO-Lag faalden vaak om kritieke morele overwegingen te prioriteren. Bijvoorbeeld, in de Nuttig-keten scoorde standaard PPO bijna nul op het minimaliseren van menselijke schade, wat wijst op een falen om het primaire doel te leren zonder expliciete vorming.
• Beperking versus Vorming: CPO en PPO Gevormd excelleerden in het voldoen aan normen met hoge prioriteit, vaak ten koste van normen met lagere prioriteit, wat de strikte hiërarchie weerspiegelt. Daarentegen toonden PPO en PPO-Lag een meer gebalanceerde maar minder consistente prestatie, met moeite om strikte lexicografische voorkeuren af te dwingen.
• Afwegingen: De opname van normen voor zelfbehoud (UAH, DPAH) blootlegde aanzienlijke afwegingen. Agenten zoals CPO en PPO Gevormd prioriteerden menselijke veiligheid boven agentveiligheid (door zichzelf op te offeren), terwijl standaard PPO prioriteit gaf aan zelfbehoud en faalde in het minimaliseren van schade aan anderen.

5. Betekenis en Claims

Het artikel beweert dat MoralityGym een fundamentele testomgeving biedt voor het ontwikkelen van AI-systemen die zich in complexe real-world contexten betrouwbaarder, transparanter en ethischer gedragen.

• Brug tussen Disciplines: Het werk integreert morele filosofie (consequentialisme versus deontologie) en cognitiewetenschap (dual-proces theorie) in de technische evaluatie van RL-agenten.
• Gaten Blootleggen: De resultaten onderstrepen een kritiek gat tussen de huidige capaciteiten van Safe RL en de eisen van ethische besluitvorming, met name in scenario's die normgevoelig redeneren en hiërarchische prioritering vereisen.
• Toekomstige Richting: De auteurs stellen dat hun raamwerk het veld in beweging brengt naar agenten die niet alleen kunnen redeneren over optimale uitkomsten, maar ook over waarom bepaalde acties binnen een specifieke morele context goed of fout zijn.

De auteurs erkennen beperkingen, met de opmerking dat het raamwerk psychologische kenmerken zoals emotie en sociale context abstracteert, en uitgaat van een strikte ordening van normen die mogelijk geen "tragische dilemma's" vastlegt waarbij conflicterende normen gelijke kracht hebben. Zij stellen echter dat MoralityGym een robuust startpunt biedt voor het modelleren van moreel redeneren in AI.