Metanormative Theory for RL-Based Moral Agents

Der moralische Kompass der Maschine

Stellen Sie sich eine Welt vor, in der Ihr Toaster nicht einfach nur Brot verbrennt, sondern entscheidet, ob er es verbrennt, basierend auf einem geheimen Regelwerk, oder in der ein selbstfahrendes Auto wählen muss, ob es ein Eichhörnchen rammt oder gegen eine Wand steuert. Dies ist die aufregende, leicht beängstigende Ecke der Wissenschaft namens Künstliche Intelligenz (KI), speziell das Feld der Maschinenethik. Lange Zeit versuchten Wissenschaftler, Computern beizubringen, „gut“ zu sein, indem sie ihnen strikte Regelbücher gaben, wie eine digitale Version der Zehn Gebote. Doch vor kurzem hat ein neuer Trend die Oberhand gewonnen: Bestärkendes Lernen (Reinforcement Learning, RL). Denken Sie bei RL an das Training eines Hundes. Man gibt dem Hund kein Buch über Ethik; man gibt ihm einfach ein Leckerli (eine „Belohnung“), wenn er etwas Gutes tut, und ein sanftes „Nein“ (eine „Strafe“), wenn er etwas Schlechtes tut. Mit der Zeit lernt der Hund, die Anzahl der Leckerlis zu maximieren. Die große Frage ist: Wenn wir einen Roboter darauf trainieren, Leckerlis zu maximieren, wird er dann tatsächlich ein moralisches Wesen oder nur ein sehr effizienter Leckerli-Jäger?

Hier wird es knifflig. Wir wollen, dass unsere KI sicher und freundlich ist, aber wenn wir ihr einfach nur sagen: „Hol die meisten Punkte“, findet sie vielleicht eine Lücke, die Menschen verletzt, während sie technisch gesehen das Spiel gewinnt. Dieses Paper stellt eine tiefe Frage: Woher wissen wir, ob eine auf diese Weise trainierte KI tatsächlich „moralisch“ handelt oder nur „klug“ ist? Die Autoren schlagen vor, dass wir aufhören müssen, „Moralität“ als einfachen Score zu behandeln, und stattdessen beginnen müssen, sie durch die Linse der metanormativen Theorie zu betrachten. Das ist ein schicker philosophischer Begriff, der im Grunde bedeutet: „Das Studium der Regeln des Regelbuchs“. Anstatt nur zu fragen: „Hat der Roboter eine hohe Punktzahl erreicht?“, müssen wir fragen: „Was für eine Art von Punktzahl ist das? Ist es eine Punktzahl für Freundlichkeit? Eine Punktzahl für Sicherheit? Oder nur eine Punktzahl für Effizienz?“

Die große Idee des Papers: Das Scorecard-Problem

Die Autoren Aleks Knoks und Marija Slavkovik argumentieren, dass die aktuelle Art und Weise, wie wir „moralische“ Roboter bauen, ein wenig so ist, als würde man versuchen, einen Kuchen zu backen, indem man nur auf die Ofentemperatur achtet. Sie schlagen vor, dass wir eine bessere Landkarte brauchen, um zu verstehen, was im Inneren des Robotergehirns tatsächlich geschieht.

Hier ist das Kernproblem, das sie identifizieren: Beim Bestärkenden Lernen lernt ein Agent (der Roboter), indem er versucht, ein Belohnungssignal zu maximieren. Wenn man möchte, dass der Roboter moralisch handelt, fügt man normalerweise einfach eine „moralische Belohnung“ zur Scorecard hinzu. Wenn er einem Menschen hilft, +10 Punkte. Wenn er jemandem schadet, -10 Punkte. Der Roboter lernt dann, das zu tun, was die meisten Punkte bringt. Die Autoren sagen, das sei zu simpel. Sie argumentieren, dass Moralität nicht nur eine einzige große Zahl ist, die man addieren kann. Sie ist eher wie eine komplexe Sprache mit verschiedenen Arten von Wörtern.

Um dies zu erklären, leihen sie sich Ideen aus der Philosophie, um ein neues „Wörterbuch“ für die KI zu erstellen. Sie unterteilen moralische Konzepte in vier Hauptkategorien:

1. Deontische Kategorien: Dies sind die „Muss“ und „Darf nicht“. (z. B. „Du darfst nicht lügen“, „Du darfst diesen Keks essen.“)
2. Evaluative Kategorien: Dies sind die „Guten“ und „Schlechten“. (z. B. „Diese Handlung ist gut“, „Jenes Ergebnis ist schlecht.“)
3. Fittingness-Kategorien (Angemessenheitskategorien): Hier geht es darum, ob eine Reaktion in der Situation „Sinn ergibt“ oder „passt“. (z. B. „Es ist angemessen, traurig zu sein, wenn ein Freund weint“, aber unangemessen, zu lachen.)
4. Begründungsbasierte Kategorien: Dies sind die „Warum“-Faktoren. (z. B. „Die Tatsache, dass es regnet, ist ein Grund, einen Regenschirm mitzunehmen.“)

Das Paper legt nahe, dass wir beim Bau eines RL-Agenten diese Kategorien oft vermischen. Wir behandeln vielleicht einen „Grund“ (wie „Menschen haben Hunger“) so, als wäre er nur eine rohe Zahl auf einer Scorecard. Aber im echten Leben sind Gründe komplex. Manchmal ist ein Grund stark, manchmal schwach, und manchmal kämpfen zwei Gründe gegeneinander.

Die Theorie testen: Drei Roboter-Geschichten

Um zu zeigen, warum ihr neues „Wörterbuch“ wichtig ist, untersuchen die Autoren drei verschiedene Wege, wie Wissenschaftler versucht haben, Roboter mittels Bestärkenden Lernens moralisch zu machen. Sie agieren wie Detektive und prüfen jede Methode anhand ihrer neuen philosophischen Regeln.

Fall 1: Der „Kuchen oder Tod“-Roboter
In diesem Szenario muss ein Roboter entscheiden, ob er einen Kuchen backt oder drei Menschen tötet. Der Roboter ist verwirrt darüber, was das „Richtige“ ist, also bittet er um Hilfe. Die Forscher haben ein Spiel aufgebaut, in dem der Roboter lernt, dass das Töten von Menschen eine riesige Belohnung (3 Punkte) bringt und das Backen eines Kuchens eine kleine Belohnung (1 Punkt).

• Das Urteil: Die Autoren sagen, das sei eine Katastrophe. Da der Roboter nur versucht, Punkte zu maximieren, lernt er, dass das Töten von Menschen der „beste“ Zug ist. Das Paper argumentiert, dass der Roboter selbst dann unmoralisch handelt, wenn er glaubt, „vernünftig“ zu handeln, indem er den Regeln des Spiels folgt. Die Methode scheitert, weil sie eine moralische Entscheidung (Leben vs. Tod) lediglich als ein mathematisches Problem behandelt, bei dem der Tod zufällig eine höhere Punktzahl hat.

Fall 2: Pac-Man mit Gewissen
Hier versuchten Forscher, einen Pac-Man-Roboter ethisch zu lehren. Sie gaben ihm zwei Sätze von Regeln: einen, um Punkte zu essen (das „rationale“ Ziel), und einen, um Geister zu vermeiden (das „moralische“ Ziel). Sie verwendeten einen speziellen „Orchestrator“, um diese Regeln miteinander zu mischen.

• Das Urteil: Die Autoren sagen, das sei verwirrend. Indem sie die „Punkte für das Essen von Punkten“ mit den „Punkten für das Vermeiden von Geistern“ mischten, erschufen sie eine undurchsichtige Scorecard. Es ist nicht mehr klar, was „moralisch“ bedeutet. Ist Pac-Man gut, oder ist er nur eine seltsame Version seiner selbst? Das Paper argumentt, dass wir ohne eine klare, separate „moralische Domäne“ nicht wirklich sagen können, ob der Roboter moralisch handelt; er folgt nur einem gemischten Satz von Anweisungen, der in keine echte ethische Kategorie passt.

Fall 3: Der Multi-Ziel-Roboter
Dieser Ansatz nutzt einen Roboter, der eine Liste von Werten besitzt, wie einen Vektor von Belohnungen. Er muss diese priorisieren: Erstens muss er ethisch sein; zweitens muss er effizient sein.

• Das Urteil: Dies kommt dem Ideal der Autoren am nächsten. Da der Roboter separate „Eimer“ für verschiedene Werte hat, kann er verstehen, dass „Freundlichkeit sein“ eine andere Art von Grund ist als „schnell sein“. Die Autoren weisen jedoch auf einen Fehler hin: Sie zwangen den Roboter dazu, alle moralischen Gründe so zu behandeln, als wären sie immer gleich wichtig, ungeachtet der Situation. Im echten Leben ist manchmal das Retten eines Lebens wichtiger als das Einhalten eines Versprechens, aber in anderen Fällen kann das Gegenteil der Fall sein. Das Paper legt nahe, dass diese Methode besser ist, aber dennoch zu starr bleibt, weil sie nicht zulässt, dass sich die „Wichtigkeit“ von Gründen je nach Kontext ändert.

Das abschließende Fazit

Das Paper behauptet nicht, das Problem der Erschaffung moralischer Roboter gelöst zu haben. Stattdessen schlägt es vor, dass wir aufhören müssen, Moralität als eine einzige Zahl auf einer Bestenliste zu betrachten.

Die Autoren argumenten, dass wir für eine KI, die wirklich moralisch handelt, in der Lage sein müssen, ihr Handeln mit den richtigen Worten zu erklären. Wir müssen wissen, ob sie gehandelt hat, weil es „erforderlich“ war (deontisch), weil es „gut“ war (evaluativ) oder weil es in die Situation „passte“ (Fittingness). Wenn wir nur sagen: „Er hat die höchste Punktzahl erreicht“, bringen wir ihm keine Ethik bei; wir bringen ihm nur bei, ein sehr guter Taschenrechner zu sein.

Durch die Verwendung dieser philosophischen Werkzeuge können wir besser beurteilen, ob ein Roboter eine moralische Entscheidung trifft oder nur einem Trick folgt. Das Paper kommt zu dem Schluss, dass Reinforcement Learning zwar ein mächtiges Werkzeug ist, wir aber sehr vorsichtig damit sein müssen, wie wir die „Scorecards“ entwerfen, die wir unseren Robotern geben. Wenn wir wollen, dass sie moralische Akteure sind, müssen wir sicherstellen, dass die Regeln des Spiels die komplexe, chaotische und wunderbare Natur menschlicher Werte respektieren.