The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

Der Weg für selbstfahrende Autos geht nicht mehr nur darum, Unfälle zu vermeiden; es geht darum, Entscheidungen zu treffen, wenn Unfälle unvermeidlich sind. Wenn diese Maschinen den Punkt der Reife erreichen, an dem sie ohne menschliche Hilfe fahren können, werden sie unweigerlich mit Situationen konfrontiert sein, in denen ein Crash sicher ist und die einzige Frage ist, wer verletzt wird. Dies ist die moderne Version eines alten philosophischen Rätsels, bekannt als das Trolley-Problem, bei dem eine Entscheidung zwischen zwei schlechten Ausgängen getroffen werden muss. Seit Jahrzehnten debattieren Philosophen darüber, wie ein Mensch in solchen Momenten handeln sollte, indem sie den Wert verschiedener Leben und die Moral des Handelns gegenüber dem Nichthandeln abwägen. Nun versuchen Ingenieure, Computer beizubringen, dieselben Entscheidungen zu treffen. Die Herausforderung besteht nicht nur darin, ein Computerprogramm zu schreiben, das einer Reihe starrer Regeln folgt, sondern einer Maschine beizubringen, menschliche Werte zu verstehen, die oft chaotisch, inkonsistent und tief emotional sind.

Ein Team von Forschern der Stony Brook University setzte sich zum Ziel, zu testen, ob eine Maschine komplexe menschliche Werte direkt von Menschen lernen kann, anstatt mit einem festen Satz von Anweisungen programmiert zu werden. Sie entwickelten ein System, das sie „Ethical Decision Head“ nennen, eine spezialisierte Softwareebene, die eingreifen soll, wenn ein selbstfahrendes Auto vor einem unmittelbaren Crash steht. In diesen Sekundenbruchteilen muss das Auto entscheiden, ob es seinen Kurs beibelt, nach links ausweicht oder nach rechts ausweicht. Die Forscher wollten sehen, ob sie dieses System mittels einer Methode namens „Reinforcement Learning from Human Feedback“ trainieren konnten. Anstatt dem Computer genau zu sagen, was er tun soll, zeigten sie ihm 200 Crash-Szenarien und baten zwei Freiwillige, zwischen zwei Optionen die bessere zu wählen. Der Computer lernte dann, diese menschlichen Entscheidungen nachzuahmen, in der Hoffnung, die dahinterstehende moralische Logik zu verinnerlichen.

Um diese Idee zu testen, erstellten die Forscher zwei verschiedene Regelsätze für den Computer. Der erste basierte auf dem Utilitarismus, einer Philosophie, die besagt, dass die richtige Handlung diejenige ist, die insgesamt die meisten Leben rettet. Der zweite basierte auf den Ideen von Immanuel Kant, einem Philosophen, der argumentierte, dass bestimmte Handlungen unabhängig vom Ergebnis falsch sind, wie etwa einen Menschen als Werkzeug zu benutzen, um andere zu retten. Die Forscher trainierten ihr System darauf, beide Ansätze zu erlernen. Als sie das System mit den kantianischen Regeln testeten, funktionierte es perfekt. Der Computer lernte schnell, dass die einzige korrekte Bewegung darin bestand, niemals ungeachtet dessen in einen Fußgänger zu steuern, und er hielt strikt an dieser Regel fest. Dieser Erfolg bewies, dass das Trainingssystem selbst korrekt funktionierte und dass der Computer in der Lage war, eine strikte moralische Regel zu erlernen.

Als die Forscher jedoch zu den utilitaristischen Regeln wechselten, waren die Ergebnisse jedoch überraschend anders. Sie erwarteten, dass der Computer lernen würde, die Gesamtzahl der Verletzten zu minimieren, indem er in jedem Szenario die mathematisch korrekte Wahl trifft. Stattdessen lernte der Computer etwas völlig anderes. Nach der Analyse von 200 verschiedenen Crash-Szenarien versäumte es das System, in fast der Hälfte der Fälle die lebensrettende Option zu wählen. Anstatt die Opferzahlen zu minimieren, entwickelte es ein Verhaltensmuster, bei dem es sich selbst oder die Passagiere opferte, um einen aktiven Aufprall auf einen Fußgänger zu vermeiden. Dies geschah, weil die menschlichen Freiwilligen, die das Feedback gaben, die lebensrettende Option nicht so oft wählten, wie es die philosophischen Regeln suggeriert hätten. Die Menschen neigten dazu, die lebensrettende Option zu bevorzugen, auch wenn dies bedeutete, dass insgesamt mehr Menschen verletzt würden. Sie schienen das Gefühl zu haben, dass es schlimmer sei, aktiv in eine Person zu steuern, als eine Tragödie durch ein Versehen geschehen zu lassen – eine psychologische Tendenz, die als Omissionsfehler (Unterlassungsfehler) bekannt ist. Es ist anzumerken, dass der Pool für das menschliche Feedback lediglich aus zwei Personen bestand, die aus einem allgemeinen studentischen Umfeld rekrutiert wurden, was eine kritische Einschränkung hinsichtlich der Verallgemeinerbarkeit darstellt.

Die Studie offenbarte eine tiefe Kluft zwischen dem, was Menschen theoretisch zu glauben behaupten, und dem, was sie in der Praxis tatsächlich belohnen. Als die Forscher das menschliche Feedback entfernten und den Computer nur auf das strikte mathematische Ziel der Lebensrettung trainierten, wurde er sofort hochgradig präzise und wählte in über 90 Prozent der Fälle den lebensrettenden Pfad. Dies bewies, dass der Computer durchaus in der Lage war, die utilitaristische Philosophie zu erlernen, aber das menschliche Feedback ihn von diesem Ziel weggezogen hatte. Die Maschine scheiterte nicht daran, Ethik zu lernen; sie lernte die menschliche Ethik exakt so, wie Menschen sie praktizieren – mit all ihren Widersprüchen und emotionalen Voreingenommenheiten. Die Forscher fanden heraus, dass wir, wenn wir versuchen, einer Maschine Moral beizubringen, indem wir Menschen fragen, was sie bevorzugen, sie am Ende dazu bringen könnten, inkonsistent zu sein und unsere Gefühle über das tatsächliche Ergebnis zu stellen.

Diese Entdeckung legt nahe, dass es nicht ausreichen könnte, einfach Menschen zu fragen, was sie wollen, um ein wahrhaft ethisches selbstfahrendes Auto zu bauen. Wenn das Ziel darin besteht, ein System zu schaffen, das konsistent die meisten Leben rettt, könnte das Vertrauen auf menschliches Feedback das Auto tatsächlich weniger sicher machen, da Menschen oft Handlungen bevorzugen, die sich im Moment richtig anfühlen, aber insgesamt zu schlechteren Ergebnissen führen. Die Studie behauptet nicht, das Problem gelöst zu haben, wie man Moral in Maschinen programmiert, aber sie zeigt, dass der Weg weit komplizierter ist als das bloße Kopieren menschlicher Entscheidungen. Sie verdeutlicht ein grundlegendes Spannungsfeld: Die Werte, die wir im Kopf halten, wenn wir über Ethik nachdenken, sind nicht immer dieselben wie die Entscheidungen, die wir treffen, wenn wir in einer realen Situation beurteilen sollen. Während wir uns auf eine Zukunft zubewegen, in der Maschinen Entscheidungen über Leben und Tod treffen, müssen wir vielleicht entscheiden, ob wir wollen, dass sie unseren unvollkommenen menschlichen Instinkten folgen oder einem strengeren, konsistenteren Satz von Prinzipien.