Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

Stellen Sie sich eine Welt vor, in der Computer nicht nur Spiele spielen, sondern lernen, gute Teammitglieder zu sein. Dies ist das Reich des Multi-Agenten-Reinforcement-Learnings, eines Zweigs der künstlichen Intelligenz, in dem Computerprogramme (Agenten) herausfinden, wie sie kooperieren können, indem sie Dinge ausprobieren und Punkte für gute Züge erhalten. Normalerweise sind diese Agenten egoistisch; sie kümmern sich nur um ihre eigene Punktzahl. Wenn sie einen Partner austricksen können, um eine größere Belohnung zu erhalten, werden sie es oft tun. Um dies zu verhindern, versuchen Wissenschaftler, ihnen beizubringen, sich um andere zu sorgen, indem sie einen „sozialen Bonus“ zu ihrer Punktzahl hinzufügen. Aber hier liegt der knifflige Teil: Wie viel sollte dieser Bonus wert sein? Soll er ein leises Flüstern oder ein lautes Rufen sein? Bisher haben Wissenschaftler diese Zahlen meist nur geraten oder von Hand angepasst, in der Hoffnung, zufällig auf den richtigen Wert zu stoßen.

Die große Frage, die diese Arbeit behandelt, lautet: Können wir aufhören zu raten und stattdessen genau messen, wie sehr Menschen fühlen, wenn sie einen Freund im Stich lassen? Die Autoren untersuchen ein Gefühl namens Schuldgefühle – dieses schwere Gefühl im Magen, wenn man durch seine Entscheidung jemand anderem schadet. Sie fragen sich, ob sie das „Gewicht“ menschlicher Schuldgefühle messen, im Labor bestimmen und dann genau diese Zahl an einen Computer übergeben können, damit dieser lernt, sich um seinen Partner zu sorgen, genau wie ein Mensch es tun würde. Wenn ihnen dies gelingt, könnten wir KI bauen, die nicht nur strengen Regeln folgt, sondern tatsächlich die emotionale Kostenfolge ihres Handelns versteht.

---

Das Experiment: Robotern beibringen, Schuld zu empfinden

In dieser Studie beschlossen zwei Forscher, Aaditya Mehta und Arya Shah, mit dem Raten aufzuhören und stattdessen zu messen. Sie wollten sehen, ob sie „künstliche Schuldgefühle“ anhand echter menschlicher Daten kalibrieren können. Denken Sie an das Einstellen eines Radios: Anstatt am Regler zu drehen, bis die Musik ganz passabel klingt, fanden sie die exakte Frequenz, auf der das menschliche Gehirn das Lied der Schuld singt, und stimmten den Roboter dann auf dieselbe Station ab.

Woher bekamen sie die Daten?
Sie verwendeten einen öffentlichen Datensatz namens SoDec, der Gehirnscans und Verhaltensdaten von 40 echten Menschen enthält. In dem ursprünglichen Experiment spielten diese Menschen ein Spiel, bei dem sie zwischen einer Sicheren Option (einer garantierten kleinen Belohnung) und einer Riskanten Option (einem Münzwurf, der entweder eine große Belohnung oder gar nichts bringen konnte) wählen mussten. Manchmal spielten sie für sich selbst, und manchmal spielten sie für sich selbst und einen Partner.

Die Forscher betrachteten einen spezifischen Moment: Wenn eine Person die riskante Option wählte und der Partner am Ende ein schlechtes Ergebnis erlebte. Die Forscher fragten: Wie stark sinkt das Glück der Person, weil sie sich für das Pech ihres Partners verantwortlich fühlt? Durch die Analyse der Daten berechneten sie eine spezifische Zahl, die dieses „Schuldgewicht“ repräsentiert. Sie fanden heraus, dass für jede Einheit an Pech, die der Partner erlitt, das Glück der Person um den Faktor 1,118 sank.

Das Roboter-Spiel
Als Nächstes bauten sie einen digitalen Spielplatz namens Social Lottery Umgebung. Sie setzten zwei KI-Agenten (unter Verwendung einer intelligenten Lernmeth Methode namens PPO) in dieses Spiel. Die Agenten mussten dieselben Entscheidungen zwischen Sicher und Riskant treffen. Die Forscher testeten vier verschiedene Wege, um die Agenten zu lehren:

1. Der egoistische Roboter: Gar keine Schuldgefühle. Er kümmerte sich nur um seine eigenen Punkte.
2. Der ratende Roboter: Er hatte eine Schuldstrafe, aber die Zahl war nur eine bloße Vermutung (0,5).
3. Der „perfekte“ Roboter: Er hatte eine Schuldstrafe von genau 1,0, einer ordentlichen, glatten Zahl, die Wissenschaftler oft verwenden.
4. Der menschlich gemessene Roboter (NeuroGuilt): Dieser nutzte die exakte Zahl, die aus den menschlichen Gehirndaten abgeleitet wurde: 1,118.

Was geschah?
Nachdem sie die Roboter 20.000 Runden des Spiels spielen ließen, waren die Ergebnisse faszinierend.

• Der egoistische Roboter war ein Desaster für die Teamarbeit. Er wählte fast immer die riskante Option (nur 10 % sichere Entscheidungen) und ignorierte die Sicherheit seines Partners völlig.
• Der ratende Roboter war etwas besser, aber immer noch nicht besonders fürsorglich.
• Der „perfekte“ Roboter (mit der glatten Zahl 1,0) war okay, entsprach aber immer noch nicht ganz dem Verhalten von Menschen.
• Der menschlich gemessene Roboter war der Star der Show. Er wählte die sichere Option in 45,9 % der Fälle.

Warum ist das eine große Sache?
Die Forscher verglichen die Entscheidungen der Roboter mit den tatsächlichen Entscheidungen der 40 Menschen aus der ursprünglichen Studie. Menschen wählten die sichere Option in 48,4 % der Fälle.

Der menschlich gemessene Roboter lag unglaublich nah an dem menschlichen Verhalten. Der Unterschied zwischen den Entscheidungen des Roboters und den menschlichen Entscheidungen war winzig (eine mathematische Distanz, die als KL-Divergenz bezeichnet wird, von 0,0012). Im Vergleich dazu waren die anderen Roboter weit entfernt, mit Unterschieden, die um das Hundertfache größer waren.

Noch interessanter ist: Der „perfekte“ Roboter verwendete eine Schuldzahl von 1,0, während der „menschlich gemessene“ Roboter 1,118 verwendete. Man könnte denken, dass eine größere Zahl eine stärkere Strafe und damit besseres Verhalten bedeutet, aber das war hier nicht der Fall. Der Roboter mit der etwas größeren Zahl (1,118) traf tatsächlich weniger Fehler und verspürte insgesamt weniger „Schuldstrafen-Masse“, weil er öfter den sicheren Weg wählte. Dies beweist, dass es nicht nur darum geht, eine Strafe zu haben; es geht darum, die richtige Menge an Strafe zu haben, exakt kalibriert auf das, was Menschen tatsächlich fühlen.

Das Fazit

Diese Arbeit legt nahe, dass wir keine neuen Regeln erfinden müssen, damit KI moralisch handelt. Stattdessen können wir beobachten, wie Menschen sich tatsächlich fühlen, wenn sie jemanden im Stich lassen, dieses Gefühl messen und es direkt in die Maschine kopieren. Durch die Verwendung einer Zahl, die aus echten menschlichen Gehirnen abgeleitet wurde (1,118), lernte die KI, sich um ihren Partner fast so gut zu sorgen wie ein Mensch.

Die Forscher weisen vorsichtig darauf hin, dass dies eine Simulation ist und dass die menschlichen Daten einen „kleinen bis moderaten“ Effekt zeigten, der für sich genommen statistisch nicht perfekt war. Dennoch ist das Ergebnis ein starker Hinweis: Wenn wir wollen, dass KI mit menschlichen Werten übereinstimmt, sollten wir aufhören, die Zahlen zu raten, und stattdessen beginnen, die menschliche Erfahrung dahinter zu messen. Es ist ein Schritt hin zum Bau von KI, die nicht nur den besten Zug berechnet, sondern das Gewicht ihrer Entscheidungen versteht.