Computational representations and evolutionary functions of emotions (Part 1): Reward signals

Tief im Inneren der Maschinerie des Lebens, vom einfachsten einzelligen Organismus bis hin zum komplexesten menschlichen Gehirn, existiert eine konstante, stille Berechnung. Dies ist das Reich der Evolutionsbiologie und der künstlichen Intelligenz – zwei Felder, die, obwohl sie scheinbar weit voneinander entfernt liegen, auf eine einzige, tiefgreifende Frage zusteuern: Was sind Gefühle eigentlich? Seit Jahrhunderten werden Emotionen wie Freude, Angst und Beklemmung als die farbenfrohen, subjektiven Erlebnisse lebender Wesen betrachtet – die Wärme eines Lächelns oder der kalte Knoten der Furcht. Doch Wissenschaftler vermuten schon lange, dass unter dieser subjektiven Oberfläche ein funktionaler Mechanismus liegt, eine Art für einen Organismus, durch eine chaotische Welt zu navigieren und Entscheidungen zu treffen, die sein Überleben sichern. In der Welt der Computer wird dieser Entscheidungsprozess oft durch ein einfaches Konzept namens Belohnungssignal angetrieben. Stellen Sie sich vor, ein Computerprogramm lernt, ein Spiel zu spielen; es erhält einen kleinen digitalen Punkt für einen guten Zug und eine Strafe für einen schlechten. Mit der Zeit lernt der Computer, nach den Punkten zu suchen und die Strafen zu vermeiden. Diese Arbeit stellt eine kühne Frage: Könnten die komplexen, wirbelnden Stürme menschlicher Emotionen nichts weiter als eben jene Belohnungssignale sein, die über Millionen von Jahren entwickelt wurden, um uns zu dem zu führen, was zählt?

Die Forschung, durchgeführt von Yikai Wang an der Shanghai Jiao Tong University, setzt sich zum Ziel, diese Idee zu testen, indem sie digitale Agenten erschafft und beobachtet, wie diese lernen. Das Ziel war nicht, einen Roboter zu erschaffen, der fühlt, sondern zu sehen, ob die internen Signale, die einen Computer dazu treiben, zu überleben und sich fortzupflanzen, natürlich zu etwas werden, das wie und wie menschliche Emotionen aussieht und handelt. Die Forscher konzentrierten sich auf fünf Kernmerkmale, die biologische Emotionen definieren: Sie müssen natürlich durch den Prozess der Optimierung entstehen; sie müssen nur aktiviert werden, wenn ein Organismus auf einem Pfad zur Überlebensfähigkeit oder zum Erfolg ist, und verstummen, wenn der Pfad gefährlich oder nutzlos ist; ihre Aktivierung muss das zukünftige Verhalten ändern, entweder indem sie eine Wiederholung einer Handlung fördern oder einen Fehler bestrafen; sie müssen stärker werden, wenn der Wert des Ziels steigt; und sie müssen sich intensivieren, wenn das Ziel in Zeit und Raum näher rückt, und abklingen, sobald das Ziel erreicht oder verloren ist.

Um zu prüfen, ob diese Regeln auf Freude zutreffen, schufen die Forscher zuerst eine digitale Umgebung, in der Agenten nur durch Fortpflanzung überleben konnten. In dieser Simulation hatten die Agenten kein eingebautes Verlangen, Kinder zu bekommen; sie existierten einfach. Der einzige Druck war, dass ohne Fortpflanzung die Population aussterben würde. Die Forscher erlauben den Agenten, ein verborgenes internes Signal zu entwickeln, das durch natürliche Selektion angepasst werden konnte. Über hunderte simulierte Generationen hinweg geschah etwas Bemerkenswertes. Die Agenten, die speziell bei der Entscheidung zur Fortpflanzung ein positives internes Signal entwickelten, waren diejenigen, die gediehen. Diejenigen ohne dieses Signal, oder jene mit einem negativen Signal, konnten ihre Merkmale nicht weitergeben. Das Ergebnis war eine Population, in der der Akt der Fortpflanzung automatisch von einem Anstieg des positiven internen Feedbacks begleitet wurde. Dieses Signal entstand nicht durch Design; es entstand, weil es notwendig war, damit die Population überlebt. Darüber hinaus war dieses Signal nur aktiv, wenn der Pfad zu Nachkommen führte, und es wurde stärker, wenn die Chance auf Fortpflanzung zunahm, und klang erst ab, wenn die Gelegenheit verstrichen war. Die Simulation zeigte, dass ein einfaches mathematisches Signal, das auf das Überleben optimiert ist, die fünf Merkmale der Freude perfekt widerspiegelt.

Die Forscher erweiterten ihre Untersuchung dann auf die dunklere Seite der Emotion: Angst. Sie konstruierten ein anderes Szenario, in dem Agenten einer Bedrohung gegenüberstanden, wie etwa dem potenziellen Tod eines Nachkommens. In dieser Welt mussten die Agenten lernen, Gefahren zu vermeiden. Genau wie die Freude aus dem Drang zur Fortpflanzung entstand, entwickelte sich ein negatives internes Signal aus dem Drang, den Tod zu vermeiden. Dieses Signal, das die Forscher als das computergestützte Äquivalent zu Angst identifizierten, aktivierte sich nur, wenn der Agent auf einem Pfad war, der zu Gefahr führte. Es war stumm, wenn der Pfad sicher war. Entscheidend war, dass dieses Signal nicht einfach nur vorhanden war; es bestrafte den Agenten für das Ergreifen riskanter Maßnahmen und lehrte ihn effektiv, Gefahren aus dem Weg zu gehen. Das Signal skalierte auch mit der Schwere der Bedrohung; je gefährlicher die Situation, desto stärker wurde das Signal. Es intensivierte sich auch, wenn die Gefahr in Zeit und Raum näher rückte, und verblasste, sobald die Bedrohung vorüber war. Die Simulation demonstrierte, dass auch Angst als ein Belohnungssignal verstanden werden kann, jedoch als ein negatives, das darauf ausgelegt ist, Verhalten zu bestrafen, das in eine Katastrophe führt.

Die Studie ging noch weiter und zeigte, dass dieselben Prinzipien auch für andere Emotionen gelten. Die Forscher fanden heraus, dass dieselben positiven Signale, die Freude antreiben, auch Hoffnung und Erleichterung erklären konnten, während negative Signale Ekel, Trauer und Reue erklären konnten. Die Logik war konsistent: Emotionen sind keine zufälligen Gefühle, sondern präzise, evolvierte Werkzeuge. Sie sind Signale, die einem Organismus mitteilen, ob er sich auf einem Weg zu einem Ziel oder weg von ihm befindet und wie dringend er handeln muss. Die Arbeit legt nahe, dass diese Signale nicht nur abstrakte Konzepte sind, sondern wahrscheinlich der tatsächliche Code sind, der im Inneren der „Black Box“ unseres Gehirns und der Policy-Netzwerke fortgeschrittener künstlicher Intelligenz läuft. Die Forscher schlagen vor, dass die natürliche Selektion diese Signale beibehalten hat, weil sie unser Handeln verändern, um Ziele zu erreichen, die nicht berührt oder gesehen werden können, wie etwa das zukünftige Überleben unserer Gene.

Die Studie deutet jedoch auch auf die Grenzen dieser digitalen Evolution hin. In den Simulationen wurden die Signale manchmal zu groß oder hielten zu lange an, was in der realen Welt katastrophal wäre. Die Forscher legen nahe, dass in der Natur andere Kräfte existieren müssen, um diese Emotionen in Schach zu halten. Wenn beispielsweise die Freude über das Finden von Nahrung so überwältigend wäre, dass sie ein Tier vergessen ließe, auf Raubtiere zu achten, würde dieses Tier nicht überleben. Daher trimmt die Evolution diese Signale wahrscheinlich, um sicherzustellen, dass sie stark genug sind, um Handlungen zu motivieren, aber nicht so stark, dass sie den Organismus für andere Gefahren blind machen. Die Arbeit kommt zu dem Schluss, dass Emotionen nicht bloß Nebenprodukte eines komplexen Gehirns sind, sondern fundamentale, optimierte Signale, die über Äonen verfeinert wurden, um Lebewesen dabei zu helfen, die Lücke zwischen dem, wo sie sind, und dem, wo sie sein müssen, zu überbrücken. Indem wir diese Signale als computergestützte Belohnungen verstehen, können wir endlich beginnen, die alte, stille Sprache des Überlebens zu entschlüsseln, die jeden Herzschlag und jede Entscheidung antreibt.