Embodied reinforcement learning in the primate cortico-basal ganglia system
Durch die Aufzeichnung neuronaler Aktivität im kortiko-basalgangliären System des Makaken zeigt diese Studie, dass Wertrepräsentationen motorsystemspezifisch und nicht invariant sind, wodurch bestehende biologische Erklärungen des verstärkenden Lernens infrage gestellt und verkörperte Frameworks gestützt werden, in denen Verhalten in der physischen Struktur eines Agenten verwurzelt ist.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (https://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das Zwei-Spuren-System des Gehirns: Warum Ihre Hände und Augen unterschiedlich lernen
Stellen Sie sich Ihr Gehirn wie eine superintelligente Videospielkonsole vor, die versucht herauszufinden, welche Tasten die meisten Punkte bringen. Jahrzehntelang glaubten Wissenschaftler, dass dieses „Punktesystem“ wie eine einzige, universelle Währung funktionierte. Sie dachten, dass das Gehirn – egal, ob man das Spiel mit einem Joystick, einer Tastatur oder einem Sprachbefehl spielt – den Wert einer Belohnung an einer zentralen Stelle berechnet und dann einfach dasselbe „Gut gemacht!“-Signal an die jeweilige Muskelgruppe sendet, die für die Handlung zuständig ist. Diese Idee, bekannt als verstärkendes Lernen (Reinforcement Learning), legte nahe, dass der Belohnungsrechner des Gehirns völlig getrennt von den Körperteilen war, die die Bewegungen ausführten. Es war eine ordentliche, saubere Theorie: ein Gehirn, ein Wert, viele Wege zu bewegen.
Aber was wäre, wenn das Gehirn nicht wie ein einziger Währungswechsel funktioniert? Was wäre, wenn die Art und Weise, wie Sie lernen, tief mit der Art und Weise verbunden ist, wie Sie sich bewegen? Dies ist der Kern der „verkörperten Kognition“ (Embodied Cognition) – ein Konzept, das besagt, dass unsere Gedanken und unser Lernen in unserem physischen Körper verwurzelt sind und nicht als abstrakte Wolke darüber schweben. Wenn dies wahr ist, dann könnte das Lernen, einen Keks mit der Hand zu greifen, sich in Ihrem Gehirn völlig anders anfühlen und aussehen als das Lernen, einen Keks mit den Augen anzusehen, selbst wenn es derselbe Keks ist. Das Verständnis dessen ist entscheidend, da es unsere Sichtweise auf alles verändert – von der Frage, wie Tiere in der Wildnis überleben, bis hin zu der Frage, wie wir intelligentere Roboter bauen oder Menschen bei der Genesung von Hirnverletzungen helfen könnten. Wenn das Gehirn verschiedene Körperteile als separate Lernkanäle behandelt, bedeutet dies, dass unser Geist weitaus physischer und weniger „abstrakt“ ist, als wir einst dachten.
Das große Affen-Experiment: Augen vs. Hände
In dieser Studie beschlossen die Forscher Franco Giarrocco und Bruno Averbeck, diese Idee zu testen, indem sie zwei Makaken in Super-Lerner verwandelten. Sie bauten ein Spiel auf, bei dem die Affen zwischen zwei Bildern wählen mussten, um eine Saftbelohnung zu gewinnen. Manchmal mussten die Affen ihre Wahl durch das Ansehen des richtigen Bildes treffen (eine Sakkade oder Augenbewegung), und manchmal mussten sie nach dem richtigen Bild greifen und es berühren (ein Reach oder Armbewegung). Der Clou dabei? Die Affen mussten lernen, welches Bild das „gute“ war (80 % Chance auf Saft) und welches das „schlechte“ (20 % Chance), und zwar durch Versuch und Irrtum.
Während die Affen dieses Spiel spielten, zeichneten die Wissenschaftler die Aktivität von 4.843 Neuronen in acht verschiedenen Hirnregionen auf. Sie untersuchten alles, von der Amygdala (oft mit Emotionen verknüpft) über den präfrontalen Kortex (den CEO des Gehirns) bis hin zu den Basalganglien (dem Aktionszentrum des Gehirns). Sie wollten sehen, ob das Gehirn dieselbe „neuronale Sprache“ verwendete, um über den Wert einer Belohnung zu sprechen, unabhängig davon, ob der Affe seine Augen oder seine Hände benutzte.
Die große Entdeckung: Zwei verschiedene Sprachen
Die Ergebnisse waren ein Schock für die alte Theorie. Die Wissenschaftler fanden heraus, dass das Geرhirn nicht eine einzige, universelle Sprache für den Wert verwendete. Stattdessen sprach es zwei völlig unterschiedliche Dialekte, je nachdem, welcher Körperteil die Arbeit verrichtete.
Stellen Sie sich die Neuronen des Gehirns wie ein riesiges Orchester vor. Wenn die Theorie des „universellen Wertes“ wahr wäre, würde das Orchester dieselbe Melodie spielen, egal ob der Affe seine Augen oder seine Hände benutzt, nur vielleicht etwas lauter oder leiser. Aber was die Forscher fanden, war eher vergleichbar mit einem Orchester, das zwei völlig verschiedene Lieder gleichzeitig spielt. Wenn der Affe seine Augen benutzte, feuerten die Neuronen in einem bestimmten Muster, um zu sagen: „Dieses Bild ist viel wert!“ Wenn er jedoch seine Hand benutzte, feuerte ein anderer Satz von Neuronen in einem anderen Muster, um exakt dasselbe auszudrücken.
Unter Verwendung eines mathematischen Werkzeugs namens „Populationsgeometrie“ maßen die Forscher den „Winkel“ zwischen diesen beiden neuronalen Mustern. Sie fanden heraus, dass die Muster fast in einem rechten Winkel zueinander standen – wie ein „T“. In mathematischen Begriffen bedeutet dies, dass sie orthogonal, also geometrisch unabhängig, sind. Die Information über den Wert beim Gebrauch der Augen war so verschieden von der Information beim Gebrauch der Hände, dass man beim Versuch, das „Augen-Signal“ mit dem „Hand-Decoder“ zu lesen, sehr verwirrt wäre. Die Information über den Wert ging im Übersetzungsprozess praktisch verloren.
Diese Trennung geschah überall im Gehirn, sogar in den tiefen, emotionalen Teilen wie dem ventralen Striatum und der Amygdala, die Wissenschaftler früher für die „universellen Wertzentren“ hielten. Der einzige Ort, an dem das Gehirn eine kleine gemeinsame Sprache beibehielt, war der ventrolaterale präfrontale Kortex (vlPFC), eine Region, die für die Handhabung abstrakter Regeln bekannt ist. Aber selbst dort war die Trennung stark ausgeprägt.
Warum es wichtig ist: Der Körper formt den Geist
Die Studie legt nahe, dass das Gehirn „verkörpert“ ist. Es berechnet nicht einfach nur eine Belohnung und sagt dann dem Körper, was er tun soll; die Art und Weise, wie sich der Körper bewegt, prägt tatsächlich, wie die Belohnung gelernt und gespeichert wird. Die Forscher fanden heraus, dass die Affen tatsächlich besser lernten, wenn sie ihre Hände (Reaches) benutzten als wenn sie ihre Augen (Sakkaden) benutzten – sie lernten schneller und trafen bessere Entscheidungen. Dies deutet darauf hin, dass unsere verschiedenen Körperteile möglicherweise dazu entwickelt wurden, unterschiedliche Arten von Lernaufgaben zu bewältigen.
Entscheidend ist, dass die Forscher die Idee ausschlossen, dass diese Unterschiede nur darauf zurückzuführen seien, dass die Affen in einer der Aufgaben besser waren als in der anderen. Selbst als sie nur die Sitzungen betrachteten, in denen die Affen sowohl mit den Augen als auch mit den Händen gleichermaßen gut Leistung zeigten, nutzte das Gehirn immer noch zwei getrennte Sprachen. Dies beweist, dass die Trennung kein Fehler oder ein Nebeneffekt einer schlechten Leistung ist, sondern ein grundlegendes Merkmal der Verschaltung des Gehirns.
Wenn Sie also das nächste Mal etwas Neues lernen, denken Sie daran: Ihr Gehirn behandelt Ihre Hände und Ihre Augen vielleicht wie zwei verschiedene Schüler in derselben Klasse, von denen jeder sein eigenes Notizbuch und seine eigene Art hat, die Lektion zu verstehen. Das Gehirn ist kein einzelner, abstrakter Rechner; es ist eine physische Maschine, bei der die Art und Weise, wie Sie sich bewegen, Teil dessen ist, wie Sie denken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.