Reward changes the use and structure of predictive spatial maps
Diese Arbeit zeigt auf, dass Belohnung die hippokampalen prädiktiven räumlichen Karten über zwei unterschiedliche Mechanismen beeinflusst: Zielsignale verändern primär, wie eine bestehende Karte zur Steuerung des Verhaltens genutzt wird, während spezifische belohnungsbezogene Lehrsignale die tatsächliche Plastizität vorantreiben, welche die Struktur der Karte umgestaltet.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das Gehirn enthält ein spezialisiertes Kartensystem, das es Tieren ermöglicht, sich in ihrer Welt zu orientieren. Im Hippocampus, einer tief im Gehirn gelegenen Region, gibt es Neuronen, die sogenannte Ortszellen (Place Cells) genannt werden. Jede dieser Zellen feuert, wenn sich ein Tier an einem bestimmten Ort befindet, und beleuchtet so effektiv eine Koordinate auf einer internen Karte. Seit Jahrzehnten wissen Wissenschaftler, dass diese Karte nicht statisch ist; sie verändert sich basierend auf Erfahrungen. Wenn ein Tier lernt, wo eine Belohnung versteckt ist, verschiebt sich die Aktivität dieser Ortszellen oft und häuft sich dichter um den Standort der Beute an. Doch eine grundlegende Frage blieb bisher unbeantwortet: Verändert das Gehirn lediglich die Art und Weise, wie es seine bestehende Karte nutzt, um sich auf die Belohnung zu konzentrieren, oder schreibt es die Karte physisch um, indem es die Verbindungen zwischen den Neuronen verändert, um eine neue Repräsentation des Raums zu erschaffen?
Um dies zu beantworten, bauten Forscher ein Computermodell, das simuliert, wie das Gehirn lernt. Sie erschufen einen digitalen Agenten, der eine virtuelle quadratische Arena erkundete und dabei nur visuelle Informationen darüber erhielt, was sich vor ihm befand, wie etwa den Abstand zu Wänden und das Vorhandensein von Objekten. Das interne Netzwerk des Agenten wurde darauf trainiert, die nächste visuelle Szene basierend auf seiner aktuellen Sicht und Bewegung vorherzusagen. Durch diesen Prozess der Vorhersage entwickelte das Netzwerk spontan eine räumliche Karte, mit distinkten Gruppen von Neuronen, die an spezifischen Orten feuerten, ganz ähnlich den Ortszellen, die man bei echten Tieren findet. Diese Karte existierte bereits, bevor der Agent überhaupt von einer Belohnung wusste.
Die Forscher führten daraufhin eine Belohnung in die Umgebung ein und trainierten ein separates Kontrollsystem, um den Agenten zu ihr zu führen. Während der Agent lernte, zur Belohnung zu navigieren, beobachteten die Forscher eine dramatische Veränderung: Die Ortszellen in der Karte begannen, sich eng um den Standort der Belohnung zu gruppieren. Als die Forscher jedoch denselben Pfad, den der Agent vor dem Lernen genommen hatte, mit dem neu trainierten Netzwerk exakt nachspielten, war die Konzentration der Aktivität deutlich schwächer. Dies enthüllte, dass die starke Konzentration der Aktivität, die während des zielgerichteten Verhaltens zu beobachten war, weitgehend darauf zurückzuführen war, dass der Agent unterschiedliche Routen nahm und sich der Belohnung aus verschiedenen Winkeln näherte, und nicht auf eine vollständige Überarbeitung der zugrunde liegenden Struktur der Karte. Die Karte hatte sich zwar verändert, aber nur moderat.
Die Studie untersuchte weiter, was diese Veränderungen antreibt, indem sie ein spezifisches Lernsignal hinzufügte, das dem Netzwerk mitteilte, wie nah es sich an der Belohnung befand. Wenn dieses Signal vorhanden war, wurden die Veränderungen an der Karte größer und konsistenter, wodurch sich die Ortsfelder zuverlässiger in Richtung der Belohnung verschoben. Die Forscher testeten auch, was geschah, wenn die Belohnung an einen neuen Ort versetzt wurde. Sie fanden heraus, dass sich die Richtung, in die der Agent steuerte, schnell an das neue Ziel anpasste, sich die physische Lage der Ortsfelder jedoch langsamer verschob und eine gewisse Erinnerung an den alten Belohnungsort behielt. Schließlich, als die Belohnung und das Lernsignal vollständig entfernt wurden, ebbte die Konzentration der Zellen nahe der ehemaligen Belohnungslage ab, und die Karte kehrte in ihren ursprünglichen Zustand zurück.
Diese Ergebnisse legen nahe, dass das Gehirn zwei separate Mechanismen nutzt, um mit Belohnung umzugehen. Ein Mechanismus verändert die Art und Weise, wie die bestehende Karte genutzt wird, was es dem Tier ermöglicht, seine Aufmerksamkeit und sein Verhalten auf das Ziel zu fokussieren. Der zweite Mechanismus, der durch spezifische Lernsignale angetrieben wird, formt die Karte selbst physisch um, doch diese Umgestaltung ist ein subtilerer und graduellerer Prozess, als die unmittelbaren Verhaltensänderungen vermuten lassen könnten. Die Forschung liefert einen klaren Rahmen für das Verständnis, dass die räumliche Karte des Gehirns sowohl eine stabile Repräsentation der Welt als auch ein flexibles Werkzeug ist, das durch das, was ein Tier wertschätzt, abgestimmt werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.