A Mechanistic Theory Unifying Value and Schema in the Prefrontal Cortex
Dieses Paper schlägt ein einheitliches mechanistisches Modell des präfrontalen Cortex vor, in dem der Wert als ein Kontrollsignal fungiert, das strukturierte Arbeitsgedächtnisrepräsentationen steuert, um flexible, generalisierbare Entscheidungsfindung zu ermöglichen, eine Theorie, die durch metatrainierte rekurrenten neuronale Netze validiert wurde, welche dieses Verhalten ohne zusätzliche synaptische Plastizität reproduzieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Tiere sind Meister der Anpassung. Ein Eichhörnchen muss nicht jedes Mal neu lernen, wie man eine Nuss knackt, wenn es eine neue findet, und ein Mensch muss nicht neu lernen, wie man ein Auto fährt, nur weil sich die Route geändert hat. Diese Fähigkeit, in unbekannten Situationen kluge Entscheidungen zu treffen, beruht auf einem speziellen Teil des Gehirns, dem präfrontalen Kortex. Wissenschaftler wissen seit langem, dass diese Region für zwei Dinge entscheidend ist: die Berechnung, wie gut eine Wahl sein wird (Wert), und das Verständnis der verborgenen Regeln oder Strukturen einer Situation (wie etwa zu wissen, dass das Abbiegen nach links bei einer roten Ampel immer falsch ist, unabhängig von der Straße). Jahrzehntelang wurden diese beiden Funktionen als getrennte Rätsel untersucht. Eine Forschungsrichtung untersuchte, wie das Gehirn aus Belohnungen lernt, während eine andere untersuchte, wie es mentale Landkarten der Welt erstellt. Die große Frage blieb: Wie nutzt das Gehirn diese beiden Werkzeuge tatsächlich zusammen, um in einem Moment eine Entscheidung zu treffen?
Ein Team von Forschern des University College London und der University of Oxford hat eine neue Antwort vorgeschlagen. Sie vermuten, dass das Gehirn seine Optionen nicht einfach wie eine Punkteliste berechnet und dann die höchste auswählt. Stattdessen fanden sie heraus, dass das Gehirn seine Optionen wahrscheinlich wie eine Rangliste organisiert, bei der der Wert einer Wahl als Steuersignal fungiert, das die Liste durchmischt. Um dies zu testen, bauten die Forscher Computermodelle neuronaler Netze und trainierten sie darauf, verschiedene Entscheidungsspiele zu lösen. Diese Modelle wurden nicht mit den Regeln programmiert; sie mussten die Struktur der Spiele selbst erlernen, genau wie ein Tier. Die Ergebnisse zeigten, dass die erfolgreichsten Modelle einen spezifischen internen Mechanismus entwickelten: Sie speicherten die verfügbaren Aktionen in separaten mentalen „Slots“ und ordneten diese Slots ständig neu an, basierend darauf, wie gut jede Aktion erschien.
Die Forscher entdeckten, dass das Gehirn in diesen erfolgreichen Modellen nicht jede Aktion als ein festes Element mit einem permanenten Wert behandelt. Stattdessen erschafft es ein dynamisches System, in dem die Aktionen selbst flüssig sind. Stellen Sie sich einen Satz Schubladen vor, deren Inhalt ausgetauscht werden kann. Das Modell lernte, die beste Option in der obersten Schublade zu behalten, die zweitbeste in der mittleren und die schlechteste in der untersten. Entscheidend war, dass das „Wert“-Signal im Modell nicht einfach nur eine Zahl war; es fungierte als Schalter. Wenn das Modell die Rückmeldung erhielt, dass seine erste Wahl nicht mehr die beste sei, löste das Wertsignal einen Tausch aus, indem es die alte erste Wahl nach unten bewegte und die neue beste Wahl nach oben zog. Dies ermöglichte es dem Modell, sich augenblicklich an neue Situationen anzupassen, ohne die Regeln von Grund auf neu lernen zu müssen. Wenn sich die Regeln eines Spiels änderten, ordnete das Modell einfach die bestehende Liste der Optionen neu an, wobei es dieselbe zugrunde liegende Logik verwendete, die es zuvor gelernt hatte.
Dieser Befund stellt eine lang gehegte Sichtweise der Neurowissenschaften infrage. Traditionell glaubten Wissenschaftler, dass das Gehirn durch die Stärkung der Verbindung zwischen einer bestimmten Aktion und ihrer Belohnung lernt, ähnlich wie ein Hund lernt, dass ein bestimmter Trick eine Belohnung einbringt. In dieser alten Sichtweise war diese Verbindung fest verdrahtet, wenn der Hund lernte, dass „Sitz“ gut sei. Das neue Modell schlägt etwas anderes vor. Die Forscher fanden heraus, dass ihre Modelle nicht lernten, den Wert an spezifische Aktionen zu knüpfen. Stattdessen lernten sie, den Wert an einen Rang zu knüpfen. Das Gehirn lernt in dieser Sichtweise, das Konzept der „besten Option“ und der „zweitbesten Option“ zu erkennen, ungeachtet dessen, was diese Optionen tatsächlich sind. Dies erklärt, wie Tiere ihr Lernen so schnell generalisieren können. Wenn ein Affe lernt, dass eine bestimmte Frucht in einem bestimmten Kontext die beste Wahl ist, kann er dieselbe Logik sofort auf einen völlig anderen Satz von Früchten in einem neuen Kontext anwenden, indem er die neuen Optionen basach auf dieselbe interne Regel neu bewertet.
Um zu beweisen, dass dieser Mechanismus real und nicht nur eine Besonderheit ihres Computercodes war, führten die Forscher eine Reihe von „Chirurgie“-Experimenten an den Modellen durch. Sie griffen in die verborgenen Schichten des Netzwerks ein und änderten manuell die in den mentalen Slots gespeicherten Informationen. Als sie den Inhalt des obersten Slots mit dem Inhalt des untersten Slots vertauschten, änderte sich das Verhalten des Modells genau wie vorhergesagt. Es begann sofort, die Aktion zu wählen, die an die Spitze verschoben worden war, und ignorierte diejenige, die zuvor dort gewesen war. Dies bestätigte, dass das Modell nicht nur eine Punktzahl berechnet und dann einen Gewinner auswählt; es bewegt die Aktionsbefehle physisch um, basierend auf dem Wertsignal. Die Forscher testeten die Modelle auch bei komplexeren Aufgaben, wie etwa Spielen, bei denen sich die Regeln in einem vorhersehbaren Muster änderten oder bei denen der Wert einer Wahl etwas über den Wert einer anderen aussagte. In jedem Fall waren es die Modelle, die dieses rangbasierte, durchmischende System nutzten, die in der Lage waren, die Probleme effizient und durch neue Variationen hindurch zu lösen.
Die Studie untersuchte auch, wie dies mit dem verglichen werden kann, was wir in den Gehirnen echter Tiere beobachten. Die Forscher merkten an, dass die Art und Weise, wie ihre Modelle Informationen organisierten, mit den Feuermustern der Neuronen übereinstimmte, die im präfrontalen Kortex von Affen aufgezeichnet wurden. In diesen realen Gehirnen haben Wissenschaftler Neuronen beobachtet, die spezifisch für die „beste“ Option feuern, andere für die „zweitbeste“ und andere für die „schlechteste“, unabhängig davon, was die eigentlichen Optionen sind. Diese biologische Evidenz stützt die Idee, dass das Ge Brain ein Rangsystem verwendet. Die Forscher wiesen auch darauf hin, dass dieses System unglaublich effizient ist, da es das „Was“ (die Aktion) vom „Wie gut“ (dem Wert) trennt. Diese Trennung bedeutet, dass das Gehirn dieselben Lernregeln für völlig neue Problemstellungen wiederverwenden kann, eine Fähigkeit, die für das Überleben in einer sich verändernden Welt unerlässlich ist.
Durch die Vereinigung der Konzepte von Wert und Struktur bietet diese Arbeit ein klareres Bild davon, wie das Gehirn Flexibilität erreicht. Es legt nahe, dass der präfrontale Kortex weniger wie ein Rechner fungiert, der Belohnungen summiert, sondern eher wie ein Verkehrsleiter, der den Fluss der Informationen ständig neu organisiert. Der Wert einer Wahl ist nicht nur eine Zahl, die gelesen wird; er ist ein Befehl, der den internen Arbeitsraum des Gehirns neu arrangiert. Dieser Mechanismus ermöglicht eine schnelle Schlussfolgerung (Inferenz), bei der ein Tier die beste Vorgehensweise nach nur einem einzigen Feedback ableiten kann, anstatt alle Möglichkeiten ausprobieren zu müssen. Die Simulationen der Forscher zeigen, dass dies nicht nur eine theoretische Möglichkeit ist, sondern eine robuste Lösung, die natürlich entsteht, wenn ein System darauf trainiert wird, flexibel zu sein. Obwohl die Studie mithilfe von Computermodellen durchgeführt wurde, deutet die Übereinstimmung mit bestehenden biologischen Daten darauf hin, dass dieser rangbasierte, durchmischende Mechanismus wahrscheinlich die Art und Weise ist, wie das menschliche Gehirn die komplexen, sich ständig ändernden Probleme des täglichen Lebens löst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.