Transition from model-free to structure-informed decision making in dynamic environments

In der weiten Landschaft der Art und Weise, wie Lebewesen Entscheidungen treffen, haben Wissenschaftler lange zwischen zwei grundlegenden Wegen der Orientierung in der Welt unterschieden. Ein Ansatz ist unmittelbar und reaktiv: Ein Tier lernt, dass eine bestimmte Handlung zu einer Belohnung führt, und wiederholt diese Handlung, ohne notwendigerweise zu verstehen, warum sie funktioniert. Dies ist eine Strategie der Gewohnheit, die auf einfachen Assoziationen zwischen dem Tun von etwas und dem Erhalten von etwas Gutem basiert. Der andere Ansatz ist durchdachter und bewusster: Ein Tier erstellt eine interne Karte davon, wie die Welt strukturiert ist, und versteht, wie ein Ereignis zu einem anderen führt und wie verschiedene Entscheidungen die Chancen auf eine Belohnung verändern. Dies ist eine Strategie der Planung, bei der der Entscheidungsträger Wissen über die Regeln nutzt, um das Verhalten zu steuern. Jahrelang glaubten Forscher, dass Tiere, während sie eine Aufgabe über einen langen Zeitraum hinweg praktizierten, sich langsam von dieser durchdachten Planung hin zu der einfacheren, automatischen Gewohnheit bewegen würden. Diese Idee legte nahe, dass das Gehirn mit genügend Wiederholung aufhören würde zu kalkulieren und stattdessen beginnen würde, sich auf das Muskelgedächtnis zu verlassen.

Ein Forschungsteam beschloss, diese Annahme zu testen, indem es beobachtete, wie Mäuse eine komplexe Entscheidungshilfe lernten, jedoch mit einer entscheidenden Wendung: Sie betrachteten den Beginn des Lernprozesses, anstatt darauf zu warten, bis die Tiere zu Experten geworden waren. Die Mäuse wurden in eine Situation gebracht, in der sie eine Serie von Entscheidungen treffen mussten, um eine Belohnung zu finden. Die Umgebung war knifflig; der Pfad zur Belohnung verlief nicht immer geradlinig. Manchmal führte eine Entscheidung wie erwartet direkt zum nächsten Schritt, aber manchmal nahm der Pfad eine unerwartete Wendung. Zudem war die Wahrscheinlichkeit, am Ende des Pfades eine Belohnung zu finden, nicht fixiert; sie änderte sich im Laufe der Zeit, was die Mäuse zwang, ihre Erwartungen ständig zu aktualisieren. Die Forscher beobachteten das Verhalten der Mäuse genau, während sie ihre Trainingssitzungen durchliefen, und verfolgten, ob die Tiere einfach nur auf vergangene Belohnungen reagierten oder ob sie begannen, die verborgene Struktur der Aufgabe zu verstehen.

Die Ergebnisse offenbarten ein überraschendes Muster, das die alte Sichtweise darüber, wie Lernen abläuft, infrage stellt. Während die Mäuse übten, änderte sich ihr Verhalten auf eine spezifische Weise, die darauf hindeutete, dass sie nicht bloß Gewohnheiten bildeten. Wenn die Mäuse auf eine Situation stießen, in der der Pfad eine unerwartete Wendung nahm, passten sie ihre zukünftigen Entscheidungen anders an, als wenn der Pfad wie erwartet verlief. Diese Abweichung im Verhalten ist ein klares Zeichen dafür, dass die Tiere begonnen hatten, ihr Wissen über die Struktur der Aufgabe zu nutzen, um ihre Entscheidungen zu leiten. Durch das Anpassen mathematischer Modelle verschiedener Lernstile an die Handlungen der Mäuse fanden die Forscher heraus, dass die Mäuse zunehmend eine Strategie nutzten, die dieses Strukturwissen verwendete. Dieser Übergang geschah bereits früh im Trainingsprozess, lange bevor die Mäuse viel Zeit mit der Aufgabe verbracht hatten.

Dieser Befund legt nahe, dass der Übergang vom einfachen, reaktiven Lernen zum komplexen, strukturinformierten Entscheidungsprozess viel früher stattfindet als bisher angenommen. Während frühere Studien darauf fokussierten, was passiert, nachdem ein Tier eine Aufgabe lange Zeit praktiziert hat – oft mit dem Schluss, dass das Gehirn schließlich aufhört zu denken und anfängt, auf Autopilot zu agieren –, zeigt diese neue Arbeit, dass das Gehirn fast unmittelbar beginnt, ein mentales Modell der Regeln aufzubauen. Die Mäuse warteten nicht darauf, erst gewohnheitsmäßig zu werden, bevor sie begannen, das Spiel zu verstehen; stattdessen bewegten sie sich schnell weg von der ausschließlichen Abhängigkeit von vergangenen Belohnungen und begannen, ihr Verständnis darüber, wie die Aufgabe zusammengesetzt ist, zu nutzen, um bessere Entscheidungen zu treffen. Dies demonstriert, dass in dynamischen Umgebungen, in denen Regeln und Belohnungen sich ändern können, die Fähigkeit, die zugrunde liegende Struktur zu verstehen, ein primäres Werkzeug für das Überleben ist – eines, nach dem das Gehirn frühzeitig und oft greift.