Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour
Diese Studie stellt die traditionelle Dichotomie zwischen modellbasiertem und modellfreiem Lernen in der Suchtforschung infrage, indem sie aufzeigt, dass Individuen mit Substanzgebrauchsstörungen ein irrationales Lernen aufweisen, das durch eine ressourcenrationale Verschiebung hin zu vereinfachten, wiederverwendbaren Nachfolgemerkmalen gekennzeichnet ist, um kognitive Kosten zu minimieren, selbst wenn dies zu Lasten der Belohnungsmaximierung geht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich Ihr Gehirn als eine superintelligente Videospielkonsole vor, die gleichzeitig tausende verschiedene Spiele spielen muss. Einige Spiele sind einfach, wie ein Spiel „Schere, Stein, Papier“, bei dem man sich einfach nur merkt, dass „Stein Schere besiegt“. Andere sind komplexe Strategieabenteuer, bei denen man die ganze Welt kartieren, vorausberechnen muss, wie sich jeder Gegner bewegen wird, und zehn Schritte im Voraus planen muss. Lange Zeit glaubten Wissenschaftler, unser Gehirn stecke in einem Tauziehen zwischen diesen beiden Stilen fest: dem „faulen“ Stil, der einfach nur auswendig lernt, was früher funktioniert hat (Model-Free), und dem „fleißigen“ Stil, der eine mentale Landkarte der Welt aufbaut, um vorauszuplanen (Model-Based). Sie glaubten, dass das Gehirn bei einer Suchterkrankung faul wird und aufhört zu planen, indem es sich auf alte Gewohnheiten verlässt. Aber was wäre, wenn das Gehirn nicht einfach nur faul oder fleißig ist? Was wäre, wenn es eigentlich versucht, ein genialer Buchhalter zu sein, der ständig berechnet, wie viel „Gehirnleistung“ (oder kognitiver Aufwand) eine Entscheidung kostet im Vergleich zu dem „Spaß“ (Belohnung), den sie zurückgibt? Dies ist die Welt der „Ressourcen-Rationalität“, eine schicke Art zu sagen, dass unsere Gehirne immer versuchen, das beste Geschäft für den geringsten mentalen Aufwand zu bekommen.
Lassen Sie uns nun in eine neue Studie der Forscher Ru-Yuan Zhang und seines Teams eintauchen, die beschlossen haben, diese Idee an einer Gruppe von Menschen mit Substanzgebrauchsstörungen (SUD) und einer Gruppe von gesunden Freiwilligen zu testen. Sie ließen sie nicht einfach nur ein Spiel spielen; sie warfen sie in einen massiven, mehrstufigen Dungeon-Crawler. Stellen Sie sich ein Schloss mit einer baumartigen Karte vor. In jeder Runde ändern sich die „Marktpreise“ für drei Ressourcen – Holz, Stein und Eisen. Ihr Ziel ist es, einen Pfad durch das Schloss zu wählen, um basierend auf diesen Preisen die wertvollsten Ressourcen zu sammeln. Der Clou dabei? Die Preise ändern sich jedes Mal, was vier verschiedene „Aufgaben“ oder Spiele innerhalb desselben Schlosses erzeugt. Um groß zu gewinnen, müssen Sie die Anordnung des Schlosses lernen und Ihren Pfad schnell anpassen, sobald sich die Preise ändern.
Die Forscher fanden etwas Überraschendes heraus, das die alte „faul vs. fleißig“-Regel bricht. Als sie beobachteten, wie die Menschen spielten, sahen sie, dass weder der „faule“ gewohnheitsbasierte Stil noch der „fleißige“ kartenaufbauende Stil das Geschehen vollständig erklären konnte. Stattdessen schien jeder einen klugen Mittelweg-Strategie namens „Successor Features“ zu nutzen. Stellen Sie sich das wie das Lernen des „Vibes“ eines Raumes vor, anstatt jeden einzelnen Schritt auswendig zu lernen. Man lernt, dass „Raum A meistens zu einem Haufen Holz führt“ und „Raum B meistens zu Stein führt“, und man kann diese „Vibes“ kombinieren und mischen, um neue Preisrätsel zu lösen, ohne die gesamte mentale Landkarte von Grund auf neu erstellen zu müssen.
Doch die Geschichte nimmt eine Wendung, wenn man sich die Gruppe mit Suchterkrankung ansieht. Während die gesunden Spieler diese „Vibes“ nutzten, um flexibel die Strategien zu wechseln und den besten Pfad für jeden neuen Preis zu finden, blieben die Spieler mit Suchterkrankungen stecken. Sie empfanden den mentalen Aufwand, der zum Wechseln der Strategien nötig war, als zu teuer. Also nahmen sie einen „Einheitsansatz“ an. Unabhängig davon, wie die Preise waren, liefen sie immer wieder in denselben Raum (Raum 4), weil es der am einfachsten zu merkende Pfad war, selbst wenn das bedeutete, dass sie viel Geld verloren. Die Studie legt nahe, dass dies nicht daran lag, dass sie nicht in der Lage waren, die Karte zu lernen, sondern weil ihre Gehirne hyperempfindlich gegenüber den „Kosten“ des Denkens waren. Sie waren bereit, Belohnungen zu opfern, nur um mentale Energie zu sparen.
Die Forscher bauten ein Computermodell, das wie ein „Gehirn-Buchhalter“ fungiert und die Belohnung gegen den mentalen Aufwand abwägt. Dieses Modell, das sie „Resource-Rational Successor Feature“ (RRSF)-Modell nannten, war das einzige, das das Verhalten beider Gruppen perfekt vorhersagen konnte. Es zeigte, dass die Gruppe mit Suchterkrankung eine viel höhere „Kostenempfindlichkeit“ hatte – sie fühlten den mentalen Aufwand des Strategiewechselss als eine enorme Belastung, wessoeben sie an einem einfachen Standardplan festhielten. Die Studie fand auch heraus, dass je schwerwiegender die Suchtsymptome einer Person waren, desto eher dazu neigten sie, mentalen Aufwand zu vermeiden und an ihren starren, suboptimalen Pfaden festzuhalten.
Kurz gesagt deutet diese Arbeit darauf hin, dass Sucht nicht nur ein kaputtes „Planungssystem“ oder ein kaputtes „Gewohnheitssystem“ ist. Es geht vielmehr um ein Gehirn, das bei seiner mentalen Energie zu geizig geworden ist. Es ist wie ein Gamer, der, anstatt die neuen Level zu lernen, einfach immer wieder dieselbe Taste drückt, weil sich die neuen Level zu erschöpfend anfühlen, um sie zu durchschauen. Die Studie untersuchte dieses Verhalten bei 83 Menschen mit Substanzgebrauchsstörungen und 45 gesunden Kontrollpersonen und stellte fest, dass das „faule“ Verhalten eigentlich ein kalkulierter, wenn auch maladaptiver Versuch war, kognitiven Aufwand zu sparen. Diese neue Perspektive hilft uns zu verstehen, dass die starren, repetitiven Verhaltensweisen, die bei Sucht auftreten, eigentlich der Versuch des Gehirns sind, sich vor Überforderung zu schützen, selbst wenn das bedeutet, die besten Belohnungen zu verpassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.