🧬 biology

Brain alignment of reasoning and action representations from vision-language and action models during naturalistic gameplay

Diese Studie zeigt, dass das Feinabstimmen von Fundamentalm odellen für Handlungen (LAMs) versus für Schlussfolgerungen (VLMs) während natürlicher Spielphasen zu unterschiedlichen Mustern der Gehirnabstimmung führt, wobei LAMs asymmetrische, handlungsspezifische Repräsentationen in fronto-motorischen Regionen aufweisen, während beide Modelle Reinforcement-Learning-Baselines übertreffen, wobei die Verbesserungen entlang der kortikalen Verarbeitungshierarchie skalieren.

Ursprüngliche Autoren: Subba Reddy Oota, Anant Khandelwal, Khushbu Pahwa, Satya Sai Srinath Namburi, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Subba Reddy Oota, Anant Khandelwal, Khushbu Pahwa, Satya Sai Srinath Namburi, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten eine Gruppe von Menschen, die ein klassisches Arcade-Videospiel (wie Pac-Man oder Space Invaders) spielen, während sie sich in einer riesigen MRT-Maschine befinden. Diese Maschine fungiert wie eine hochempfindliche Kamera, die alle paar Sekunden Bilder ihrer Gehirne aufnimmt und zeigt, welche Bereiche aufleuchten, wenn sie den Bildschirm sehen, über ihren nächsten Zug nachdenken und die Tasten drücken.

Das Ziel dieses Papers ist es zu untersuchen, ob moderne KI-Computer das Spiel auf eine Weise „denken", die der menschlichen Gehirntätigkeit ähnelt.

Hier ist die Aufschlüsselung der Studie mit einfachen Analogien:

1. Die Spieler: Drei Arten von „Mündern"

Die Forscher verglichen drei verschiedene Arten von „Mündern", die versuchten, das Spiel zu verstehen:

Der Old-School-Roboter (RL-Baselines): Dies sind traditionelle KI-Agenten, die ausschließlich durch Versuch und Irrtum darauf trainiert wurden, zu gewinnen. Sie sind wie ein Hund, der lernt, einen Hebel für eine Belohnung zu drücken; sie wissen, was zu tun ist, aber sie „verstehen" die Spielwelt oder die Regeln nicht wirklich.
Der Generalist-Beobachter (VLMs): Dies sind moderne KI-Modelle (Vision-Language-Modelle), die das Internet gelesen und Millionen von Videos gesehen haben. Sie sind wie ein sehr kluger Tourist, der das Spiel beschreiben, die Regeln erklären und über die Grafik sprechen kann, aber nicht unbedingt darauf trainiert wurde, es perfekt zu spielen.
Der Action-Spezialist (LAMs): Diese sind dem Generalisten ähnlich, wurden jedoch speziell auf riesige Datenmengen darüber „feinabgestimmt" oder trainiert, wie man Computer steuert und Spiele spielt. Sie sind wie ein professioneller Gamer, der die Bedienelemente so oft geübt hat, dass sie zur zweiten Natur geworden sind.

2. Das Experiment: Der „Prompt"-Trick

Die Forscher ließen die KI nicht nur auf den Bildschirm schauen. Sie gaben ihnen spezifische Anweisungen oder „Prompts", um zu sehen, wie sich dies auf ihr Denken auswirkte:

Der „Action"-Prompt: „Was ist Ihr nächster Zug und warum?" (Fokus auf das Tun).
Der „Reasoning"-Prompt: „Was passiert im Spiel, was sind die Ziele und was sind die Bedrohungen?" (Fokus auf das Verstehen).

Dann verglichen sie die internen „Gedanken" der KI (digitale Repräsentationen) mit den menschlichen Gehirnscans, um festzustellen, welche KI besser mit dem menschlichen Gehirn übereinstimmte.

3. Die großen Entdeckungen

Entdeckung A: Die neue KI ist den Menschen viel näher
Die „Old-School-Roboter" waren in Ordnung, aber die modernen KI-Modelle (sowohl der Generalist als auch der Action-Spezialist) waren viel besser darin, menschliche Gehirnaktivität zu matchen.

Analogie: Stellen Sie sich vor, Sie versuchen zu erraten, was ein Mensch denkt. Der alte Roboter rät basierend auf einfachen Mustern. Die neue KI rät basierend auf einem reichen Verständnis der Geschichte, der Objekte und der Ziele. Die „Vermutung" der neuen KI entspricht der tatsächlichen Aktivität des menschlichen Gehirns viel genauer.

Entdeckung B: Der „Denk"-Boost geschieht in den „Planungs"-Teilen des Gehirns
Als die Forscher die „Action"- oder „Reasoning"-Prompts verwendeten, wurde die Übereinstimmung der KI mit dem menschlichen Gehirn noch besser. Doch diese Verbesserung war nicht überall gleich.

Analogie: Denken Sie an das Gehirn wie an eine Stadt. Der „Early Visual Cortex" ist das vordere Tor, wo die Menschen das Spiel zum ersten Mal sehen. Die „Frontal-Parietal"-Bereiche sind das Rathaus, in dem Planung und Entscheidungsfindung stattfinden.
Die Prompts halfen der KI, das menschliche Gehirn in der „Rathaus"-Umgebung (Planungs-/Entscheidungsbereiche) zweimal so stark zu matchen wie am „Vorderen Tor" (visuelle Bereiche). Dies deutet darauf hin, dass Menschen beim Spielen nicht nur Pixel sehen; sie sind stark in Planung und Schlussfolgerung involviert, und die KI-Modelle erfassen dies am besten, wenn sie aufgefordert werden, darüber nachzudenken.

Entdeckung C: Die „Symmetrie"- vs. „Asymmetrie"-Überraschung
Dies ist die interessanteste Erkenntnis. Obwohl der Generalist (VLM) und der Action-Spezialist (LAM) insgesamt gleich gut darin waren, die Gehirnaktivität vorherzusagen, taten sie dies auf sehr unterschiedliche Weise.

Der Generalist (VLM) ist ausgewogen: Wenn Sie ihn bitten zu „Reasoning" oder zu „Action", nutzt er seine geistige Kraft für beides ungefähr gleichmäßig. Er ist wie ein Schweizer Taschenmesser, das gleichermaßen gut darin ist, eine Flasche zu öffnen oder ein Seil zu durchschneiden.
Der Action-Spezialist (LAM) ist verzerrt: Wenn Sie den Action-Spezialisten bitten zu „Reasoning", hat er tatsächlich Schwierigkeiten, neuen Wert hinzuzufügen. Es scheint, dass sein Training zum „Action" bereits so viele Informationen absorbiert hat, dass das separate Auffordern zum „Reasoning" überflüssig ist.
Analogie: Stellen Sie sich den Action-Spezialisten wie einen Koch vor, der das gesamte Rezeptbuch auswendig gelernt hat. Wenn Sie ihn fragen: „Welche Zutaten benötigen Sie?" (Reasoning), wiederholt er einfach, was er bereits über das Kochen weiß (Action). Der „Reasoning"-Teil seines Gehirns wird überflüssig, weil sein „Action"-Training dies bereits abdeckt. Im menschlichen Gehirn zeigte sich dies so, dass das „Reasoning"-Signal des Action-Spezialisten die Vorhersage in den Planungsbereichen des Gehirns tatsächlich behinderte.

Entdeckung D: Die „Denk"-Spur ist schwächer
Die Forscher untersuchten auch eine neuere Art von KI, die „laut denkt" (eine Gedankenkette generiert, bevor sie antwortet). Überraschenderweise war der Teil der KI, der den „Denk"-Text generierte, weniger dem menschlichen Gehirn ähnlich als der Teil, der einfach die endgültige Antwort gab.

Analogie: Es ist wie beim Beobachten, wie jemand ein Puzzle löst. Der letzte Zug, den sie machen, entspricht der Bewegung, wie ein Mensch seine Hand bewegen würde. Aber der innere Monolog, den sie während des Lösens sagen („Hmm, vielleicht sollte ich das versuchen..."), entspricht der Aktivität des menschlichen Gehirns nicht so gut wie die endgültige Entscheidung.

Zusammenfassung

Das Paper zeigt, dass moderne KI-Modelle immer besser darin werden, zu simulieren, wie Menschen während Spielen denken und planen. Allerdings verändert das bloß Besser-Machen einer KI darin, Dinge zu tun (Action), ihre interne Struktur auf eine spezifische Weise: Es lässt „Reasoning" und „Action" so stark überlappen, dass sie in den Planungszentren des Gehirns ununterscheidbar werden. Dies hilft Wissenschaftlern zu verstehen, dass, obwohl KI und Menschen möglicherweise die gleiche „Punktzahl" (Vorhersagegenauigkeit) erreichen, die Art und Weise, wie ihre internen „Gehirne" organisiert sind, grundlegend unterschiedlich sein kann.

Technische Zusammenfassung: Gehirn-Alignment von Denk- und Handlungsrepräsentationen im natürlichen Spielkontext

Problemstellung

Das Verständnis dafür, wie Menschen und künstliche Intelligenzsysteme durch Interaktion mit der Umwelt Vorhersagen treffen und planen, ist eine zentrale Herausforderung an der Schnittstelle von Neurowissenschaft und maschinellem Lernen. Während frühere Studien zur Gehirn-Codierung künstliche Modelle erfolgreich mit Gehirnaktivität während passiver Sprachverarbeitung oder visueller Verarbeitung in Einklang gebracht haben, blieb die Forschung zum Gehirn-Alignment in interaktiven Szenarien weitgehend auf Verstärkungslernende (RL) Agenten und theoriebasierte Modelle beschränkt. Diese traditionellen Modelle sind für reward-basiertes Handlungslearning optimiert und kodieren primär handlungsbezogene Merkmale, wodurch sie möglicherweise die reichhaltigeren perzeptuellen, semantischen und prädiktiven Strukturen verpassen, die Menschen zur Repräsentation von Objekten, Beziehungen und zukünftigen Ergebnissen nutzen.

Diese Arbeit schließt diese Lücke, indem sie untersucht, ob moderne Foundation-Modelle – insbesondere Vision-Language-Modelle (VLMs) und Large-Action-Modelle (LAMs) – interne „Weltmodelle" erwerben, die mit menschlicher Gehirnaktivität während natürlichen, interaktiven Spielens übereinstimmen. Die Studie zielt darauf ab zu bestimmen, wie handlungs- und denkorientierte Prompts die Modellrepräsentationen prägen und ob diese Repräsentationen die neuronalen Berechnungen, die menschlichem adaptivem Verhalten zugrunde liegen, besser erfassen als traditionelle RL-Baselines.

Methodik

Datensatz und experimenteller Aufbau

Die Studie nutzt einen natürlichen Atari-artigen Videospieldatensatz, der fMRT-Aufzeichnungen von 32 gesunden Teilnehmern enthält, die sechs verschiedene Spiele spielten. Die Daten wurden vorverarbeitet und auf die kortikale Oberfläche („fsaverage6") projiziert, wobei die Analyse auf 11 Regionen von Interesse (ROIs) fokussiert war, die frühe visuelle, fronto-parietale und motorplanende Bereiche umfassen.

Evaluierte Modelle

Die Autoren evaluierten zwei Familien von Foundation-Modellen zusammen mit zwei RL-Baselines:

Vision-Language-Modelle (VLMs): Qwen2.5-VL-7B-Instruct und InternVL3-8B. Diese Modelle verarbeiten visuelle Spielframes und Text-Prompts, um Schlussfolgerungen zu ziehen.
Large-Action-Modelle (LAMs): UI-TARS-7B-DPO und OS-Atlas-Pro-7B. Diese Modelle wurden von Qwen2-VL auf GUI- und Spielinteraktions-Trajektorien feinabgestimmt und speziell für Handlungsplanung und -ausführung optimiert.
Baselines: EMPA (ein theoriebasierter RL-Agent) und D-DQN (ein Deep Q-Network).

Prompt-Bedingungen

Um verschiedene kognitive Modi zu untersuchen, wurden die Modelle unter drei Bedingungen getestet:

Kein Prompt: Modelle erhielten nur Spielframes.
Handlungs-Prompt: Modelle wurden aufgefordert, sich für eine nächste Aktion mit einer kurzen Begründung festzulegen.
Denk-Prompt: Modelle wurden aufgefordert, Spielziele, räumliche Beziehungen und Ziele zu beschreiben, ohne sich notwendigerweise auf eine unmittelbare Aktion festzulegen.

Codierung und Analyse

Merkmalsextraktion: Repräsentationen der versteckten Zustände wurden aus allen Transformer-Schichten unter Verwendung eines gleitenden Fensters aktueller Frames extrahiert, um die zeitliche Auflösung der fMRT (TR = 2 s) zu entsprechen.
Voxelweise Codierung: Bootstrap-Ridge-Regression-Modelle wurden trainiert, um fMRT-Antworten aus Modellrepräsentationen vorherzusagen. Die Leistung wurde mittels des Pearson-Korrelationskoeffizienten (PCC) gemessen.
Varianzpartitionierung: Ein statistischer Ansatz wurde verwendet, um die erklärte Varianz ( $R^2$ ) in Komponenten zu zerlegen, die zwischen Handlungs- und Denk-Prompts geteilt werden, und in Komponenten, die für jeden Prompt-Typ einzigartig sind. Dies ermöglichte den Autoren, zwischen Modellen zu unterscheiden, die ähnliche Informationen kodieren, und solchen mit qualitativ unterschiedlichen repräsentationalen Organisationen.
Analyse des Denkmodus: Eine Vorstudie an Qwen3.5 verglich das Gehirn-Alignment seiner expliziten Denkspuren (Chain-of-Thought) mit seinen finalen Aktionsausgaben.

Hauptergebnisse

1. Foundation-Modelle übertreffen RL-Baselines

Sowohl VLMs als auch LAMs schnitten bei der voxelweisen Gehirn-Codierung deutlich besser ab als klassische RL-Baselines (EMPA und D-DQN), selbst wenn die Merkmalsdimensionen angeglichen wurden (z. B. auf 8 Dimensionen reduziert).

Leistung ohne Prompt: VLMs erreichten $r \approx 0,264$ und LAMs $r \approx 0,271$ , verglichen mit EMPA ( $r=0,162$ ) und D-DQN ( $r=0,097$ ).
Prompt-Effekte: Explizite Prompts verbesserten das Alignment für beide Modellfamilien weiter, wobei promptierte VLMs $r \approx 0,358$ und LAMs $r \approx 0,348$ erreichten.

2. Kortikale Hierarchie prompt-getriebener Gewinne

Die Verbesserung des Gehirn-Alignments durch Prompts war im Gehirn nicht einheitlich.

Fronto-parietale und motorische Regionen: Die größten Gewinne wurden in höherordentlichen Regionen beobachtet, die an Planung und Entscheidungsfindung beteiligt sind, insbesondere im mittleren Frontalgyrus (MFG), im supplementären motorischen Areal (SMA), im inferior-frontalen Gyrus (IFG) und im Angulargyrus (AG).
Visueller Kortex: Frühe visuelle Regionen zeigten Gewinne in etwa der Hälfte der Größenordnung frontaler Regionen.
Bedeutung: Diese Hierarchie deutet darauf hin, dass Prompts primär Repräsentationen verbessern, die mit Zielen, Planung und dem „Multiple-Demand"-Netzwerk zusammenhängen, und nicht nur mit der niedrigstufigen visuellen Verarbeitung.

3. Qualitative Dissociation durch Varianzpartitionierung

Während VLMs und LAMs über das gesamte Gehirn hinweg statistisch äquivalente rohe Vorhersagegenauigkeit erreichten, enthüllte die Varianzpartitionierung einen grundlegenden Unterschied in ihrer internen Organisation:

VLMs (Prompt-symmetrisch): Die von Handlungs-Prompts ( $12,5\%$ ) und Denk-Prompts ( $13,6\%$ ) beigetragene einzigartige Varianz war ausgeglichen.
LAMs (Handlungs-asymmetrisch): Handlungs-Prompts trugen signifikant mehr einzigartige Varianz ( $27\%$ ) bei als Denk-Prompts, die im gesamten Gehirn und im fronto-motorischen Kortex eine negative einzigartige Varianz ( $-5\%$ ) beitrugen.
Interpretation: Bei LAMs scheint die handlungsspezifische Feinabstimmung Repräsentationen so neu zu organisieren, dass das „Denk"-Signal in motorplanenden Regionen redundant oder rauschartig wird, da die Handlungssupervision die notwendigen Informationen bereits umfasst. Diese Dissociation ist auf der Ebene der rohen Genauigkeit unsichtbar, aber in der Varianzzerlegung klar erkennbar.

4. Asymmetrie des Denkmodus

In der Voranalyse von Qwen3.5 zeigte die finale Aktionsausgabe des Modells ein deutlich höheres Gehirn-Alignment ( $r=0,355$ ) als seine explizite Denkspur ( $r=0,173$ ). Diese Lücke bestand auch nach Kontrolle der Ausleseposition fort, was darauf hindeutet, dass explizite Chain-of-Thought-Denkspuren in aktuellen Denkmodus-Modellen möglicherweise nicht so eng mit menschlichen neuronalen Dynamiken übereinstimmen wie die finale Aktionsfestlegung des Modells.

Bedeutung und Behauptungen

Die Arbeit behauptet, die Forschung zum Gehirn-Alignment von passiver Wahrnehmung auf interaktives Spielen auszudehnen und bietet die erste systematische Evaluation moderner VLMs und LAMs in diesem Setting. Die Hauptbeiträge sind:

Überlegene repräsentationale Reichhaltigkeit: Multimodale Foundation-Modelle kodieren mehr gehirnrelevante Informationen über dynamische Spielumgebungen als traditionelle, auf Aufgaben optimierte RL-Agenten.
Prompt-konditionierte Neuorganisation: Die Studie zeigt, dass Prompts Modellrepräsentationen verschieben können, um besser mit menschlicher Gehirnaktivität übereinzustimmen, insbesondere in höherordentlichen kognitiven Regionen.
Dissociation von Handlung und Denken: Die Arbeit enthüllt, dass handlungsspezifische Feinabstimmung (LAMs) multimodale Repräsentationen grundlegend hin zu handlungsrelevanten neuronalen Berechnungen neu organisiert und eine prompt-asymmetrische Struktur schafft, die sich von allgemeinen VLMs unterscheidet. Diese Unterscheidung ist nur durch Varianzzerlegung, nicht aber durch rohe Genauigkeit erkennbar.
Evaluation von Weltmodellen: Durch den Kontrast von denk- und handlungsorientierten Prompts operationalisiert die Studie die Trennung zwischen „Verstehen der Umwelt" und „Festlegung auf Aktionen" und zeigt, dass diese Unterscheidung auf qualitativ unterschiedliche repräsentationale Strukturen in KI-Modellen abbildet.

Die Autoren schließen, dass diese Erkenntnisse neue Richtungen für die Untersuchung eröffnen, wie Foundation-Modelle die strukturierten, prädiktiven Repräsentationen kodieren, die adaptivem Verhalten zugrunde liegen, und verweisen dabei auf Einschränkungen bezüglich der getesteten spezifischen Modellfamilien und den vorläufigen Charakter der Analyse des Denkmodus.