Language-aligned models and structured scene descriptions reveal sensitivity to compositional scene structure in the high-level visual cortex
Unter Verwendung von 7T-fMRT-Daten und sprachlich ausgerichteten Modellen zeigt diese Studie, dass der hochgradig visuelle Kortex empfindlich auf die kompositorische Struktur natürlicher Szenen reagiert und nicht nur auf das gemeinsame Auftreten von Objekten, was darauf hindeutet, dass eine sprachliche Überwachung künstlichen Visionsmodellen helfen kann, ähnliche strukturierte Repräsentationen zu entwickeln.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Ihr Gehirn wäre eine riesige, belebte Bibliothek. Lange Zeit glaubten Wissenschaftler, dass der „visuelle Bereich“ dieser Bibliothek lediglich ein riesiger Aktenschrank für einzelne Objekte sei. Wenn Sie einen Hund, ein Auto oder einen Baum sahen, würde ein bestimmtes Regal aufleuchten, um zu sagen: „Hey, wir haben hier einen Hund!“ Aber was passiert, wenn der Hund das Auto jagt oder der Baum das Auto verdeckt? Prüft das Gehirn nur eine Liste von Gegenständen ab, oder liest es tatsächlich die Geschichte darüber, wie diese zusammenpassen? Diese Frage steht im Zentrum eines Feldes namens kognitive Neurowissenschaft, in dem Forscher versuchen, die Geheimsprache unserer Gedanken und Sinne zu entschlüsseln. Sie nutzen leistungsstarke Werkzeuge wie das fMRT (funktionelle Magnetresonanztomographie), das wie eine High-Tech-Kamera fungiert, die sehen kann, welche Teile des Gehirns „sprechen“, wenn man etwas betrachtet. Das große Rätsel ist, ob das visuelle Zentrum unseres Gehirns klug genug ist, um die Beziehungen zwischen den Dingen zu verstehen, oder ob es nur ein Listenmacher ist, dem nur wichtig ist, welche Objekte vorhanden sind.
Ein Team von Forschern beschloss, diesen Code zu knacken, indem es das Gehirn wie einen Detektiv und die Sprache wie eine Lupe behandelte. Sie nutzten Daten von acht Personen, deren Gehirne gescannt wurden, während sie 10.000 verschiedene natürliche Szenen betrachteten. Um die Fähigkeit des Gehirns zu testen, „Geschichten“ statt nur „Listen“ zu verstehen, entwarfen sie ein kluges Experiment. Für jedes Bild ließen sie eine KI einen vollständigen, grammatikalisch korrekten Satz schreiben, der genau beschrieb, was gerade passierte (z. B. „Eine Person jagt einen Hund in einem Park“). Dann nahmen sie denselben Satz und würfelten ihn in einen zufälligen Haufen von Wörtern (z. B. „Park, Hund, Person, jagend, in, eine“). Beide Versionen enthielten exakt dieselben Wörter, aber nur die erste erzählte eine kohärente Geschichte mit einer klaren Struktur.
Die Ergebnisse waren eine faszinierende Enthüllung. Als die Forscher versuchten vorherzusagen, was das Gehirn tat, basierend auf diesen Beschreibungen, sagte der ungeordnete „Wortsalat“ die Gehirnaktivität immer noch voraus, war jedoch deutlich weniger genau als die vollständigen, strukturierten Sätze. Die strukturierten Sätze lieferten eine viel bessere Übereinstimmung mit der Gehirnaktivität, insbesondere in den höheren Bereichen, die für das Erkennen von Gesichtern, Orten und Körpern zuständig sind. Es stellt sich heraus, dass das Gehirn nicht nur ein Listenmacher ist; es ist ein Geschichtenerzähler. Es legt großen Wert darauf, wie die Teile zusammenpassen. Die Forscher testeten dies auch mit Computermodellen. Sie fanden heraus, dass KI-Modelle, die darauf trainiert wurden, sowohl Bilder als auch Sprache zu verstehen, viel besser darin waren, die Gehirnaktivität zu erraten, als Modelle, die nur Bilder betrachteten. Dies deutet darauf an, dass Sprache dem Gehirn (und vielleicht auch der KI) hilft, die visuelle Welt in bedeutungsvolle Verbindungen zu organisieren, statt nur in ein Durcheinander von Objekten.
Um sicherzustellen, dass es nicht nur darum ging, dass die Sätze „flüssig“ oder grammatikalisch korrekt klangen, wandte das Team einen zweiten Trick an. Sie nahmen die Schlüsselwörter aus der ursprünglichen Geschichte und baten eine KI, einen neuen grammatikalisch korrekten Satz unter Verwendung nur dieser Wörter zu schreiben. Obwohl dieser neue Satz grammatikalisch perfekt war, sagte er die Reaktion des Gehirns nicht so gut voraus wie die ursprüngliche, bildspezifische Geschichte. Dies bewies, dass das Gehirn nicht einfach froh ist, irgendeinen gut geformten Satz zu hören; es sehnt sich spezifisch nach den einzigartigen, strukturierten Beziehungen, die in der tatsächlichen Szene existieren. Die Studie legt nahe, dass der hochgradige visuelle Kortex empfindlich auf die „kompositionelle Struktur“ einer Szene reagiert – die spezifische Art und Weise, wie Akteure, Handlungen und Räume organisiert sind. Es reicht nicht aus zu wissen, dass ein Hund und eine Person da sind; das Gehirn muss wissen, wer wen jagt, um die Szene wirklich zu „sehen“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.