Neural tracking of surprisal and semantic distance in naturalistic movie viewing
Unter Verwendung von fMRT-Daten von Probanden, die einen Spielfilm betrachteten, zeigt diese Studie, dass das menschliche Gehirn sowohl Surprisal als auch semantische Distanz als einzigartige Prädiktoren der neuronalen Aktivität in bilateralen temporalen und frontalen Regionen während der natürlichen audiovisuellen Sprachkomprehension verfolgt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Wenn wir einer Geschichte zuhören, sind unsere Gehirne nicht bloß passive Aufzeichnungsgeräte für Schall; sie sind aktive Vorhersager, die ständig erraten, was als Nächstes kommt, basierend auf dem, was wir bereits gehört haben. Dieser Prozess stützt sich auf zwei unterschiedliche, aber verwandte mentale Werkzeuge. Das erste ist ein Gefühl der Wahrscheinlichkeit: Wie wahrscheinlich ist es, dass das nächste Wort erscheint, gegeben die Wörter, die zuvor kamen? Wenn ein Satz endet mit „Der Himmel ist“, erwartet unser Gehirn stark das Wort „blau“, und das Eintreffen dieses Wortes fühlt sich nicht überraschend an. Wenn der Satz endet mit „Der Himmel ist“ und das nächste Wort ist „Banane“, wird das Gehirn überrumpelt. Dieses Gefühl, überrumpelt zu werden, ist als „Surprisal“ (Überraschungswert) bekannt. Das zweite Werkzeug ist ein Maß für die Bedeutung, oder wie eng ein aktuelles Wort mit den Ideen verwandt ist, die wir gerade verarbeitet haben. Selbst wenn ein Wort nicht das statistisch wahrscheinlichste ist, kann es dennoch perfekt zum Thema des Gesprächs passen. Zu verstehen, wie das Gehirn diese zwei verschiedenen Arten von Informationen – statistische Wahrscheinlichkeit und semantische Verwandtschaft – nutzt, um Sprache sinnvoll zu erfassen, ist eine zentrale Frage der Neurowissenschaft, insbesondere wenn wir in eine reichhaltige, reale Umgebung wie das Anschauen eines Films vertieft sind.
Ein Forschungsteam setzte sich zum Ziel zu untersuchen, wie das menschliche Gehirn diese zwei spezifischen Signale verfolgt, während Menschen einen Spielfilm ansehen. Sie rekrutierten zwanzig Erwachsene, die den Film 500 Days of Summer aus dem Jahr 2009 noch nie gesehen hatten, und baten sie, den gesamten Film, der etwas mehr als neunzig Minuten dauert, zu sehen, während sie in einem funktionellen Magnetresonanztomographen lagen. Diese Maschine ermöglichte es den Wissenschaftlern, die Gehirnaktivität in Echtzeit zu beobachten, während sich die Geschichte entfaltete. Um zu verstehen, was das Geжуhirn gerade tat, zerlegten die Forscher zunächst die Audio- und Videospuren des Films in tausende winzige Datenpunkte. Sie maßen alles, von der Helligkeit des Bildschirms und der Kamerabewegung bis hin zur Lautstärke der Dialoge und der Häufigkeit spezifischer Wörter. Sie berechneten dann zwei komplexe Zahlen für jedes gesprochene Wort im Film: eine, die darstellte, wie überraschend dieses Wort basierend auf dem vorherigen Kontext war, und eine andere, die darstellte, wie semantisch fern oder nah dieses Wort zu den Wörtern war, die zuvor kamen.
Unter Verwendung einer ausgeklügelten Computermodellierungstechnik bauten die Forscher eine Serie von schrittweisen Vorhersagen auf, um zu sehen, welche dieser Datenpunkte die Muster der Gehirnaktivität am besten erklären konnten. Sie begannen mit den einfachsten Faktoren, wie den visuellen Veränderungen auf dem Bildschirm und der rohen Lautstärke des Schalls. Diese Basiseigenschaften sagten die Aktivität im hinteren Teil des Gehirns erfolgreich voraus, wo die visuelle Verarbeitung stattfindet, sowie in den Seiten des Gehirns, wo der Schall zuerst empfangen wird. Als sie komplexere linguistische Merkmale hinzufügten, wie etwa wie oft ein Wort im Allgemeinen verwendet wird oder wie viele ähnlich klingende Wörter existieren, verbesserten sich die Vorhersagen und breiteten sich auf Bereiche aus, die an Sprache und Gedächtnis beteiligt sind. Schließlich fügten sie die zwei Hauptvariablen hinzu: die statistische Überraschung der Wörter und ihre semantische Distanz. Die Ergebnisse zeigten, dass die Einbeziehung dieser zwei Faktoren die Fähigkeit, die Gehirnaktivität vorherzusagen, signifikant verbesserte, insbesondere im Gyrus temporalis superior, einer Region an den Seiten des Gehirns, die für die Sprachverarbeitung bekannt ist, und im linken Frontallappen.
Die kritischste Entdeckung war, dass diese zwei Faktoren nicht nur dieselbe Aufgabe erfüllten. Selbst nachdem die Forscher den Einfluss des einen Faktors berücksichtigt hatten, erklärte der andere immer noch einzigartige Veränderungen der Gehirnaktivität. Dies deutet darauf an, dass das Gehirn sowohl die statistische Wahrscheinlichkeit dessen, was als Nächstes kommt, als auch die konzeptionelle Beziehung zwischen Ideen gleichzeitig verfolgt, indem es zwei komplementäre Systeme nutzt. Obwohl beide Signale ähnliche Regionen in den Temporallappen aktivierten, zeigte die statistische Überraschung der Wörter auch eine einzigartige Verbindung zu einem spezifischen Bereich im Kleinhirn, einem Teil des Gehirns an der Basis des Schädels, der oft mit Koordination und Timing assoziiert wird. Dieser Befund deutet darauf hin, dass die Vorhersagemechanismen des Gehirns nuanciert sind und das „Was wahrscheinlich passieren wird“ und das „Was zur Bedeutung passt“ als separate, aber parallele Informationsströme handhaben.
Diese Ergebnisse sind bedeutsam, weil sie über die kontrollierten, ruhigen Umgebungen traditioneller Laborstudien hinausgehen. Frühere Forschungen zur Sprachvorhersage stützten sich oft auf Menschen, die isolierte Sätze hörten oder Texte in Stille lasen. Durch die Verwendung eines vollständigen Films demonstrierten die Forscher, dass das Gehirn selbst dann subtile linguistische Signale verfolgt, wenn es von komplexen visuellen Szenen, Musik und emotionaler Erzählweise bombardiert wird. Die Studie bestätigt, dass die Fähigkeit des Gehirns, Sprache zu antizipieren, robust ist und tief in die Art und Weise integriert ist, wie wir die Welt erleben, wobei sie selbst dann effektiv arbeitet, wenn der Input reichhaltig, multimodal und unvorhersehbar ist. Die Arbeit behauptet nicht, das gesamte Rätsel der Sprachverarbeitung gelöst zu haben, aber sie liefert starke Beweise dafür, dass unser Gehirn ständig zwei verschiedene Arten von Prüfungen bei den Wörtern durchführt, die wir hören, um sicherzustellen, dass wir nicht nur verstehen, was gesagt wird, sondern auch, warum es im Fluss der Geschichte von Bedeutung ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.