When word order matters: human brains represent sentence meaning differently from large language models

Die Studie zeigt anhand von 7T-fMRT-Daten, dass Transformer-Modelle die menschliche Gehirnrepräsentation von Satzbedeutung, die stark von der Wortstellung abhängt, nur unzureichend nachahmen und strukturell explizite Modelle deutlich übertreffen.

Das Wesentliche

Das große Rätsel: Denken Computer wie wir?

Stellen Sie sich vor, Sie haben zwei sehr unterschiedliche Bibliothekare:

1. Der menschliche Bibliothekar (Ihr Gehirn): Wenn er ein Buch liest, versteht er nicht nur die einzelnen Wörter, sondern auch, wie sie zusammengesetzt sind. Er weiß, wer was getan hat, wer es bekommen hat und in welcher Reihenfolge das passiert ist.
2. Der KI-Bibliothekar (ein modernes Sprachmodell wie ChatGPT): Er hat Milliarden von Büchern gelesen und kann sehr gut Texte schreiben. Aber die Frage der Forscher war: Versteht er die Sätze wirklich so wie wir, oder rechnet er nur mit Wahrscheinlichkeiten?

Die Forscher wollten herausfinden: Wenn wir einen Satz lesen, sieht das Bild in unserem Gehirn dem Bild im Computer-Modell ähnlich?

Das Experiment: Ein Wortspiel-Trick

Um das herauszufinden, haben die Forscher ein cleveres Spiel mit 108 Sätzen entwickelt. Stellen Sie sich das wie ein Wort-Sudoku vor.

Sie hatten einen Basissatz, zum Beispiel:

"Der Kameramann brachte die Ausrüstung zum Regisseur."

Dann haben sie diesen Satz auf verschiedene Arten verändert, aber immer mit demselben Vokabular (gleiche Wörter, andere Bedeutung):

• Variation A: Sie fügten nur ein Adjektiv hinzu (z. B. "die neue Ausrüstung"). Das ändert die Bedeutung kaum.
• Variation B (Der Trick): Sie tauschten die Rollen der Wörter aus.

  "Der Regisseur brachte den Kameramann zur Ausrüstung."

Hier sind fast alle Wörter gleich, aber die Bedeutung ist völlig anders! Im ersten Satz bringt der Kameramann etwas. Im zweiten bringt der Regisseur den Kameramann.

Das Ziel: Wenn ein Computermodell nur auf die Wörter schaut (wie ein Roboter, der nur die Buchstaben zählt), sollte er beide Sätze als fast identisch ansehen. Wenn er aber die Struktur versteht (wer tut was?), sollte er sie als sehr unterschiedlich ansehen – genau wie unser Gehirn.

Was sie gemessen haben

Die Forscher haben 30 Menschen in einen fMRI-Scanner (eine Art riesige Kamera für das Gehirn) gelegt. Diese Menschen haben die Sätze gelesen. Gleichzeitig haben die Forscher verschiedene Computermodelle die Sätze "lesen" lassen.

Dann haben sie verglichen:

• Wie ähnlich sehen die Gehirn-Aktivitäten bei zwei Sätzen aus?
• Wie ähnlich sehen die Computer-Ausgaben bei denselben zwei Sätzen aus?

Wenn Gehirn und Computer ähnlich denken, sollten die Ähnlichkeitsmuster übereinstimmen.

Die Ergebnisse: Ein Schock für die KI

Hier kommt der spannende Teil, der wie eine Überraschungsparty endete, bei der der Gast von Ehre (die KI) nicht so gut abgeschnitten hat wie erwartet:

1. Der "Wort-Zähler" (Mean-Modell): Dieses Modell ignoriert die Reihenfolge komplett. Es nimmt einfach alle Wörter, mischt sie wie einen Smoothie und schmeckt.

   • Ergebnis: Es war völlig falsch. Es dachte, die vertauschten Sätze wären fast gleich. Das Gehirn dachte das Gegenteil.

2. Der "Starke KI-Modell" (Transformer/LLMs wie GPT-4): Diese Modelle sind super schlau. Sie können Texte schreiben und Fragen beantworten.

   • Ergebnis: Sie waren besser als der "Wort-Zähler", aber immer noch schlecht. Auch sie haben die vertauschten Sätze (wo die Rollen getauscht wurden) als zu ähnlich eingestuft. Ihr Gehirn-Abbild war immer noch negativ korreliert – das heißt, sie dachten fast genau das Gegenteil von dem, was unser Gehirn dachte.
   • Die Metapher: Stellen Sie sich vor, Sie schauen einem KI-Modell zu, wie es einen Film sieht. Es erkennt die Schauspieler (die Wörter), aber es verwechselt ständig, wer der Held und wer der Bösewicht ist, weil es die Handlung (die Struktur) nicht wirklich "fühlt".

3. Der "Struktur-Experte" (Hybrid-Modell): Dieses Modell wurde speziell gebaut, um grammatikalische Rollen (Wer ist der Täter? Wer ist das Opfer?) explizit zu markieren.

   • Ergebnis: Das war der Gewinner! Dieses Modell passte am besten zu den Gehirnaktivitäten. Es zeigte, dass unser Gehirn Sätze nicht nur als Wort-Suppe versteht, sondern als strukturierte Bausteine, bei denen die Rolle eines Wortes entscheidend ist.

Was bedeutet das für uns?

Die Studie sagt uns zwei wichtige Dinge:

1. KI ist nicht menschlich (noch nicht): Dass KI-Modelle wie ChatGPT so gut Texte schreiben können, bedeutet nicht, dass sie die Sprache so verarbeiten wie unser Gehirn. Sie sind Meister im "Wahrscheinlichkeits-Raten", aber sie verstehen die tiefere Struktur von Sätzen nicht auf die gleiche Weise wie wir. Sie übersehen oft, dass ein Wortwechsel die ganze Bedeutung kippt.
2. Struktur ist König: Unser Gehirn ist extrem empfindlich dafür, wie Wörter angeordnet sind. Wenn wir "Der Hund beißt den Mann" lesen, ist das etwas ganz anderes als "Der Mann beißt den Hund", auch wenn die Wörter identisch sind. Unser Gehirn baut eine Art 3D-Karte der Beziehung zwischen den Wörtern auf.

Fazit

Stellen Sie sich vor, die KI ist ein genialer Übersetzer, der Wörter perfekt kennt, aber die Grammatik nur oberflächlich versteht. Unser Gehirn ist wie ein Architekt, der genau weiß, welche Ziegelsteine wo stehen müssen, damit das Haus (der Satz) steht.

Die Studie zeigt: Bislang bauen Computer die Häuser noch nicht so wie wir. Sie können die Ziegelsteine (Wörter) gut sortieren, aber das Fundament (die Struktur) fehlt ihnen noch im Vergleich zu unserem biologischen Gehirn.

Technische Zusammenfassung

Problemstellung

Die zentrale Forschungsfrage dieses Papers ist, ob Large Language Models (LLMs) auf Transformer-Architektur-Basis linguistische Bedeutungen auf eine Weise kodieren und verarbeiten, die der menschlichen Hirnaktivität entspricht. Während Transformer-Modelle (wie GPT-4, Llama) in der Lage sind, menschenähnliche Sprache zu generieren, ist unklar, ob ihre internen Repräsentationen von Satzstrukturen und semantischen Rollen mit den neuronalen Mustern im menschlichen Gehirn übereinstimmen.

Bisherige Studien verglichen oft Modelle mit Hirndaten unter Verwendung natürlicher Stimuli, die jedoch nicht spezifisch darauf ausgelegt waren, lexikalische Ähnlichkeit (Wortbedeutung) von struktureller Ähnlichkeit (Satzgrammatik und Wortstellung) zu trennen. Dies erschwert die Unterscheidung, ob Modelle die Bedeutung aufgrund von Wortinhalten oder aufgrund der syntaktischen Struktur verarbeiten.

Methodik

Die Studie kombiniert funktionale Magnetresonanztomographie (fMRI) mit einer umfassenden Modellvergleichsanalyse unter Verwendung von Repräsentational Similarity Analysis (RSA).

1. Stimuli-Design:

   • Es wurden 108 handgefertigte Sätze erstellt, die systematisch variiert wurden, um lexikalische Ähnlichkeit zu kontrollieren, während die Satzbedeutung durch Änderung der Wortstellung (Semantische Rollen) verändert wurde.
   • Ein zentrales Designelement sind „Block-diagonale" Satzpaare:
     • On-Diagonal: Sätze, bei denen Elemente hinzugefügt oder entfernt wurden.
     • Off-Diagonal (Swapped): Sätze, bei denen semantische Rollen (z. B. Subjekt und Objekt) ausgetauscht wurden (z. B. „Der Kameramann brachte die Ausrüstung zum Regisseur" vs. „Der Regisseur brachte den Kameramann zur Ausrüstung"). Diese Paare haben eine hohe lexikalische Ähnlichkeit, aber eine niedrige semantische Ähnlichkeit.

2. Experimentelles Design:

   • fMRI-Studie: 30 Teilnehmer lasen die 108 Sätze in einem 7-Tesla-fMRI-Scanner. Die Daten wurden mit GLMSingle verarbeitet, um die neuronale Antwort auf jeden Stimulus zu schätzen.
   • Verhaltensstudie: 502 Teilnehmer bewerteten die semantische Ähnlichkeit von 102 zufällig ausgewählten Satzpaaren auf einer Skala von 1–7.
   • Analyse: Es wurden Repräsentational Similarity Matrices (RSMs) für die Hirndaten (voxelweise) und für die Verhaltensdaten berechnet.

3. Vergleichsmodelle:
   Vier Klassen von Modellen wurden verglichen, um ihre RSMs mit den neuronalen und verhaltensbasierten RSMs zu korrelieren:

   • Mean-CN: Ein Baseline-Modell, das statische Wort-Embeddings (ConceptNet) einfach mittelt und somit Wortstellung ignoriert.
   • Transformer: Eine Aggregation von fünf verschiedenen Transformer-Modellen (z. B. OpenAI, Llama 3, ERNIE), die kontextuelle Embeddings nutzen.
   • Graph-Modelle: Basierend auf Abstract Meaning Representation (AMR) mit Ähnlichkeitsmetriken wie SMATCH und Weisfeiler-Lehman Kernel (WWLK).
   • Hybrid-Modell (VerbNet-CN): Ein Modell, das semantische Rollen (Agent, Patient, Thema etc.) explizit extrahiert (unterstützt durch GPT-4) und für jede Rolle separate Vektor-Embeddings erstellt, die dann gewichtet kombiniert werden.

4. Statistische Analyse:

   • Es wurde eine partielle Spearman-Korrelation zwischen den Modell-RSMs und den neuronalen RSMs berechnet, kontrolliert für Satzlänge.
   • Zwei Ansätze wurden verwendet: Durchschnitt der Einzelkorrelationen pro Teilnehmer und Korrelation mit einer gruppenmittelten RSM.

Wichtige Ergebnisse

1. Leistung der Modelle bei strukturell schwierigen Paaren:

   • Bei der Analyse aller Satzpaare zeigten alle Modelle positive Korrelationen, da lexikalische Unterschiede leicht zu erkennen sind.
   • Kritischer Befund: Bei den block-diagonalen Satzpaaren (hohe lexikalische, niedrige strukturelle Ähnlichkeit) zeigten sich drastische Unterschiede:
     • Das Mean-CN-Modell (ignoriert Struktur) hatte eine starke negative Korrelation ($\rho \approx -0.20$) mit dem Gehirn. Dies bedeutet, dass das Gehirn diese Sätze als sehr unterschiedlich wahrnimmt, während das Modell sie als ähnlich einstuft.
     • Transformer-Modelle zeigten eine leicht negative Korrelation ($\rho \approx -0.045$). Sie sind besser als Mean-CN, aber immer noch eine schlechte Übereinstimmung mit dem Gehirn. Sie bewerten „getauschte" Sätze (swapped) als zu ähnlich.
     • Das VerbNet-CN-Hybrid-Modell erreichte die höchste positive Korrelation ($\rho \approx 0.07$) mit dem Gehirn. Es unterscheidet „getauschte" Sätze korrekt als weniger ähnlich.
     • Das AMR-Smatch-Modell (Graph-basiert) zeigte ähnliche Ergebnisse wie VerbNet-CN, jedoch mit etwas geringerer Korrelation.

2. Regionale Spezifität:

   • Die Korrelationen waren im gesamten Sprachnetzwerk (Language Network) des Gehirns konsistent, mit besonders starken Effekten in den temporalen Regionen.
   • Ein unerwarteter Befund war ein „Minimum-Sentence-Length"-Effekt: Lange Sätze lösten unabhängig von ihrem Inhalt sehr ähnliche Hirnmuster aus, was auf eine kognitive Last oder visuelle Ähnlichkeit hindeutet.

3. Verhaltensdaten:

   • Die Ergebnisse der Verhaltensstudie spiegelten die fMRI-Ergebnisse wider, jedoch mit höheren absoluten Korrelationen aufgrund geringeren Rauschens.
   • Auch hier bewerteten Transformer-Modelle „getauschte" Sätze als zu ähnlich im Vergleich zu menschlichen Bewertungen, während das VerbNet-CN-Modell sogar etwas empfindlicher auf strukturelle Änderungen reagierte als die menschlichen Rater.

4. Schichtanalyse bei Llama 3:

   • Die Analyse der einzelnen Schichten von Llama 3 zeigte, dass frühe Schichten stark von Satzlänge und visueller Ähnlichkeit dominiert werden. Die Korrelation mit dem Gehirn verbesserte sich in mittleren Schichten, verschlechterte sich aber in den tieferen Schichten wieder.

Hauptbeiträge

1. Trennung von Lexik und Struktur: Die Studie liefert den ersten fMRI-basierten Nachweis, dass das menschliche Gehirn bei der Verarbeitung von Satzbedeutung stark auf die Satzstruktur und semantische Rollen reagiert, selbst wenn die lexikalische Ähnlichkeit hoch ist.
2. Limitierung von Transformern: Es wird gezeigt, dass Transformer-Modelle, trotz ihrer sprachlichen Kompetenz, keine „hirnähnliche" Repräsentation von Satzstruktur entwickeln. Sie sind weniger sensitiv für Änderungen der Wortstellung (semantische Rollen) als das menschliche Gehirn.
3. Überlegenheit strukturierter Modelle: Hybrid-Modelle, die explizit semantische Rollen kodieren (wie VerbNet-CN), passen sich besser an die neuronalen Daten an als reine Transformer- oder Graph-Modelle. Dies unterstreicht die Notwendigkeit, strukturelle Informationen explizit in semantischen Repräsentationen zu integrieren.
4. Neue Methodik: Die Entwicklung eines kontrollierten Stimulus-Sets, das lexikalische und strukturelle Ähnlichkeit systematisch entkoppelt, bietet einen neuen Standard für die Evaluierung von Sprachmodellen in der Neurowissenschaft.

Bedeutung und Implikationen

Die Ergebnisse werfen Zweifel an der Annahme auf, dass Transformer-Modelle als kognitive Modelle für die menschliche Sprachverarbeitung geeignet sind, insbesondere was die Integration von Syntax und Semantik angeht. Während Transformer-Modelle Wortbedeutungen kontextualisieren können, scheinen sie die strukturelle Komposition von Sätzen nicht auf die gleiche Weise zu verarbeiten wie das menschliche Gehirn.

Die Studie legt nahe, dass zukünftige Modelle der Sprachverarbeitung (sowohl in der KI als auch in der kognitiven Neurowissenschaft) explizite Mechanismen zur Kodierung semantischer Rollen und syntaktischer Beziehungen benötigen, um die menschliche Sprachverarbeitung adäquat abzubilden. Die Ergebnisse betonen zudem, dass die bloße Vorhersage von Brain-Activity-Scores (z. B. durch Voxel-Encoding) nicht ausreicht, um zu verstehen, welche Informationen kodiert werden; die Art der Repräsentation (Struktur vs. reine Statistik) ist entscheidend.