Beyond next-word prediction: hierarchical linguistic composition drives LLM-brain alignment in time

Durch die Manipulation linguistischer Merkmale in Sätzen mit abgestimmter Vorhersagbarkeit zeigt diese Studie, dass die hierarchische linguistische Komposition, insbesondere die syntaktische Struktur und die assoziative Semantik, die Ausrichtung zwischen LLM-Repräsentationen und menschlicher Gehirnaktivität maßgeblich vorantreibt, während die kompositionelle Semantik im menschlichen Gehirn einzigartiger kodiert zu sein scheint.

Das Wesentliche

Stellen Sie sich vor, Ihr Gehirn und ein superschlauer Computer (ein Large Language Model, oder LLM) hören beide einer vorgelesenen Geschichte zu. Wissenschaftler haben festgestellt, dass sich beim Zuhören die Gehirnwellen von Menschen in einem ähnlichen Rhythmus „tänzen" lassen wie die internen Berechnungen, die der Computer vornimmt. Doch warum? Liegt es nur daran, dass sowohl Gehirn als auch Computer gut darin sind, das nächste Wort vorherzusagen (wie beim Vervollständigen eines Satzes), oder gibt es etwas Tieferes darüber, wie sie die Struktur der Sprache verstehen?

Diese Arbeit behandelt Gehirn und Computer wie zwei verschiedene Köche, die versuchen, dasselbe Gericht nachzukochen. Die Forscher wollten wissen: Folgen sie einfach demselben Rezept, weil sie beide die Zutaten gut kennen (statistische Muster), oder verstehen sie den Kochprozess (hierarchische Komposition) tatsächlich auf dieselbe Weise?

Um dies herauszufinden, servierten das Team Sätze sowohl an menschliche Freiwillige (während sie deren Gehirnwellen mit einer EEG-Mütze aufzeichneten) als auch an ein Computermodell namens GPT-2. Sie passten die Sätze sorgfältig auf drei spezifische Arten an und stellten sicher, dass die „Vorhersagbarkeit" der Wörter gleich blieb, sodass der einzige Unterschied die Art der Bedeutung war:

1. Das „Grammatikgerüst" (syntaktische Struktur): Sie untersuchten Sätze mit klarer, organisierter Grammatik.

   • Das Ergebnis: Wenn die Sätze eine starke grammatikalische Struktur aufwiesen, stimmten die internen „Gedanken" des Computers und die menschlichen Gehirnwellen noch besser überein. Es ist, als würde man feststellen, dass sowohl der Koch als auch der Computer beim Schneiden von Gemüse dieselben spezifischen Messerfertigkeiten anwenden.

2. Die „Baustein-Bedeutung" (kompositionelle Semantik): Dies ist der Fall, wenn die Bedeutung einer Phrase streng aus den Bedeutungen ihrer Teile aufgebaut wird (wie bei „rotes Auto", das ein Auto bedeutet, das rot ist).

   • Das Ergebnis: Überraschenderweise sank die Übereinstimmung zwischen Computer und Gehirn, wenn die Sätze stark auf diese Art von Baustein-Bedeutung angewiesen waren. Es ist, als würde der menschliche Koch eine geheime Familientechnik anwenden, die der Computer einfach nicht besitzt. Das menschliche Gehirn scheint diese spezifische Art von Bedeutung auf eine einzigartige Weise zu verarbeiten, die der Computer nicht ganz nachahmt.

3. Die „Wortassoziation" (assoziative Semantik): Dies ist der Fall, wenn Wörter durch lose Verbindungen oder Gewohnheiten verknüpft sind (wie an „Butter" zu denken, wenn man „Brot" hört).

   • Das Ergebnis: Das Ändern dieser Assoziationen veränderte die Übereinstimmung überhaupt nicht. Computer und Gehirn waren bereits bezüglich dieser losen Verbindungen auf derselben Seite. Es ist, als würden beide Köche automatisch wissen, dass „Salz" zu „Pfeffer" passt, ohne dass eine besondere Anweisung nötig wäre.

Das große Fazit
Die Studie zeigt, dass die Verbindung zwischen menschlichen Gehirnen und KI nicht nur darauf beruht, das nächste Wort vorherzusagen. Computer und Gehirn „sprechen tatsächlich dieselbe Sprache", wenn es um Grammatik und Wortassoziationen geht. Wenn es jedoch darum geht, komplexe Bedeutungen aus kleineren Teilen aufzubauen, verfügt das menschliche Gehirn über eine besondere, einzigartige Methode, die der Computer noch nicht ganz gemeistert hat. Der Computer ist ein großartiger Nachahmer unserer Gewohnheiten und Regeln, doch unsere Gehirne haben einen einzigartigen Flair für das Konstruieren von Bedeutung, den die Maschine noch lernt zu kopieren.

Technische Zusammenfassung

Technische Zusammenfassung: Über die Vorhersage des nächsten Wortes hinaus

Problemstellung
Es wurde beobachtet, dass die internen Repräsentationen von Large Language Models (LLMs) mit der menschlichen neuronalen Aktivität während des Sprachverständnisses korrelieren. Der zugrundeliegende Mechanismus, der diese „LLM-Gehirn-Ausrichtung" antreibt, bleibt jedoch umstritten. Eine vorherrschende Hypothese besagt, dass diese Ausrichtung lediglich aus einer gemeinsamen Sensitivität gegenüber statistischen Mustern (z. B. Vorhersagbarkeit) resultiert, die beiden Systemen innewohnt. Eine alternative Sichtweise geht davon aus, dass die Ausrichtung die Entstehung gemeinsamer, strukturierter sprachlicher Repräsentationen widerspiegelt. Diese Studie untersucht, ob hierarchische sprachliche Komposition – eine Eigenschaft, die als fundamental für die menschliche Sprache gilt – der spezifische Treiber dieser Ausrichtung ist, die sich von bloßer statistischer Vorhersagbarkeit unterscheidet.

Methodik
Um die sprachliche Struktur von statistischen Faktoren zu trennen, wandten die Autoren ein kontrolliertes experimentelles Design an, das sowohl ein LLM (GPT2-XL) als auch menschliche Teilnehmer umfasste:

• Manipulation der Reize: Englische Sätze wurden systematisch über drei sprachliche Dimensionen hinweg manipuliert: Syntax, kompositionelle Semantik und assoziative Semantik.
• Anpassung der Vorhersagbarkeit: Entscheidend wurden die linguistisch manipulierten Reize in Bezug auf ihre Vorhersagbarkeit angeglichen. Diese Kontrolle ermöglicht es den Forschern, die Effekte der sprachlichen Struktur von den Effekten der statistischen Wahrscheinlichkeit zu isolieren.
• Datenerhebung: Menschliche Teilnehmer unterzogen sich einem Elektroenzephalographie-(EEG)-Experiment, während sie diese Sätze verarbeiteten. Gleichzeitig wurden kontextuelle Einbettungen wortweise aus den versteckten Schichten von GPT2-XL extrahiert.
• Analyse: Die Studie verwendete ein lineares Kodierungsmodell, um LLM-EEG-Ausrichtungs-Scores zu berechnen. Durch den Vergleich dieser Scores über die an die Vorhersagbarkeit angepassten Bedingungen hinweg bewerteten die Autoren, wie spezifische linguistische Manipulationen die Ausrichtung zwischen menschlicher Gehirnaktivität und Modellrepräsentationen modulieren.

Hauptbeiträge und Ergebnisse
Die Studie identifiziert drei unterschiedliche Muster, wie linguistische Merkmale die LLM-Gehirn-Ausrichtung modulieren, und zeigt, dass diese Effekte über die Vorhersagbarkeit hinausgehen:

1. Syntaktische Struktur: Die Ausrichtung erhöht sich für Wortsequenzen, die eine syntaktische Struktur aufweisen, was darauf hindeutet, dass sowohl das LLM als auch das menschliche Gehirn die syntaktische Hierarchie auf vergleichbare Weise kodieren.
2. Kompositionelle Semantik: Die Ausrichtung nimmt bei Sätzen ab, die kompositionelle Semantik beinhalten. Dies zeigt an, dass die Kodierung kompositioneller Bedeutung einzigartiger für das menschliche Gehirn ist und weniger mit den internen Repräsentationen des LLM geteilt wird.
3. Assoziative Semantik: Diese Dimension moduliert die Ausrichtung nicht signifikant, was impliziert, dass assoziative semantische Informationen sowohl vom LLM als auch vom menschlichen Gehirn ähnlich kodiert werden.

Bedeutung
Die Arbeit behauptet, dass hierarchische sprachliche Komposition ein kritischer Faktor ist, der die LLM-Gehirn-Ausrichtung antreibt, und stellt die Ansicht in Frage, dass Ausrichtung lediglich ein Nebenprodukt des statistischen Musterabgleichs ist. Die Ergebnisse deuten auf eine nuancierte Divergenz hin, wie diese Systeme Sprache verarbeiten: Während LLMs und das menschliche Gehirn Repräsentationen für assoziative Semantik und bestimmte Aspekte der syntaktischen Struktur teilen, verfügt das menschliche Gehirn über eine distincte Fähigkeit zur Kodierung kompositioneller Semantik, die im GPT2-XL-Modell nicht vollständig widergespiegelt wird. Diese Arbeit liefert empirische Belege dafür, dass die LLM-Gehirn-Ausrichtung durch spezifische linguistische Eigenschaften und nicht durch allgemeine statistische Ko-Okkurrenz getrieben wird.