Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models

Die Studie liefert fMRI-Evidenz dafür, dass Sprachmodelle einen zweiphasigen Abstraktionsprozess durchlaufen, bei dem die Kompositionsphase mit fortschreitendem Training in weniger Schichten komprimiert wird und eine starke Korrelation zwischen der Kodierungsleistung und der intrinsischen Dimensionalität der Repräsentationen besteht, die primär auf der inhärenten Kompositionalität und nicht auf der Vorhersage des nächsten Wortes beruht.

Das Wesentliche

Das große Rätsel: Warum verstehen Computer unsere Sprache wie wir?

Stell dir vor, du hast einen riesigen, sehr intelligenten Roboter (ein sogenanntes "Large Language Model" oder LLM), der Texte liest. Forscher haben entdeckt, dass man die "Gedanken" dieses Roboters messen kann, während er liest, und diese Gedanken fast perfekt mit den Gehirnaktivitäten eines Menschen vergleichen können, der denselben Text liest.

Das Tolle daran: Es funktioniert am besten, wenn man nicht auf das Ergebnis des Roboters schaut (also das letzte Wort, das er ausspricht), sondern auf seine Zwischenschritte – die Gedanken, die er sich während des Lesens macht.

Die Frage war bisher: Warum? Warum sind diese Zwischenschritte so ähnlich zu unserem menschlichen Gehirn?

Die Entdeckung: Ein zweistufiger Prozess

Die Autoren dieser Studie haben herausgefunden, dass der Roboter beim Verstehen von Sprache zwei ganz verschiedene Phasen durchläuft. Man kann sich das wie einen Kochprozess vorstellen:

Phase 1: Das "Zerlegen und Kombinieren" (Die Abstraktion)

Stell dir vor, du bekommst einen Haufen rohe Zutaten (Wörter). In den ersten Schichten des Roboters passiert folgendes:

• Er nimmt die einzelnen Wörter und beginnt, sie zu mischen und zu verbinden.
• Er baut daraus komplexe Bedeutungen, Sätze und Zusammenhänge.
• Der Vergleich: Das ist wie ein Künstler, der auf einer Leinwand viele Farben und Formen kombiniert, um ein komplexes Bild zu erschaffen. Die Leinwand wird dabei immer "voller" und "vielfältiger". In der Wissenschaft nennen sie das eine hohe intrinsische Dimension. Es bedeutet, dass die Informationen sehr reichhaltig und komplex sind.

Phase 2: Das "Vorhersagen" (Die Extraktion)

Sobald das Bild fertig ist, muss der Roboter entscheiden, was als Nächstes kommt.

• In den späteren Schichten des Roboters wird die Leinwand wieder "geglättet".
• Der Fokus verschiebt sich darauf, nur noch das eine richtige nächste Wort vorherzusagen.
• Der Vergleich: Das ist wie ein Gärtner, der aus einem wilden, blühenden Garten (Phase 1) nun genau einen einzigen, perfekten Strauß für den Verkauf schneidet. Die Vielfalt wird reduziert, um auf ein einziges Ziel hinzuarbeiten.

Die spannende Erkenntnis: Unser Gehirn liebt Phase 1

Die Studie zeigt etwas Überraschendes:

• Die Phase 1 (das komplexe Mischen) sieht unserem menschlichen Gehirn am ähnlichsten. Wenn wir Menschen einen Satz hören, bauen wir in unserem Kopf erst diese komplexen Bedeutungen auf.
• Die Phase 2 (das reine Vorhersagen) ist für das menschliche Gehirn weniger relevant, wenn es darum geht, Sprache zu verstehen.

Die Forscher haben gemessen, dass genau in dem Moment, in dem der Roboter von "komplexem Mischen" zu "einfachem Vorhersagen" wechselt, die Ähnlichkeit mit dem menschlichen Gehirn ihren Höhepunkt erreicht und dann wieder abfällt.

Ein weiterer wichtiger Fund: Je mehr Übung, desto früher kommt der Höhepunkt

Die Forscher haben auch geschaut, wie sich der Roboter entwickelt, während er mehr und mehr lernt (trainiert wird).

• Frühes Training: Der Roboter braucht viele Schichten, um von Phase 1 zu Phase 2 zu kommen.
• Spätes Training: Wenn der Roboter sehr gut trainiert ist, passiert der Wechsel von "komplexem Verstehen" zu "einfachem Vorhersagen" viel schneller – also schon in den früheren Schichten.

Die Analogie: Stell dir einen Schüler vor. Am Anfang des Semesters muss er sich viel Zeit nehmen, um die Grundlagen zu verstehen (viele Schichten). Wenn er ein Experte ist, versteht er die komplexen Zusammenhänge sofort, und der Rest des Prozesses ist nur noch eine schnelle Anwendung des Wissens.

Warum ist das wichtig?

1. Es geht nicht nur um Vorhersagen: Viele dachten bisher, dass Roboter nur deshalb wie Menschen denken, weil sie versuchen, das nächste Wort vorherzusagen (wie ein Autocomplete). Diese Studie sagt: Nein! Der Grund ist, dass Roboter (wie wir) Sprache erst in komplexe Bedeutungen zerlegen müssen, bevor sie etwas vorhersagen können.
2. Bessere KI-Modelle: Wenn wir wissen, dass diese "komplexe Misch-Phase" (Phase 1) das Wichtigste für das Verständnis ist, können wir KI-Modelle vielleicht so bauen, dass sie diese Phase noch besser nutzen, um menschliche Sprache noch natürlicher zu verstehen.

Zusammenfassung in einem Satz

Der Roboter versteht Sprache wie ein Mensch, weil er – genau wie unser Gehirn – zuerst eine komplexe, vielschichtige Bedeutung aus den Wörtern baut, bevor er versucht, das nächste Wort zu erraten; und genau diese "Baustelle" der Bedeutung ist es, die wir im Gehirn messen können.

Technische Zusammenfassung

Problemstellung

Forschungsergebnisse haben wiederholt gezeigt, dass versteckte Zustände (hidden states) aus großen Sprachmodellen (LLMs) die gemessene Gehirnaktivität bei der Verarbeitung natürlicher Sprache vorhersagen können. Ein zentrales, bisher wenig erklärtes Phänomen ist jedoch, dass mittlere Schichten (intermediate layers) der LLMs für diese Vorhersageleistung optimal sind, während die Ausgabeschichten (output layers) dies nicht sind.
Die zentrale Frage lautet: Warum sind es gerade die mittleren Schichten? Liegt dies an ähnlichen Lernzielen (z. B. Next-Token-Vorhersage) oder an abstrakten, kompositionellen Eigenschaften der Repräsentationen? Bisherige Studien haben oft die Next-Token-Vorhersage als treibenden Faktor für die Gehirn-Modell-Ähnlichkeit identifiziert, doch dieser Ansatz erklärt nicht die Schichtspezifität.

Methodik

Die Autoren testen die Hypothese, dass Feature-Abstraktion (und nicht die Next-Token-Vorhersage an sich) die Ähnlichkeit zwischen Gehirn und Modell antreibt. Dafür nutzen sie drei messbare Variablen:

1. Gehirn-Modell-Ähnlichkeit (Encoding Performance):

   • Es wurden fMRI-Daten von 3 Probanden verwendet, die 20 Stunden englische Podcasts hörten.
   • Es wurden lineare Kodierungsmodelle trainiert, um die Gehirnaktivität basierend auf den Aktivierungen verschiedener LLM-Schichten (OPT und Pythia Modelle) vorherzusagen.
   • Die Leistung wurde als Korrelation zwischen vorhergesagter und tatsächlicher Gehirnaktivität gemessen.

2. Intrinsische Dimensionalität (Intrinsic Dimensionality - Id):

   • Um die Komplexität der abstrakten Merkmale zu messen, wurde die intrinsische Dimensionalität ($I_d$) der Repräsentationen in jeder Schicht berechnet.
   • Dafür wurde der GRIDE-Schätzer (Generalized Ratios Intrinsic Dimension Estimator) verwendet, der die Dimensionalität des zugrunde liegenden nichtlinearen Mannigfaltigkeitsraums erfasst.
   • Zusätzlich wurde die lineare effektive Dimensionalität ($d$) mittels PCA und Participation Ratio berechnet.

3. Überraschung (Surprisal / Next-Token Prediction Error):

   • Um die Hypothese der Next-Token-Vorhersage zu testen, wurde der layerweise Surprisal berechnet.
   • Hierfür wurde der TunedLens-Ansatz verwendet, der eine affine Abbildung von einer Zwischenschicht auf den Vokabularraum lernt, um die Vorhersagegüte der nächsten Token zu messen, ohne die Schicht selbst zu verändern.

Wichtige Beiträge und Ergebnisse

1. Starke Korrelation zwischen Dimensionalität und Gehirn-Vorhersageleistung:
Die Studie zeigt eine hohe positive Korrelation zwischen der intrinsischen Dimensionalität ($I_d$) einer Schicht und ihrer Fähigkeit, Gehirnaktivität vorherzusagen (Korrelation $\rho \approx 0.85 - 0.96$ über verschiedene Modelle hinweg). Dies gilt konsistent über verschiedene Sprachverarbeitungsareale im Gehirn (außer dem primären auditorischen Kortex, der niedrigfrequente Informationen verarbeitet).

2. Nachweis eines Zwei-Phasen-Prozesses:
Die Analyse der Schichten offenbart einen klaren Übergang, der zwei Phasen im Lernprozess von LLMs beschreibt:

• Phase 1: Komposition/Abstraktion: In den früheren bis mittleren Schichten steigt die intrinsische Dimensionalität an. Dies entspricht dem Aufbau komplexer, abstrakter linguistischer Merkmale (Syntax, Semantik). Die Vorhersageleistung für das Gehirn erreicht hier ihren Höhepunkt.
• Phase 2: Extraktion/Vorhersage: Nach dem Peak der Dimensionalität (z. B. Schicht 17 bei OPT-1.3B) sinkt die Dimensionalität abrupt ab, während der Surprisal (Vorhersagefehler) stark abnimmt. Dies deutet darauf hin, dass die Schichten nun ihre Ressourcen darauf konzentrieren, die Verteilung für das nächste Wort zu verfeinern, was die für die Gehirnähnlichkeit notwendige abstrakte Komplexität „komprimiert".

3. Dynamik während des Trainings:
Durch die Analyse von Checkpoints während des Trainings (Pythia-6.9B) wurde gezeigt, dass dieser Peak der Dimensionalität und der Peak der Gehirn-Vorhersageleistung konkurrent auftreten.

• Mit fortschreitendem Training verschiebt sich der optimale Schicht-Index für die Gehirn-Vorhersage leicht zu früheren Schichten, was auf eine Sättigungseffekt der kompositionellen Phase hindeutet.
• Dies widerlegt die Annahme, dass die optimale Schicht eine triviale Funktion der Architektur (z. B. einfach nur die Mitte) ist.

4. Trennung von Vorhersage und Abstraktion:
Die Ergebnisse zeigen, dass die Schichten, die am besten für die Next-Token-Vorhersage sind (hohe Leistung, niedriger Surprisal), nicht die Schichten sind, die das Gehirn am besten abbilden. Im Gegenteil: Sobald das Modell beginnt, sich stark auf die Vorhersage zu fokussieren (Phase 2), nimmt die Fähigkeit zur Abbildung der Gehirnaktivität ab.

Signifikanz und Schlussfolgerungen

• Treiber der Ähnlichkeit: Die Ähnlichkeit zwischen menschlichem Gehirn und LLMs wird primär durch die abstrakten, kompositionellen Eigenschaften der Modelle getrieben, nicht durch das Ziel der Next-Token-Vorhersage. Das Gehirn scheint eher die abstrakte Repräsentation zu verarbeiten als die reine Vorhersageverteilung.
• Validierung der Interpretierbarkeit: Die Ergebnisse stützen unabhängig von anderen Arbeiten (z. B. Cheng et al., 2024) die Existenz eines natürlichen Zwei-Phasen-Prozesses in Transformer-Architekturen (Abstraktion gefolgt von Extraktion).
• Praktische Implikationen: Für die Entwicklung besserer Gehirn-Modellierungsansätze (Encoding Models) sollte man nicht einfach die letzte Schicht verwenden. Stattdessen könnten Methoden, die die spektralen Eigenschaften verschiedener Schichten kombinieren, um eine Repräsentation mit höherer intrinsischer Dimensionalität zu erzeugen, die Vorhersageleistung weiter steigern.
• Theoretische Einsicht: Die Studie liefert einen starken Hinweis darauf, dass LLMs und menschliche Sprachverarbeitung ähnliche Abstraktionsmechanismen nutzen, um aus rohen Eingaben (Wörter/Töne) komplexe Konzepte zu bilden, bevor sie eine spezifische Ausgabe generieren.

Zusammenfassend liefert das Paper fMRI-Evidenz dafür, dass LLMs einen inhärenten Prozess durchlaufen, bei dem sie zunächst eine hochdimensionale, abstrakte Repräsentation der Sprache aufbauen (die dem menschlichen Gehirn ähnelt), bevor sie diese Repräsentation für die effiziente Next-Token-Vorhersage komprimieren.