Across the Levels of Analysis: Explaining Predictive Processing in Humans Requires More Than Machine-Estimated Probabilities

Unter Anwendung von Marrs Ebenen der Analyse kritisiert und erweitert diese Arbeit die Annahmen, dass die Vorhersage sprachlicher Informationen zentral für die Sprachverarbeitung ist und dass Fortschritte in der Psycholinguistik ohne große Sprachmodelle unmöglich wären, und schlägt stattdessen eine Integration der Stärken beider Modellansätze vor.

Das Wesentliche

🧠 Die Geschichte vom Vorhersage-Meister und dem menschlichen Gehirn

Stell dir vor, du liest einen spannenden Krimi. Du liest den Satz: "Der Detektiv zog seine Waffe, weil der Verdächtige..."
Bevor du das letzte Wort liest, hat dein Gehirn schon eine Ahnung: Es erwartet wahrscheinlich "flüchtete" oder "angriff".

In den letzten Jahren haben Wissenschaftler riesige Computerprogramme (die sogenannten Sprachmodelle oder LLMs, wie ChatGPT) gebaut. Diese Programme sind extrem gut darin, genau diese Vorhersagen zu treffen. Sie berechnen: "Wenn ich 'Waffe' sehe, ist die Wahrscheinlichkeit für 'flüchtete' 80 %."

Die Autoren des Artikels, Sathvik Nair und Colin Phillips, sagen dazu: "Toll gemacht, Computer! Aber ihr verwechselt etwas Wichtiges."

Hier ist die Erklärung, warum das so ist, unterteilt in drei einfache Bilder:

1. Der alte Fehler: Die "Rechen-Regel" (Die 1960er Jahre)

In den 1960er Jahren dachten Linguisten, sie könnten herausfinden, wie schwer ein Satz für uns ist, indem sie einfach die Grammatik-Regeln zählten.

• Die Analogie: Stell dir vor, du willst wissen, wie schwer es ist, einen Berg zu besteigen. Die alten Forscher sagten: "Je mehr Treppenstufen (Grammatikregeln) der Berg hat, desto schwerer ist er."
• Das Problem: Das war zu einfach. Ein steiler, glatter Fels (eine einfache Regel) kann schwerer sein als ein Berg mit vielen Treppen, die aber breit und bequem sind. Diese alte Theorie ist gescheitert.

2. Der neue Trend: Die "Wahrscheinlichkeits-Karte" (Heute)

Heute sind wir wieder bei einem ähnlichen Gedanken, nur mit moderner Technik. Wir nutzen die Computer, um zu sagen: "Je unwahrscheinlicher ein Wort ist, desto schwerer ist es für das Gehirn."

• Die Analogie: Die Computer haben eine riesige Landkarte mit Wahrscheinlichkeiten erstellt. Sie sagen: "Das Wort 'Banane' passt hier nicht, das ist wie ein Treppenstufen-Fehler."
• Was die Computer-Verfechter sagen: "Das Gehirn funktioniert genau wie dieser Computer! Es rechnet nur Wahrscheinlichkeiten."
• Was die Autoren sagen: "Moment mal! Das ist wie zu sagen, weil ein Flugzeug fliegt, muss ein Vogel auch genau nach den gleichen aerodynamischen Formeln fliegen. Der Vogel nutzt Muskeln, Federn und Instinkte, nicht nur Mathematik."

3. Warum das menschliche Gehirn mehr ist als ein Taschenrechner

Die Autoren kritisieren, dass wir denken, das Gehirn sei nur ein riesiger Wahrscheinlichkeits-Rechner. Das ist zu kurz gedacht.

• Analogie: Der Koch vs. der Rezept-Generator
  • Der Computer (LLM) ist wie ein Koch, der nur Rezepte auswendig gelernt hat. Wenn er "Ei" sieht, denkt er sofort an "Pfannekuchen". Er kennt nur die Statistik: "In 90 % der Rezepte steht nach Ei Mehl."
  • Der Mensch ist wie ein Koch, der versteht, wie Essen schmeckt, wie man Zutaten mischt und was passiert, wenn man etwas verbrennt.
  • Das Problem: Wenn ein Computer auf einen "Trick" stößt (z. B. einen Satz, der grammatikalisch falsch klingt, aber trotzdem Sinn ergibt), stolpert er oft. Das menschliche Gehirn hingegen kann solche Tricks erkennen, weil es nicht nur rechnet, sondern versteht, wie Sprache funktioniert (z. B. wer tut was wem?).

Die Lösung: Nicht nur "Was", sondern "Wie"

Die Autoren wollen nicht sagen, dass Computer schlecht sind. Sie sind super Werkzeuge! Aber sie reichen nicht aus, um zu erklären, wie unser Gehirn wirklich arbeitet.

• Die neue Idee: Wir müssen die Computer-Wahrscheinlichkeiten mit der Biologie verbinden.
• Die Analogie: Stell dir vor, das Gehirn ist ein Orchester.
  • Die Computer sagen uns nur, welche Noten gespielt werden sollen (die Vorhersage).
  • Aber wir müssen auch verstehen, wie die Musiker die Instrumente bedienen, wie die Saiten vibrieren und wie das Gehirn die Signale verarbeitet (die Algorithmus-Ebene).

Fazit in einem Satz

Computer können uns sagen, was wir als Nächstes erwarten (die Vorhersage), aber sie können uns nicht erklären, wie unser Gehirn diese Vorhersage in Millisekunden verarbeitet, Fehler korrigiert und dabei biologisch funktioniert. Wir brauchen also nicht nur bessere Computer, sondern ein besseres Verständnis der menschlichen "Maschinerie" dahinter.

Kurz gesagt: Die Computer sind wie eine sehr genaue Wettervorhersage. Sie sagen dir, dass Regen kommt. Aber sie erklären dir nicht, wie dein Körper sich anfeuchtet, wenn du im Regen stehst. Um das zu verstehen, müssen wir tiefer in die Biologie schauen.

Technische Zusammenfassung

Titel: Über die Analyseebenen hinaus: Die Erklärung von Predictive Processing beim Menschen erfordert mehr als maschinell geschätzte Wahrscheinlichkeiten

1. Problemstellung (Problem)

Der Kommentar kritisiert und erweitert die Argumentation von Futrell und Mahowald (in Druck), die behaupten, dass Sprachmodelle (LMs) und Large Language Models (LLMs) das Verständnis des Sprachverarbeitens revolutioniert haben. Das zentrale Problem, das Nair und Phillips aufwerfen, ist die Gefahr einer reduktionistischen Sichtweise, die menschliche Sprachverarbeitung ausschließlich als probabilistische Inferenz (basierend auf Kontextwahrscheinlichkeiten) interpretiert.

Die Autoren verweisen auf eine historische Parallele zur Derivational Theory of Complexity (DTC) aus den 1960er Jahren. Damals wurde versucht, Verarbeitungs-Schwierigkeit direkt mit syntaktischen Transformationen zu korrelieren – ein Ansatz, der später als zu grob und irreführend entlarvt wurde. Heute wird ein ähnlicher Fehler begangen: Die Annahme, dass die von LLMs geschätzten Wahrscheinlichkeiten (Surprisal) eine vollständige funktionale Erklärung für menschliche neuronale Reaktionen und Verarbeitungsprozesse liefern. Die Kritik zielt darauf ab, dass LLMs zwar korrekte Vorhersagen über Schwierigkeitsgrade treffen können, aber keine mechanistische Erklärung dafür liefern, wie das menschliche Gehirn diese Informationen verarbeitet (Algorithmische Ebene vs. Computerebene nach Marr).

2. Methodik und theoretischer Rahmen (Methodology)

Die Autoren nutzen Marrs Ebenen der Analyse (Computational, Algorithmic, Implementational) als theoretischen Rahmen, um die Grenzen aktueller LLM-basierter Ansätze zu beleuchten:

• Kritische Analyse bestehender Studien: Sie untersuchen die Diskrepanz zwischen den Vorhersagen von LLMs und empirischen psycholinguistischen Daten (z. B. Lesegeschwindigkeiten, EEG/ERP-Messungen wie N400 und P600, Augenbewegungen).
• Vergleich von Modelltypen: Sie kontrastieren komplexe, schwer interpretierbare LLMs mit einfacheren, interpretierbaren Modellen und prozessbasierten Theorien (z. B. Predictive Coding, Interaktive Aktivierungsmodelle).
• Fokus auf spezifische Phänomene: Die Analyse konzentriert sich auf Fälle, in denen LLMs versagen, wie z. B. bei:
  • Linguistischen Illusionen (Grammatikalische Illusionen).
  • Verletzungen von Vorhersagen (Prediction Errors).
  • Argumentrollen-Reversals (Umkehrung von Subjekt/Objekt).
  • Der Unterscheidung zwischen semantischer Assoziation und kontextueller Erwartung.

3. Wichtige Beiträge (Key Contributions)

Der Artikel leistet drei wesentliche Beiträge zur Debatte:

1. Unterscheidung zwischen Korrelation und Kausalität/Mechanismus: Die Autoren argumentieren, dass LLMs zwar hervorragende Korrelationen zwischen Wahrscheinlichkeit und Verarbeitungszeit liefern (Surprisal-Theorie), aber keine mechanistische Erklärung für die zugrunde liegenden mentalen Berechnungen bieten. Die menschliche Verarbeitung ist nicht nur eine Funktion von Wahrscheinlichkeiten, sondern beinhaltet spezifische algorithmische Prozesse.
2. Identifikation der Grenzen von LLMs: Sie zeigen auf, dass LLMs qualitative Muster (z. B. bei syntaktischen Illusionen) und quantitative Muster (z. B. bei der syntaktischen Disambiguierung) oft nicht korrekt abbilden. LLMs vermischen oft semantische Assoziationen mit echten kontextuellen Erwartungen, was sie als unzureichende Erklärung für neuronale Antworten (wie N400/P600) disqualifiziert.
3. Vorschlag für einen hybriden Weg: Statt LLMs als Ersatz für psycholinguistische Modelle zu sehen, schlagen die Autoren vor, LLMs als Komponenten in komplexeren Prozessmodellen zu integrieren. Sie plädieren für Modelle, die Interaktivität über verschiedene Repräsentationsebenen hinweg abbilden und Vorhersagefaktoren in prozessbasierte Modelle einbeziehen.

4. Ergebnisse und Evidenz (Results)

Die Analyse stützt sich auf eine breite Palette empirischer Befunde, die zeigen, dass reine Wahrscheinlichkeitsmodelle unzureichend sind:

• Versagen bei Illusionen: LLMs können linguistische Illusionen (z. B. "The horse raced past the barn fell") oft nicht so verarbeiten wie Menschen, die hier spezifische Fehlermuster zeigen, die auf begrenzte Ressourcen oder spezifische Verarbeitungsstrategien hindeuten.
• Neuronale Diskrepanzen: Studien zeigen, dass die von LLMs vorhergesagten Surprisal-Werte nicht linear mit neuronalen Signalen (z. B. N400) korrelieren, wenn man semantische Assoziationen kontrolliert.
• Erfolg alternativer Modelle: Modelle, die auf Predictive Coding (z. B. Nour Eddine et al., 2024; Ohams et al., 2026) basieren und biologisch plausible Berechnungsmethoden nutzen, erklären sowohl kontrollierte experimentelle Daten als auch natürliche Lesedaten besser als reine LLMs. Diese Modelle bieten interpretierbare Maße, die direkt mit interaktiven kognitiven Prozessen verknüpft sind.
• Ressourcenbeschränkungen: Die Autoren betonen, dass die menschliche Verarbeitung durch kognitive Ressourcenbeschränkungen geprägt ist, die in aktuellen LLMs oft fehlen oder nicht realistisch modelliert sind.

5. Bedeutung und Implikationen (Significance)

Die Bedeutung dieses Kommentars liegt in der Rückbesinnung auf die algorithmische Ebene der Sprachverarbeitung:

• Warnung vor technischem Determinismus: Die Autoren warnen davor, dass die psycholinguistische Forschung durch den übermäßigen Fokus auf LLMs in eine Sackgasse gerät, in der nur noch "Was" (Welches Wort ist wahrscheinlich?) statt "Wie" (Wie wird es verarbeitet?) gefragt wird.
• Integration statt Substitution: Die Zukunft der Forschung liegt nicht im Ersetzen psycholinguistischer Modelle durch LLMs, sondern in der Kombination beider. LLMs können als mächtige Werkzeuge zur Schätzung von Input-Komplexität dienen, müssen aber in prozessorientierte Modelle eingebettet werden, die die zeitliche Abfolge und die kognitiven Mechanismen der Verarbeitung erklären.
• Biologische Plausibilität: Der Artikel unterstreicht die Notwendigkeit, Modelle zu entwickeln, die biologisch plausibel sind (z. B. durch Predictive Coding), um die Lücke zwischen statistischen Vorhersagen und der tatsächlichen neuronalen Funktionsweise des menschlichen Gehirns zu schließen.

Fazit: Nair und Phillips argumentieren, dass LLMs die psycholinguistische Forschung zwar "wiederbelebt" haben, indem sie präzisere Schätzungen von Verarbeitungs-Schwierigkeiten liefern, aber dass der wahre Fortschritt nur durch die mechanistische Charakterisierung mentaler Berechnungen auf der algorithmischen Ebene erreicht werden kann. Die "Liebe" zu LLMs sollte daher nicht blind sein, sondern kritisch und komplementär zu etablierten prozessbasierten Theorien.