💬 NLP

Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis

Diese Studie testet die Hypothese, dass die Unterschätzung der menschlichen Verarbeitungserschwerung bei syntaktischer Mehrdeutigkeit durch Sprachmodelle auf deren Fähigkeit zurückzuführen ist, mehr simultane Satzanalysen als Menschen aufrechtzuerhalten, stellt jedoch fest, dass zwar die Reduktion der Analysevielfalt vorhergesagte Irrweg-Effekte verstärkt, aber nicht ausreicht, um das Ausmaß der Unterschiede bei menschlichen Lesezeiten vollständig zu erklären.

Ursprüngliche Autoren: William Timkey, Brian Dillon, Tal Linzen

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: William Timkey, Brian Dillon, Tal Linzen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lesen eine Geschichte und stoßen plötzlich auf einen Satz, der Ihr Gehirn täuscht. Dies wird als „Gartenpfad"-Satz bezeichnet.

Hier ist ein Beispiel: „Das Mädchen, das das Lamm fütterte, war verärgert, weil sie Rindfleisch bestellt hatte."

Wenn Sie zum ersten Mal „Das Mädchen, das das Lamm fütterte" lesen, geht Ihr Gehirn automatisch davon aus, dass das Mädchen diejenige ist, die füttert. Das ist der gebräuchlichste Weg, dies zu verstehen. Doch dann stoßen Sie auf das Wort „war". Plötzlich erkennt Ihr Gehirn, dass es falsch lag! Der Satz bedeutet tatsächlich, dass das Mädchen gefüttert wurde (jemand fütterte sie), und sie war wegen des Rindfleisches verärgert. Dieser Moment der Verwirrung und des Neulesens braucht Zeit. Psychologen nennen dies den „Gartenpfad-Effekt".

Die große Frage
Wissenschaftler haben leistungsstarke Computerprogramme entwickelt, die „Sprachmodelle" genannt werden (wie die, die diesen Text schreiben) und die sehr gut darin sind, das nächste Wort in einem Satz vorherzusagen. Eine Theorie namens „Überraschungstheorie" (Surprisal Theory) besagt, dass je schwieriger ein Wort vorherzusagen ist, desto länger es dauert, bis Menschen es lesen.

Das Problem? Als Wissenschaftler diese Computer an Gartenpfad-Sätzen testeten, waren die Computer zu ruhig. Sie schienen von dem Trick nicht genug überrascht zu sein. Sie sagten voraus, dass die Verwirrung gering sein würde, doch Menschen erleben tatsächlich einen massiven mentalen „Strauchler".

Die Hypothese: Die „Taschenlampe"-Theorie
Die Autoren dieses Papiers fragten sich: Warum sind die Computer so ruhig?

Sie vermuteten, es könnte daran liegen, dass Computer zu klug sind. Wenn ein Computer „Das Mädchen, das das Lamm fütterte" liest, könnte er Dutzende verschiedener Interpretationen gleichzeitig in seinem Kopf halten. Er denkt: „Vielleicht füttert sie das Lamm. Vielleicht füttert das Lamm sie. Vielleicht ist es eine andere Art von Lamm." Da er all diese Möglichkeiten gleichzeitig betrachtet, fühlt sich das Wort „war" nicht wie ein Schock an; es fühlt sich einfach wie eine der vielen Optionen an, die er bereits erwog.

Menschen hingegen sind vielleicht wie eine Taschenlampe in einem dunklen Raum. Wir können unser Licht nur auf einen oder zwei Pfade gleichzeitig richten. Wir verpflichten uns der Idee „das Mädchen füttert". Wenn wir auf „war" stoßen, zeigt unsere Taschenlampe in die falsche Richtung, und wir müssen uns umdrehen und den neuen Pfad finden. Dieses Umdrehen braucht Zeit und Kraft.

Die Autoren nannten dies die „Parse-Multiplicitäts-Mismatch-Hypothese". Einfach ausgedrückt: Computer sind weniger überrascht, weil sie zu viele Möglichkeiten gleichzeitig betrachten, während Menschen gezwungen sind, genau eine auszuwählen.

Das Experiment: Die Taschenlampe abdunkeln
Um dies zu testen, verwendeten die Forscher ein spezielles Computermodell, dem genau gesagt werden kann, wie viele „Pfade" es betrachten soll. Sie ließen die Modelle die Gartenpfad-Sätze mit verschiedenen Einstellungen durchlaufen:

Hohe Multiplicität: Der Computer betrachtet 1.000 verschiedene Interpretationen gleichzeitig (wie eine superhelle, weite Taschenlampe).
Niedrige Multiplicität: Der Computer ist gezwungen, nur 1 oder 2 Interpretationen zu betrachten (wie eine dimme, enge Taschenlampe).

Die Ergebnisse

Sie lagen teilweise richtig: Als sie den Computer zwangen, weniger Pfade zu betrachten (schmalere Taschenlampe), wurde er tatsächlich überraschter. Der „Strauchler" in der Vorhersage des Computers wurde größer.
Aber sie lagen größtenteils falsch: Selbst als sie den Computer zwangen, nur einen Pfad zu betrachten (den falschen, genau wie ein Mensch), war die Überraschung des Computers im Vergleich zur menschlichen Reaktion immer noch winzig.

Der „Strauchler" des Computers war immer noch etwa 40-mal kleiner als der menschliche Strauchler.

Die Schlussfolgerung
Das Papier kommt zu dem Schluss, dass das Problem nicht dadurch gelöst wird, Computer einfach „dümmer" zu machen oder sie zu zwingen, weniger Optionen zu betrachten. Die Lücke zwischen der Art und Weise, wie Computer und Menschen Sprache verarbeiten, ist zu groß, als dass sie allein durch die Anzahl der Ideen erklärt werden könnte, die sie gleichzeitig in ihren Köpfen halten können.

Die Autoren schlagen vor, dass menschliche Gehirne einen zusätzlichen Schritt haben könnten, den Computer nicht haben: einen spezifischen „Re-Analyse"-Mechanismus. Wenn Menschen feststecken, fühlen wir nicht nur ein wenig Überraschung; wir reißen aktiv unser altes Verständnis nieder und bauen ein neues auf. Die aktuellen Computermodelle haben, selbst wenn sie eingeschränkt sind, diesen „Niederreißen und Wiederaufbauen"-Button einfach nicht. Sie raten einfach weiter, und sie raten zu leicht.

Auf den Punkt gebracht
Die Forscher wollten herausfinden, ob Computer weniger von kniffligen Sätzen überrascht waren, weil sie „zu viel dachten" (zu viele Ideen hielten). Sie stellten fest, dass selbst als sie die Computer zwangen, „weniger zu denken", die Computer im Vergleich zu Menschen immer noch viel zu ruhig waren. Das bedeutet, dass der Unterschied zwischen menschlichem und computergestütztem Lesen nicht nur davon abhängt, wie viele Ideen wir jonglieren können; es geht um etwas Tieferes in der Art und Weise, wie wir damit umgehen, wenn wir falsch liegen.

Technische Zusammenfassung: Testen der Hypothese der Parse-Multiplizitäts-Diskrepanz

Problemstellung
Die Surprisal-Theorie besagt, dass die Verarbeitungsschwierigkeit eines Wortes durch seine Vorhersagbarkeit im Kontext (seine negative Log-Wahrscheinlichkeit) bestimmt wird, was einen potenziellen Zusammenhang zwischen der menschlichen Satzverarbeitung und den Vorhersagen des nächsten Wortes durch Sprachmodelle (LMs) herstellt. Während LM-Surprisals die Lesedauern in natürlichem Text erfolgreich vorhersagen, unterschätzen sie systematisch das Ausmaß der Schwierigkeit, das in kontrollierten Studien zu syntaktischer Ambiguität beobachtet wird, insbesondere bei „Garden-Path"-Sätzen. In diesen Sätzen begünstigt eine vorübergehende Ambiguität zunächst eine Interpretation, die später zugunsten einer weniger bevorzugten Interpretation aufgelöst wird, was zu erheblichen Verarbeitungskosten führt (z. B. Lesedauererhöhungen von >300 ms).

Vorherige Forschung zeigt, dass LMs zwar die Richtung von Garden-Path-Effekten vorhersagen, das Ausmaß jedoch um Größenordnungen kleiner ist als menschliche Daten. Beispielsweise sagt GPT-2 einen Garden-Path-Effekt von etwa 8 ms voraus, während menschliche Daten Effekte von über 300 ms zeigen. Dieser Artikel untersucht, ob diese Diskrepanz aus Unterschieden in den rechnerischen Einschränkungen zwischen Menschen und LMs resultiert. Konkret wird die Hypothese der Parse-Multiplizitäts-Diskrepanz getestet: die Annahme, dass LMs gleichzeitig eine größere Anzahl unterschiedlicher syntaktischer Interpretationen (Parses) im Gedächtnis halten können als Menschen. Wenn Menschen in ihrer Parallelität stärker eingeschränkt sind, könnten sie sich früher für eine einzelne, falsche Interpretation entscheiden, was zu einem höheren Surprisal bei der Auflösung führt als bei LMs, die über viele konkurrierende Parses marginalisieren.

Methodik
Um diese Hypothese zu testen, nutzten die Autoren Recurrent Neural Network Grammars (RNNGs) (Dyer et al., 2016). Im Gegensatz zu standardmäßigen autoregressiven LMs (z. B. GPT-2), die Syntax implizit lernen, konditionieren RNNGs die Vorhersagen des nächsten Wortes auf eine explizite syntaktische Parse des Kontexts. Diese Architektur ermöglicht die direkte Manipulation der Parse-Multiplizität durch wort-synchrones Beam-Search.

Modellaufbau: Die Autoren trainierten RNNGs auf den BabyLM- und BLLIP-Korpora unter Verwendung zweier Parsing-Strategien: Top-Down und Left-Corner.
Manipulation der Multiplizität: Der variierte Schlüsselparameter war die wortbezogene Beam-Breite ( $k_w$ ), die die Anzahl der bei jedem Wortschritt beibehaltenen unterschiedlichen Parses bestimmt.
- $k_w = 1$ : Repräsentiert einen vollständig seriellen Parser (nur ein Parse wird beibehalten).
- $k_w \to \infty$ : Repräsentiert einen vollständig parallelen Parser (Annäherung an die vollständige Marginalisierung über alle Parses).
- Die Studie testete $k_w$ -Werte im Bereich von 1 bis 1000.
Surprisal-Berechnung: Das Surprisal des nächsten Wortes wurde durch Marginalisierung der Wahrscheinlichkeitsverteilung des nächsten Wortes über die top $k_w$ Parses berechnet.
Kontrafaktische Bedingungen: Um Grenzen zu setzen, führten die Autoren zwei spezifische Bedingungen ein:
- FORCED GARDEN PATH: Manuelles Beschneiden des Beams, sodass er nur Parses enthält, die mit der anfänglich bevorzugten (falschen) Interpretation konsistent sind, wodurch eine Obergrenze für das vorhergesagte Surprisal entsteht.
- FULL-PARALLEL: Manuelle Sicherstellung, dass der Beam immer mindestens ein Parse enthält, das mit der global korrekten Interpretation konsistent ist, wodurch eine Untergrenze entsteht.
Daten und Auswertung: Die Modelle wurden am SAP-Benchmark (Huang et al., 2024) evaluiert, speziell an drei Garden-Path-Konstruktionen (MV/RR, NP/S, NP/Z). Die Studie verglich vorhergesagte Lesedauern (abgeleitet aus Surprisal via linearer gemischter Effekt-Regression an Füllersätzen) mit empirischen menschlichen Lesedauern.

Hauptergebnisse

Natürlicher Text: In Übereinstimmung mit früheren Arbeiten lieferten Surprisal-Schätzungen, die aus größeren Beam-Breiten ( $k_w$ ) abgeleitet wurden, eine bessere Anpassung an die Lesedauern in natürlichen Füllersätzen. Dies deutet darauf hin, dass für allgemeinen Text eine höhere Parallelität (mehr Parses) genauere, menschähnliche Vorhersagen liefert.
Garden-Path-Effekte: Die Reduzierung der Parse-Multiplizität (Senkung von $k_w$ ) erhöhte zwar das Ausmaß der vorhergesagten Garden-Path-Effekte und stützte damit die Intuition, dass die Begrenzung der Parallelität die Auflösungskosten erhöht. Die größten Effekte wurden bei intermediären Beam-Breiten beobachtet ( $2 \le k_w \le 10$ ), bei denen der Beam klein genug war, um das korrekte Parse zu beschneiden, aber groß genug, um hochwertige Parses zu erhalten.
Die Lücke bleibt bestehen: Trotz der Erhöhung der vorhergesagten Effektgröße durch Einschränkung der Parallelität gelang es den Ergebnissen nicht, die Lücke zu den menschlichen Daten zu schließen.
- Selbst unter den restriktivsten Bedingungen (z. B. $k_w=1$ oder die FORCED GARDEN PATH-Bedingung, bei der nur das falsche Parse betrachtet wurde) waren die vorhergesagten Lesedauererhöhungen um Größenordnungen kleiner als die empirischen menschlichen Effekte.
- Die FULL-PARALLEL-Bedingung (Garantie, dass das korrekte Parse im Beam vorhanden ist) reduzierte die Unterschätzung im Vergleich zum unveränderten Beam nicht signifikant, was darauf hindeutet, dass das Problem nicht allein im Vorhandensein des korrekten Parses im Beam liegt.

Bedeutung und Behauptungen
Die Studie kommt zu dem Schluss, dass die Hypothese der Parse-Multiplizitäts-Diskrepanz die LM-basierte Surprisal nicht vollständig mit der menschlichen Satzverarbeitung in Einklang bringen kann. Zwar erhöht die Begrenzung der Anzahl gleichzeitiger Parses in LMs die vorhergesagte Schwierigkeit von Garden-Path-Sätzen, doch dies reicht nicht aus, um das volle Ausmaß menschlicher Verarbeitungskosten zu erklären.

Die Autoren argumentieren, dass diese Erkenntnis Folgendes nahelegt:

Die Diskrepanz wird nicht allein durch die Anzahl der betrachteten Interpretationen (Parse-Multiplizität) getrieben.
Selbst wenn ein LM gezwungen wird, nur die anfänglich bevorzugte (falsche) Interpretation zu betrachten, bleibt das resultierende Surprisal für das auflösende Wort zu niedrig, um menschliche Lesedauern zu erklären.
Daher erfordert die Erklärung des vollen Ausmaßes von Garden-Path-Effekten wahrscheinlich Mechanismen jenseits der einstufigen Wortvorhersagbarkeit. Die Autoren schlagen vor, dass syntaktische Reanalyse (ein zweistufiger Reparaturprozess) oder andere Mechanismen, die von der standardmäßigen Surprisal-Theorie nicht erfasst werden, notwendig sind, um die menschliche Auflösungs-Schwierigkeit zu modellieren.

Die Arbeit impliziert, dass LMs zwar menschliche Vorhersagemechanismen parallelisieren mögen, die spezifischen rechnerischen Einschränkungen des menschlichen Gedächtnisses (in Bezug auf Parallelität) jedoch nicht der primäre Faktor sind, der die Diskrepanz bei Garden-Path-Effekten verursacht. Stattdessen könnte die Natur der Verarbeitungskosten selbst Prozesse (wie Reanalyse) beinhalten, die nicht auf wortbasiertes Surprisal reduzierbar sind.

Mehr davon