To model human linguistic prediction, make LLMs less superhuman

Technische Zusammenfassung: „Um menschliche linguistische Vorhersage zu modellieren, machen Sie LLMs weniger übermenschlich"

Problemstellung
Große Sprachmodelle (LLMs) wurden historisch als rechnerische Modelle menschlicher linguistischer Vorhersage eingesetzt, basierend auf der Prämisse, dass ihre Fähigkeit, kommende Wörter vorherzusagen, menschliche kognitive Prozesse widerspiegelt. Es hat sich jedoch ein Paradoxon ergeben: Je genauer die Vorhersage des nächsten Wortes bei Mainstream-LLMs wurde, desto schlechter wurde ihre Fähigkeit, menschliches Leseverhalten (insbesondere Lesezeiten und Augenbewegungsdaten) zu erklären. Die Arbeit argumentiert, dass diese Divergenz darauf zurückzuführen ist, dass aktuelle LLMs „übermenschliche" Vorhersagefähigkeiten besitzen, die durch Speicherkapazitäten angetrieben werden, die die menschlicher Leser weit übertreffen. Konkret zeigen LLMs überlegenes Langzeitgedächtnis (Bewahrung riesigen faktischen Wissens und von Trainingsbeispielen) und nahezu perfektes Kurzzeitgedächtnis (treues Abrufen von Wörtern aus entfernten Kontexten ohne zeitlichen Verfall), was zu Vorhersagen führt, die durchschnittliche Menschen nicht treffen können.

Methodik und Analyse
Die Arbeit fasst bestehende empirische Literatur zusammen und analysiert die Beziehung zwischen Modellleistung und Übereinstimmung mit menschlichen Daten neu.

• Zusammenfassung der Literatur: Die Autoren untersuchen den Verlauf von Studien, die LLMs zur Schätzung der Wortvorhersagbarkeit nutzen. Sie kontrastieren frühe Befunde (bei denen eine bessere Vorhersagegenauigkeit mit einer besseren Übereinstimmung zu menschlichen Lesezeiten korrelierte) mit neueren Befunden (post-2022), die leistungsstarke, auf massiven Datensätzen trainierte Transformer-basierte Modelle verwenden.
• Neubewertung der Daten: Die Autoren untersuchen Ergebnisse aus Standardkorpora, einschließlich des Natural Stories Corpus (selbstgesteuertes Lesen) und des Dundee Corpus (Augenbewegungsdaten). Sie beobachten, dass zwar anfängliche Verbesserungen der Modellgenauigkeit die Übereinstimmung erhöhten, weitere Gewinne in der Vorhersagegenauigkeit – angetrieben durch vergrößerte Modellgröße und Trainingsdaten – jedoch zu einer zunehmenden Diskrepanz mit menschlichen Lesezeiten führten.
• Mechanistische Analyse: Die Arbeit zerlegt die architektonischen und trainingsbedingten Unterschiede zwischen Menschen und LLMs:
  • Langzeitgedächtnis: LLMs werden mit um Größenordnungen mehr Daten trainiert (z. B. 15 Billionen Wörter für Llama 3 gegenüber ~100 Millionen für ein Kind bis zum 12. Lebensjahr) und bewahren faktisches Wissen (z. B. Geburtsorte von Prominenten) und Mehrwortausdrücke, die Menschen fehlen oder die sie vergessen haben.
  • Kurzzeitgedächtnis: Im Gegensatz zum menschlichen Arbeitsgedächtnis, das mit der Zeit verfällt und Störungen unterliegt, behalten Transformer-Architekturen über Aufmerksamkeitsmechanismen einen „verfallsfreien" Speicher vorheriger Wörter. Dies ermöglicht LLMs, tausende Wörter zuvor erwähnte Entitäten perfekt abzurufen, eine Fähigkeit, die zu einer nahezu perfekten Vorhersage wiederholter Texte führt, während Menschen hier Verarbeitungsprobleme zeigen.

Hauptbeiträge

1. Identifizierung von „Übermenschlichkeit" als Hindernis: Die Arbeit geht davon aus, dass das Haupthindernis für die Nutzung von LLMs als kognitive Modelle nicht deren mangelnde Fähigkeit, sondern deren übermäßige Fähigkeit ist. Ihr „übermenschliches" Gedächtnis ermöglicht es ihnen, Vorhersageaufgaben zu lösen, die für Menschen aufgrund von Wissenslücken oder Gedächtnisverfall inhärent schwierig sind.
2. Diagnose von Gedächtnisdiscrepanzen: Die Autoren schreiben die Diskrepanz explizit zwei spezifischen Gedächtnisfehlern zu:
   • Familiaritäts-Discrepanz: LLMs verfügen über faktisches Wissen und Exposition gegenüber spezifischen Texten (z. B. die Unabhängigkeitserklärung), die dem durchschnittlichen menschlichen Leser fehlen.
   • Abruf-Discrepanz: LLMs fehlen die zeitlichen Verfalls- und Interferenzeffekte, die dem menschlichen Kurzzeitgedächtnis inhärent sind, was ihnen erlaubt, syntaktische Mehrdeutigkeiten aufzulösen und wiederholte Entitäten mit perfekter Genauigkeit abzurufen, während Menschen hier Schwierigkeiten haben.
3. Vorschlag für menschähnliche Modellierung: Die Arbeit plädiert für eine Verschiebung der Modellierungsziele von der Maximierung der Vorhersagegenauigkeit hin zur Maximierung der menschähnlichkeit. Dies beinhaltet die Entwicklung von LLMs mit menschlichen Maßstäben entsprechenden Gedächtnisbeschränkungen.

Ergebnisse und Evidenz

• Divergenztrends: Die Analyse von Regressionsmodellen, die LLM-Wahrscheinlichkeiten an menschliche Lesezeiten anpassen, zeigt eine nicht-monotone Beziehung. Anfängliche Steigerungen der Modellgenauigkeit verbessern die Anpassung, aber jenseits eines bestimmten Schwellenwerts verschlechtern weitere Genauigkeitsgewinne die Anpassung.
• Studien zur Manipulation des Gedächtnisses: Die Arbeit zitiert Belege dafür, dass die Einschränkung des Zugriffs von LLMs auf Kontext die Übereinstimmung verbessert. Beispielsweise reduziert das Herabstufen hochfrequenter Wörter in tief verschachtelten Sätzen oder die Beschränkung des Aufmerksamkeitsfensters auf jüngste Wörter die Diskrepanz zwischen Modellwahrscheinlichkeiten und menschlichen Lesezeiten.
• Effekte der Trainingsdaten: Modelle, die auf kleineren, kuratierten Datensätzen (z. B. der BabyLM-Challenge) oder spezialisierten Domänen trainiert wurden, zeigen eine bessere Übereinstimmung mit menschlichem Leseverhalten als solche, die auf massiven, allgemeinen Korpora trainiert wurden. Dies legt nahe, dass die Begrenzung der Datensexposition die Aneignung „übermenschlicher" Expertise verhindert.

Bedeutung und zukünftige Richtungen
Die Arbeit kommt zu dem Schluss, dass LLMs, um als valide Modelle des menschlichen Sprachverständnisses zu dienen, „weniger übermenschlich" gemacht werden müssen. Die Autoren skizzieren mehrere Richtungen, um dies zu erreichen:

• Kurierung der Trainingsdaten: Begrenzung der Trainingsdaten auf menschliche Maßstäbe (z. B. ~100 Millionen Wörter), um das Auswendiglernen obskurer Fakten zu verhindern und die Entwicklung perfekter Kurzzeitgedächtnismechanismen zu reduzieren.
• Architektonische Änderungen: Erforschung rekurrenter neuronaler Netzwerkarchitekturen, die Eingabekompression erzwingen und menschähnlichen Verfall implementieren, oder Modifikation von Transformer-Aufmerksamkeitsmechanismen, um Engpässe und Verfallfunktionen einzuführen.
• Trainingsziele: Wechsel von Zielen, die „lexikalisch scharfe" Vorhersagen belohnen (Zuweisung hoher Wahrscheinlichkeit an das einzelne korrekte Wort) zu Zielen, die „diffuse" Vorhersagen fördern (Zuweisung von Wahrscheinlichkeitsmasse an semantisch ähnliche Wörter), was menschliche Unsicherheit besser widerspiegelt.
• Post-hoc-Interventionen: Einsatz von Modell-Editing-Techniken, um spezifisches faktisches Wissen, das Menschen typischerweise fehlt, zu „verlernen".
• Neue experimentelle Paradigmen: Die Autoren fordern gezielte menschliche Experimente zur Messung des Fortschritts. Diese Experimente sollten systematisch Langzeitwissen (via Fragebögen) und Kurzzeitgedächtnislasten (via Listenabruf und dazwischenliegendem Text) manipulieren, um einen kausalen Zusammenhang zwischen Gedächtnisbeschränkungen und Leseverhalten herzustellen.

Die Arbeit betont, dass das Schließen der Kluft zwischen LLMs und Menschen nicht nur bessere Modelle erfordert, sondern Modelle, die durch menschliche Grenzen in Gedächtnis und Wissen eingeschränkt sind.