Large Language Models as Proxies for Theories of Human Linguistic Cognition

Technische Zusammenfassung: Large Language Models als Stellvertreter für Theorien der menschlichen linguistischen Kognition

Problemstellung
Die Arbeit setzt sich mit der Rolle von Large Language Models (LLMs) in der Untersuchung der menschlichen linguistischen Kognition (Human Linguistic Cognition, HLC) auseinander. Sie kritisiert die „LLM-Theorie“ (z. B. Piantadosi 2023), die postuliert, dass aktuelle LLMs selbst die besten Theorien der HLC seien, und argumentiert, dass diese Sichtweise die grundlegenden Unterscheidungen in der menschlichen Kognition, wie etwa Kompetenz vs. Performanz, Grammatikalität vs. Wahrscheinlichkeit sowie spezifische induktive Sprünge hinsichtlich hierarchischer Strukturen, nicht berücksichtigt.

Stattdessen untersucht das Paper die „Proxy-View“ (Stellvertreter-Ansicht). Diese Hypothese besagt, dass aktuelle LLMs zwar keine guten Theorien der HLC selbst sind, aber als Stellvertreter für eine dritte, noch unbenannte Theorie ($H_3$) dienen könnten. $H_3$ wird als eine Theorie konzipiert, die relativ linguistisch neutral ist (also nicht über die starken angeborenen Biases der generativen Linguistik, $H_1$, verfügt), aber dennoch in der Lage ist, den menschlichen Erwerb von Sprache und typologische Muster zu erklären. Das zentrale Problem besteht darin, dass $H_3$ derzeit nicht spezifiziert ist, was eine empirische Evaluierung erschwert. Die Autoren fragen, ob aktuelle LLMs als methodische Werkzeuge dienen können, um zu testen, ob eine linguistisch neutrale $H_3$ in der Lage wäre, linguistisches Wissen aus realistischen Korpora zu erwerben oder kreuzsprachliche typologische Asymmetrien zu erklären.

Methodik
Die Autoren evaluieren die Proxy-View durch zwei primäre experimentelle Rahmenbedingungen unter Verwendung einer Suite von acht LLMs, die von kleinen Modellen, die auf kindgerechter Sprache trainiert wurden (CHILDES, BabyLM), bis hin zu massiven Modellen, die auf Milliarden von Token trainiert wurden (BERT, GPT-2, LLaMA-3.2), reichen.

1. Übereinstimmung mit dem Stimulus (Erwerb von induktiven Sprüngen):

   • Aufgabe: Die Autoren testen, ob LLMs in der Lage sind, spezifische linguistische Verallgemeinerungen zu erwerben, von denen argumentiert wird, dass sie für linguistisch neutrale Lernende aus dem „Arm der Reize“ (Poverty of the Stimulus, APS) schwer abzuleiten seien.
   • Phänomene: Drei spezifische syntaktische Phänomene wurden getestet:
     • Across-the-Board (ATB) Bewegung.
     • Parasitäre Lücken (Parasitic Gaps, PG).
     • That-trace-Effekte (TTE).
   • Metrik: Unter Verwendung einer „Minimalpaar“-Methodik wurden den Modellen grammatikalische und ungrammatische Satzpaare präsentiert. Erfolg wurde nach einem großzügigen Maßstab definiert: Das Modell weist einer grammatikalischen Fortsetzung eine höhere Wahrscheinlichkeit zu als einer ungrammatischen.
   • Logik: Wenn LLMs (als Stellvertreter für $H_3$) es versäumen, die grammatikalische Option auch nach dem Training auf entwicklungsrealistischen oder massiven Korpora zu bevorzugen, deutet dies darauf hin, dass eine linguistisch neutrale $H_3$ diese Muster ebenfalls nicht erwerben könnte, was das APS-Argument für angeborene Biases ($H_1$) stärkt.

2. Kreuzlinguistische Evidenz (Typologische Asymmetrien):

   • Aufgabe: Die Autoren untersuchen, ob LLMs „attestierte“ Sprachen leichter lernen als „unattestierte“ (gestörte) Sprachen. Wenn eine linguistisch neutrale $H_3$ erklären kann, warum bestimmte Sprachtypen unattestiert sind, sollte es für den Proxy-LLM schwieriger sein, die unattestierten Varianten zu lernen.
   • Setup: Aufbauend auf Kallini et al. (2024) trainierten die Autoren einen Transformer auf Korpora von Englisch, Italienisch, Russisch und Hebräisch sowie auf gestörten Versionen dieser Korpora.
   • Perturbationen (Störungen):
     • Partial-reverse: Umkehrung von Satzsegmenten ab einem zufälligen Index.
     • Full-reverse: Umkehrung ganzer Sätze.
     • Switch-indices: Vertauschen von Token an spezifischen Indizes (0 und 2).
     • Token-hop: Einfügen von Markern in festen linearen Abständen von Verben (erfordert lineares Zählen).
   • Metrik: Validierungs-Perplexität während des Trainings. Eine niedrigere Perplexität indiziert leichteres Lernen.

Zentrale Ergebnisse

• Erwerb syntaktischer Verallgemeinerungen:

  • Die LLMs zeigten im Allgemeinen keine Präferenz für grammatikalische gegenüber ungrammatischen Sätzen in den Minimalpaaren für ATB, PG und TTE.
  • Mit Ausnahme des massiven LLaMA-Modells (trainiert auf Daten, die einer menschlichen Exposition von Hunderttausenden von Jahren entsprechen), bevorzugten alle Modelle überwältigend die ungrammatischen Optionen.
  • Dieses Versagen legt nahe, dass, falls LLMs Stellvertreter für $H_3$ sind, $H_3$ wahrscheinlich daran scheitern würde, diese komplexen hierarchischen Abhängigkeiten aus realistischem Input zu erwerben, was die APS-Argumente für angeborene linguistische Biases nicht entkräftet.

• Typologische Asymmetrien:

  • Die Ergebnisse stützten nicht konsistent die Idee, dass attestierte Sprachen leichter zu lernen sind als unattestierte Perturbationen.
  • Während partial-reverse Perturbationen schwieriger zu lernen waren als die Baselines (was die Proxy-View für diesen spezifischen Fall unterstützt), lieferten andere Perturbationen widersprüchliche Ergebnisse.
  • Für full-reverse, switch-indices und token-hop fanden die Modelle die unattestierten (gestörten) Versionen oft leichter zu lernen als die attestierten Baselines oder zeigten keinen signifikanten Unterschied.
  • Speziell die „token-hop“ Perturbation (die hierarchische Verallgemeinerungen zugunsten des linearen Zählens verletzt) wurde teilweise leichter gelernt als die attestierte Baseline.

Zentrale Beiträge

• Methodische Klärung: Das Paper artikuliert die „Proxy-View“ als eine distinkte Position zur „LLM-Theorie“ und klärt, dass LLMs theoretisch als Werkzeuge zur Evaluierung neutraler Theorien dienen können, ohne diese Theorien selbst zu sein.
• Empirische Evaluierung: Es liefert einen vorläufigen empirischen Test der Proxy-View, der über theoretische Spekulationen hinausgeht und konkrete Experimente zu Erwerb und Typologie anwendet.
• Negativ-Evidenz: Die Studie zeigt auf, dass aktuelle LLMs unter den gegebenen Bedingungen und Modellen keine Evidenz dafür liefern, dass eine linguistisch neutrale Theorie komplexe linguistische Phänomene oder typologische Muster erklären kann.

Bedeutung und Behauptungen
Das Paper kommt zu dem Schluss, dass aktuelle LLMs die Proxy-View derzeit nicht stützen. Die Unfähigkeit der Modelle, menschenähnliche induktive Sprünge zu approximieren (selbst mit massiven Daten), sowie ihr inkonsistentes Lernen von typologischen Mustern legen nahe, dass sie schlechte Stellvertreter für eine erfolgreiche linguistisch neutrale Theorie der HLC sind.

Die Autoren betonen, dass die Proxy-View weiterhin „zu vage“ ist, um in der empirischen Wissenschaft direkt nützlich zu sein, da die Zieltheorie ($H_3$) nicht explizit definiert ist. Das Paper dient als ein „Appell“ an die Befürworter der Proxy-View, explizite Details der Zieltheorie zu liefern und aufzuzeigen, wie die Leistung des LLM spezifisch diese Theorie gegenüber generativen Alternativen stützt. Die Autoren nehmen eine moderate Haltung ein und merken an, dass ihre negativen Ergebnisse spezifisch für die getesteten Modelle und Phänomene sind und dass zukünftige Arbeiten mit anderen Modellen oder expliziteren Theorien zu anderen Schlussfolgerungen führen könnten. Basierend auf der aktuellen Evidenz liefern LLMs jedoch keinen Anlass, die bestehende linguistische Theorie zu ändern.