Modelling Language using Large Language Models

Diese Arbeit verteidigt die These, dass große Sprachmodelle als wissenschaftliche Modelle für öffentliche, soziale Sprachen dienen können, und schlägt vor, Erkenntnisse aus der Interpretierbarkeit dieser Modelle zu nutzen, um eine geeignete Modellkonstruktion zu entwickeln.

Das Wesentliche

Hier ist eine einfache Erklärung des Papers von Jumbly Grindrod, verpackt in eine Geschichte mit Bildern aus dem Alltag.

Die große Idee: KI als „Sprach-Teleskop" statt als „Sprach-Professor"

Stell dir vor, du möchtest verstehen, wie das Wetter funktioniert. Du könntest versuchen, jeden einzelnen Luftmolekül im Kopf zu berechnen (das wäre die Theorie). Oder du könntest ein riesiges, komplexes Wettermodell bauen, das auf Sensordaten basiert und dir sagt, wie sich das Wetter entwickelt, ohne dass du jeden Molekül im Detail verstehst (das wäre das Modell).

Der Autor dieses Papers sagt: Große Sprachmodelle (wie ChatGPT) sind keine Sprach-Professoren, die uns die Regeln der Grammatik erklären können. Sie sind aber hervorragende Wettermodelle für die Sprache.

Hier ist die Aufschlüsselung in einfachen Schritten:

1. Das Missverständnis: KI als „Theoretiker"

Viele Leute denken: „Wenn eine KI so gut spricht, muss sie ja wissen, wie Sprache funktioniert. Also ist sie eine Theorie über Sprache."

• Der Vergleich: Das ist so, als würdest du denken, ein Wettervorhersage-Computer sei ein Meteorologe, der erklärt, warum es regnet.
• Das Problem: Die KI lernt nicht durch Nachdenken oder Regeln. Sie lernt durch das Durchsuchen von Milliarden von Texten. Sie weiß nicht, warum ein Satz grammatikalisch korrekt ist, sie weiß nur, dass er in den Texten, die sie gelesen hat, oft so vorkommt.
• Die Kritik: Sprachwissenschaftler (wie Noam Chomsky) sagen oft: „Das bringt uns nichts, weil die KI nicht versteht, wie unser Gehirn Sprache verarbeitet." Sie wollen die „innere Maschine" (das Gehirn) verstehen.

2. Der neue Blickwinkel: Sprache als „öffentlicher Ort"

Der Autor sagt: „Wartet mal! Wir müssen die Sprache nicht nur als etwas im Kopf betrachten. Sprache ist auch etwas Öffentliches."

• Der Vergleich: Stell dir eine Sprache wie eine große, laute Party vor.
  • I-Language (Chomskys Sicht): Wie jeder einzelne Gast die Musik im Kopf hört.
  • E-Language (Die Sicht des Autors): Das, was auf der Party tatsächlich passiert. Wer tanzt mit wem? Welche Wörter werden benutzt? Welche Slang-Ausdrücke sind gerade in?
• Die Erkenntnis: Die KI ist wie ein riesiges, unsichtbares Mikrofon, das die ganze Party aufzeichnet. Sie versteht nicht, wie das Gehirn der Gäste funktioniert, aber sie erfasst perfekt, wie die Party tatsächlich abläuft. Und das ist wissenschaftlich wertvoll!

3. Die KI als „Werkzeug" (Modell) statt als „Antwort" (Theorie)

Der Autor schlägt vor, die KI nicht als die Antwort auf alle Fragen zu sehen, sondern als ein Werkzeug, um die Sprache zu beobachten.

• Der Vergleich: Stell dir vor, du willst die Struktur eines Waldes verstehen.
  • Du könntest versuchen, jeden Baum zu vermessen und zu erklären (Theorie).
  • Oder du könntest einen Satelliten starten, der Fotos macht und Muster zeigt (Modell).
  • Der Satellit ist nicht der Wald selbst, aber er zeigt dir Muster, die du vom Boden aus nicht sehen würdest (z. B. wie sich Bäume in Gruppen anordnen).
• Die Anwendung: Die KI ist dieser Satellit. Sie zeigt uns Muster in der Sprache (wie Wörter zusammenhängen), die wir vorher übersehen haben.

4. Das Problem mit dem „Schwarzen Kasten" und die Lösung

Ein großes Problem ist: Wir wissen nicht genau, wie die KI das macht. Sie ist wie eine schwarze Kiste. Wir steuern Daten rein und kommen Ergebnisse raus. Aber was passiert im Inneren?

• Die Angst: „Wenn wir nicht wissen, wie die Kiste funktioniert, können wir ihr nicht trauen."
• Die Lösung (Der „Schlüssel"): Der Autor sagt: Wir müssen die Kiste nicht komplett öffnen, um sie zu nutzen. Wir brauchen nur einen Schlüssel, um zu verstehen, was die Kiste tut.
  • In der Wissenschaft gibt es Methoden (genannt Explainable AI oder XAI), die wie ein Röntgengerät funktionieren. Sie zeigen uns: „Aha, dieser Teil der KI schaut sich genau an, ob Subjekt und Verb übereinstimmen."
  • Sobald wir diesen Schlüssel haben, können wir sagen: „Diese KI ist ein gutes Modell für die Grammatik der Sprache, weil wir wissen, dass sie diese spezifischen Muster erfasst."

5. Das größte Missverständnis: „Die KI lernt nur aus ihren Daten"

Ein Kritiker könnte sagen: „Die KI ist doch nur ein Spiegel ihrer Trainingsdaten. Sie ist wie ein Stempel, der Texte kopiert."

• Der Vergleich: Stell dir vor, du lernst Kochen, indem du 10.000 Rezepte liest.
  • Ein Stempel würde nur die Rezepte genau abschreiben.
  • Ein guter Koch (die KI) lernt die Prinzipien des Kochens. Er weiß, dass man Salz und Pfeffer zusammenfügt, auch wenn er in keinem der 10.000 Rezepte genau diese Kombination gelesen hat. Er kann neue Gerichte erfinden.
• Die Antwort: Die KI ist nicht nur ein Stempel. Sie wurde trainiert, um Muster zu erkennen und zu verallgemeinern. Sie lernt die „Regeln des Spiels" der Sprache, nicht nur die einzelnen Züge. Sie ist also ein Modell der Sprache selbst, nicht nur der Texte, die sie gelesen hat.

Fazit: Was bringt uns das?

Der Autor sagt: Hör auf, die KI als den ultimativen Sprach-Professor zu sehen, und fang an, sie als ein mächtiges Mikroskop zu nutzen.

• Früher: Wir versuchten, Sprache nur durch Nachdenken über das menschliche Gehirn zu verstehen.
• Jetzt: Wir können die KI nutzen, um die Sprache als etwas zu sehen, das in der Gesellschaft lebt und sich verändert.
• Das Ziel: Wir bauen keine fertige Theorie mit der KI. Wir nutzen die KI, um neue Fragen zu stellen und zu sehen, wie Sprache in der echten Welt funktioniert. Es ist wie der Unterschied zwischen dem Versuch, eine Landkarte aus dem Kopf zu zeichnen, und dem Nutzen eines GPS, das uns zeigt, wo die Straßen wirklich sind.

Kurz gesagt: Die KI ist kein Lehrer, der uns die Grammatik erklärt. Sie ist ein Forschungsinstrument, das uns hilft, die Sprache so zu sehen, wie sie wirklich ist: ein lebendiges, öffentliches Phänomen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Artikels „Modelling Language using Large Language Models" von Jumbly Grindrod auf Deutsch.

1. Problemstellung (Problem)

Der Artikel adressiert die kontroverse Debatte darüber, ob Large Language Models (LLMs) einen wissenschaftlichen Beitrag zur Linguistik leisten können.

• Die Spaltung: Es besteht eine tiefe Kluft zwischen Befürwortern (meist aus der computergestützten Linguistik), die LLMs als theoretisch wertvoll erachten, und Kritikern (oft aus der generativen Linguistik, z. B. Chomsky), die argumentieren, dass LLMs keine linguistischen Einsichten bieten.
• Die Kritikpunkte:
  • Kognitiver Fokus: Die traditionelle Linguistik (insb. Chomsky) betrachtet Sprache primär als kognitives Phänomen („I-Language" oder innere Sprache). Da LLMs auf riesigen Datenmengen trainiert werden und nicht den biologischen Lernprozess eines Kindes nachahmen, können sie keine Theorie der linguistischen Kompetenz sein.
  • Kompetenz vs. Performance: LLMs würden nur sprachliche Performanz (tatsächliche Äußerungen) abbilden, nicht die zugrundeliegende Kompetenz (die innere Grammatik).
  • Kategorialer Fehler: LLMs seien lediglich Wahrscheinlichkeitsverteilungen für das nächste Wort und keine erklärenden Theorien.
  • Datenbasis: LLMs seien lediglich Modelle ihrer Trainingsdaten (Korpus-Modelle) und keine Modelle einer Sprache als externer Entität.

Das Kernproblem besteht darin, den epistemologischen Status von LLMs zu klären: Sind sie bloße Vorhersagemaschinen für Text, oder können sie als wissenschaftliche Modelle für Sprache dienen?

2. Methodik (Methodology)

Der Autor verwendet einen philosophisch-analytischen Ansatz, der Konzepte aus der Wissenschaftsphilosophie (insbesondere Michael Weisbergs Modelltheorie) auf die Linguistik und KI anwendet.

• Ontologischer Pluralismus: Grindrod lehnt die monistische Sichtweise (Sprache ist nur ein mentales Phänomen) ab. Stattdessen wird ein pluralistischer Ansatz vertreten, der Sprache als mentale, abstrakte und soziale Entität („E-Language" nach Chomsky) anerkennt. Der Fokus liegt auf der Sprache als externer, sozialer Konvention.
• Modellkonstrual (Model Construal): Anstatt LLMs als vollständige Theorien zu betrachten, werden sie als wissenschaftliche Modelle definiert. Basierend auf Weisberg (2007) wird argumentiert, dass ein Modell aus zwei Teilen besteht:
  1. Struktur: Das LLM selbst (die Architektur und Parameter).
  2. Konstrual (Interpretation): Die Zuordnung, welche Teile des Modells welche Teile des Zielphänomens (der E-Language) repräsentieren.
• Reduktion von Link-Uncertainty: Um die „Black Box"-Problematik (Opazität) von LLMs zu adressieren, wird auf Techniken aus dem Bereich „Explainable AI" (XAI) und Evaluations-Benchmarks (wie GLUE) zurückgegriffen. Diese helfen, die Verbindung zwischen dem Modell und dem Zielphänomen empirisch zu untermauern.

3. Hauptbeiträge (Key Contributions)

Der Artikel liefert drei wesentliche theoretische Beiträge:

1. Paradigmenwechsel von Theorie zu Modell:
   Der Autor argumentiert, dass der Versuch, LLMs als Theorien der linguistischen Kompetenz zu sehen, zum Scheitern verurteilt ist. Stattdessen sollten sie als Modelle für E-Languages (öffentliche, soziale Sprachen) betrachtet werden. Dies umgeht die Kritik, dass LLMs keine biologischen Lernprozesse abbilden, da E-Languages per Definition externe soziale Konventionen sind, die durch massive Datenmengen (Performanz) empirisch erfassbar sind.

2. Entwicklung eines Konstruals für LLMs:
   Es wird gezeigt, wie ein wissenschaftliches Konstrual für LLMs entwickelt werden kann, trotz deren Opazität:

   • Zuweisung (Assignment): Innere Aktivierungsmuster (z. B. in Self-Attention-Headern) können syntaktischen oder semantischen Relationen zugeordnet werden.
   • Umfang (Scope): Das Modell erfasst die linguistischen Konventionen einer Gemeinschaft.
   • Fidelität (Fidelity): Durch Evaluationsaufgaben (z. B. Grammatikalitätsurteile) wird geprüft, wie genau das Modell die Regeln der Sprache abbildet.
   • Die Arbeit zeigt, dass XAI-Techniken (wie Probing-Classifiers) und iterative Evaluierungsschleifen (z. B. RoBERTa vs. BERT) die notwendige Transparenz schaffen, um LLMs als repräsentative Modelle zu nutzen.

3. Widerlegung des „Korpus-Modell"-Arguments:
   Der Autor widerlegt die Behauptung, LLMs seien nur Modelle ihrer Trainingsdaten.

   • Generalisierung vs. Overfitting: Durch Regularisierungstechniken (z. B. Weight Decay) und Validierungssets wird verhindert, dass das Modell Daten nur auswendig lernt (Overfitting).
   • Extrapolation: LLMs generalisieren Muster, um Vorhersagen für neue Texte zu treffen, die nicht im Trainingskorpus enthalten waren. Sie lernen somit die zugrundeliegenden Regeln (Konventionen) der Sprache, nicht nur die spezifischen Datenpunkte.

4. Ergebnisse und Evidenz (Results)

Der Artikel präsentiert keine neuen experimentellen Daten, sondern synthetisiert bestehende Forschungsergebnisse, um seine These zu stützen:

• Empirische Korrelation: Studien (z. B. Manning et al., 2020; Schrimpf et al., 2020) zeigen, dass LLMs syntaktische Abhängigkeiten extrahieren können und deren interne Aktivierungsmuster menschliche neuronale Reaktionen sowie menschliche Überraschungsmaße (Surprisal) vorhersagen.
• Erfolg bei Benchmarks: Die hohe Leistung von LLMs auf Benchmarks wie GLUE (Grammatikalität, Entailment, Pronomenauflösung) beweist, dass sie linguistische Strukturen internalisiert haben, die über reine Textvorhersage hinausgehen.
• Iterative Verfeinerung: Der Prozess der Modellentwicklung (z. B. die Optimierung von BERT zu RoBERTa durch das Entfernen von Aufgaben, die die Leistung beeinträchtigen) zeigt, dass die Linguistik und die Evaluierung die Konstruktion der Modelle steuern und somit das Konstrual verfeinern.

5. Bedeutung und Implikationen (Significance)

Die Bedeutung dieses Artikels liegt in der Etablierung eines neuen Forschungsfeldes innerhalb der Linguistik:

• Neue wissenschaftliche Perspektive: LLMs eröffnen die Möglichkeit, Sprache als soziales, externes Objekt (E-Language) zu modellieren. Dies ergänzt die kognitive Linguistik, ersetzt sie aber nicht.
• Wissenschaftlicher Fortschritt: Durch die Nutzung von LLMs als Modelle können Linguisten linguistische Konventionen empirisch untersuchen, die bisher schwer fassbar waren.
• Philosophische Klärung: Der Artikel löst das Spannungsverhältnis zwischen KI und Linguistik auf, indem er die ontologischen Voraussetzungen (Pluralismus) und die methodologischen Werkzeuge (Modellkonstrual) klar definiert.
• Praktische Anwendung: Er legitimiert den Einsatz von XAI-Techniken in der Linguistik, um die „Black Box" der neuronalen Netze zu öffnen und sie als valide wissenschaftliche Werkzeuge zur Erforschung von Sprachkonventionen zu etablieren.

Zusammenfassend argumentiert Grindrod, dass LLMs nicht als Theorien des menschlichen Geistes, sondern als hochkomplexe, empirisch fundierte Modelle öffentlicher Sprachen zu verstehen sind, die einen wertvollen Beitrag zur linguistischen Wissenschaft leisten können.