Evaluating Metalinguistic Knowledge in Large Language Models across the World's Languages
Die Studie zeigt, dass das metalinguistische Wissen aktueller Large Language Models fragmentiert ist und stark von der digitalen Verfügbarkeit der jeweiligen Sprache abhängt, wobei Modelle zwar über zufällige Ergebnisse hinausgehen, aber die Mehrheitsklassen-Baseline nicht übertreffen und somit keine verallgemeinerbare grammatikalische Kompetenz besitzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen extrem intelligenten, weltweiten Bibliothekar namens „Großes Sprachmodell" (oder kurz LLM). Dieser Bibliothekar hat Milliarden von Büchern gelesen, kann in fast jeder Sprache fließend reden, Geschichten erfinden und Fragen beantworten. Er wirkt wie ein Genie.
Aber die Forscher aus Slowenien haben sich eine ganz spezielle Frage gestellt: Weiß dieser Bibliothekar wirklich, wie die Sprache funktioniert, oder kann er sie nur gut nachmachen?
Stell dir vor, du fragst den Bibliothekar nicht: „Schreib mir einen Satz auf Deutsch," sondern: „Welche Regel gilt für die Wortstellung im Deutschen? Steht das Verb am Ende oder in der Mitte?" Das nennt man metalinguistisches Wissen – also das Wissen über die Sprache, nicht nur die Fähigkeit, sie zu benutzen.
Hier ist die Geschichte ihrer Entdeckungen, einfach erklärt:
1. Der große Test: Die Weltkarte der Sprachen
Die Forscher haben eine riesige Datenbank namens WALS (Weltatlas der Sprachstrukturen) benutzt. Stell dir das wie eine riesige Enzyklopädie vor, die für 2.660 Sprachen der Welt notiert hat, wie sie aufgebaut sind.
- Es gibt Regeln für Dinge wie: „Wie bildet man den Plural?", „Wo steht das Verb?" oder „Wie viele Vokale gibt es?"
- Die Forscher haben diese trockenen Regeln in einfache Multiple-Choice-Fragen verwandelt.
- Dann haben sie drei verschiedene KI-Modelle (eins von OpenAI, zwei offene Modelle) getestet: Haben sie die Antworten gewusst?
2. Das Ergebnis: Ein bisschen schlau, aber nicht wirklich ein Linguist
Das Ergebnis war ernüchternd, aber ehrlich:
- Die KIs sind keine echten Sprachexperten. Selbst das beste Modell (GPT-4o) hatte nur eine mittelmäßige Trefferquote von etwa 37 %. Das ist wie bei einem Schüler, der bei einer 100-Fragen-Prüfung nur 37 richtig hat.
- Sie raten oft nach dem Muster. Die KIs sind gut darin, zu erraten, was die meisten Sprachen tun (z. B. „Die meisten Sprachen haben Substantive"). Aber wenn es um die speziellen, seltsamen Regeln einer einzelnen, seltenen Sprache geht, versagen sie.
- Open-Source-Modelle (die frei verfügbaren) waren noch schlechter als das teure Spitzenmodell.
3. Warum manche Sprachen besser behandelt werden als andere
Hier kommt der spannendste Teil, der mit einer Metapher vom „Sichtbar-Sein" zu tun hat:
Stell dir vor, die KI lernt aus dem Internet.
- Sprachen mit viel Internet-Publikum (wie Englisch, Deutsch, Spanisch) sind wie Prominente. Über sie gibt es Millionen von Artikeln, Videos und Diskussionen. Die KI hat diese „Promis" oft gesehen und kennt ihre Regeln gut.
- Sprachen mit wenig Internet-Publikum (wie viele indigene Sprachen oder kleine Dialekte) sind wie Geister. Es gibt kaum Texte über sie im Internet. Die KI hat diese Sprachen noch nie richtig „gesehen".
Die Entdeckung: Je mehr digitale Spuren eine Sprache im Internet hinterlässt (Wikipedia-Artikel, Texte, Datenbanken), desto besser kann die KI ihre grammatikalischen Regeln erklären.
- Bei Sprachen mit viel digitaler Unterstützung lag die Trefferquote bei über 60 %.
- Bei Sprachen ohne digitale Präsenz fiel sie auf unter 20 %.
Es ist, als würde die KI sagen: „Ich kenne die Regeln von Englisch, weil ich sie in jedem Buch gelesen habe. Aber bei dieser kleinen Sprache in den Anden? Da habe ich noch nie etwas gelesen, also rate ich einfach."
4. Was die KI am besten und am schlechtesten kann
Die Forscher haben auch gesehen, dass die KI bei bestimmten Themen besser ist als bei anderen:
- Gut: Bei Wörtern und Vokabeln (Lexikon). Das ist leicht zu finden im Internet.
- Schlecht: Bei der Aussprache (Phonologie) und komplexen Satzstrukturen. Das sind Dinge, die man oft nicht explizit in Texten liest, sondern nur hört oder analysiert. Da hat die KI große Schwierigkeiten.
5. Was bedeutet das für die Zukunft?
Die Botschaft der Forscher ist klar:
Aktuelle KIs sind wie Spiegel. Sie zeigen uns genau das, was bereits digital existiert. Wenn eine Sprache im Internet nicht gut vertreten ist, ist sie auch in der KI nicht gut vertreten.
Das ist ein Problem, weil KIs oft eingesetzt werden sollen, um bedrohte Sprachen zu retten und zu dokumentieren. Aber wenn die KI über diese Sprachen gar nichts weiß, kann sie ihnen nicht helfen.
Fazit:
Die KI ist ein großartiger Nachahmer, aber kein echter Sprachwissenschaftler. Sie weiß nicht wirklich, wie Sprache funktioniert, sondern sie hat nur gelernt, was im Internet am häufigsten steht. Um KIs wirklich fair und nützlich für die ganze Welt zu machen, müssen wir mehr Daten über die „stille" Hälfte der Menschheit sammeln und in die KI einfließen lassen.
Die Forscher haben ihre Testfragen und Daten jetzt kostenlos veröffentlicht, damit andere Forscher das gleiche Spiel mit neuen Modellen spielen können, um zu sehen, ob wir in Zukunft bessere „Bibliothekare" haben werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.