Multilingual Large Language Models do not comprehend all natural languages to equal degrees
Die Studie zeigt, dass multilinguale Large Language Models zwar typologisch diverse Sprachen verstehen, jedoch in keiner Sprache menschliche Baselines erreichen und dabei überraschenderweise Englisch von mehreren romanischen Sprachen übertroffen wird, was auf Faktoren wie Tokenisierung, Trainingsdatengröße und Herkunft der Daten zurückzuführen ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
🌍 Die KI-Sprachprüfung: Nicht alle Sprachen sind gleich schwer
Stellen Sie sich vor, Sie haben drei superkluge, digitale Gehirne (die KI-Modelle GPT-4o, Grok-3 und DeepSeek-V3). Diese Gehirne haben Millionen von Büchern, Artikeln und Internetseiten in vielen verschiedenen Sprachen „geschluckt". Man geht oft davon aus, dass diese KIs alle Sprachen gleich gut verstehen, ähnlich wie ein Polyglott, der alle Dialekte der Welt beherrscht.
Die Forscher aus dieser Studie haben jedoch einen anderen Test gemacht: Sie haben diese KIs nicht nur gefragt, ob sie Fakten kennen, sondern ob sie echte Sätze wirklich verstehen.
🧩 Der Test: Ein kleines Rätsel
Stellen Sie sich ein kleines Rätsel vor:
„John hat Mary getäuscht, und Lucy wurde von Mary getäuscht. Hat Mary Lucy getäuscht?"
Die Antwort ist eigentlich einfach (Nein), aber man muss die Sätze genau lesen, um die Logik zu verstehen. Die Forscher haben dieses Rätsel in 12 verschiedene Sprachen übersetzt – von Englisch und Deutsch bis hin zu Japanisch, Arabisch und Türkisch. Dann haben sie die KIs gefragt und verglichen, wie gut sie im Vergleich zu echten Menschen abschneiden.
📉 Das überraschende Ergebnis: Englisch ist nicht der König
Das größte Missverständnis war: Englisch ist nicht die beste Sprache für diese KIs.
Stellen Sie sich die KIs wie einen Koch vor, der in einer riesigen Küche arbeitet. Man dachte, er könne das englische Rezept am besten kochen, weil er die meisten englischen Kochbücher hat. Aber das Ergebnis zeigte etwas anderes:
- Die KIs waren in Spanisch und Italienisch oft sogar besser als im Englischen!
- In Sprachen wie Japanisch oder Griechisch hingegen scheiterten sie oft kläglich, selbst wenn sie die Wörter kannten. Sie verstanden die Logik des Satzes nicht richtig.
Es ist, als würde der Koch in der spanischen Küche wie ein Meisterkünstler wirken, aber sobald er in die japanische Küche geht, verwechselt er die Zutaten und serviert einen Salat aus Suppe.
🤖 Warum passiert das? Drei Hauptgründe
Die Forscher haben herausgefunden, warum die KIs so unterschiedlich abschneiden:
Der „Zerlegungs"-Effekt (Tokenisierung):
KIs lesen Sprache nicht wie wir, sondern sie zerlegen Wörter in kleine Häppchen (sogenannte „Tokens"). Bei Sprachen wie Spanisch oder Italienisch funktionieren diese Häppchen sehr effizient. Bei Sprachen wie Japanisch (mit vielen Zeichen) oder Arabisch (mit komplexer Schrift) werden die Wörter oft in zu viele oder zu unlogische Stücke zerlegt. Das ist wie beim Versuch, ein Puzzle zu lösen, bei dem bei manchen Sprachen die Teile zu klein sind, um das Bild zu erkennen.Die Daten-Menge und -Qualität:
Zwar haben KIs viel Englisch-Daten, aber die Daten für Spanisch und Italienisch sind oft „sauberer" und besser strukturiert. Bei Sprachen, die von weniger Menschen gesprochen werden (wie Japanisch in diesem Kontext der Trainingsdaten), fehlen oft die richtigen Beispiele, um die Logik zu lernen.Die „WEIRD"-Falle:
Der Begriff „WEIRD" steht für westliche, gebildete, industrialisierte, reiche und demokratische Gesellschaften. Die meisten Trainingsdaten kommen von dort. Aber paradoxerweise schneiden KIs in den Sprachen dieser Gruppen (wie Englisch) nicht immer am besten ab, während sie in anderen europäischen Sprachen (wie Spanisch) überraschend gut sind. Das zeigt, dass es nicht nur um die Anzahl der Sprecher geht, sondern darum, wie die Daten gesammelt wurden.
🎯 Was bedeutet das für uns?
Die Studie warnt uns vor einer falschen Sicherheit:
- KIs sind keine perfekten Übersetzer oder Denker. Sie können in einer Sprache brillant sein und in der nächsten völlig danebenliegen.
- Vertrauen ist gefährlich. Wenn man eine KI in einer Sprache nutzt, in der sie schlecht abschneidet (z. B. Japanisch oder Arabisch in diesem Test), kann sie falsche Informationen liefern, ohne dass man es merkt.
- Die Welt ist nicht gleich. Die KI-Welt ist noch sehr verzerrt. Sprachen, die nicht in den großen westlichen Datenbanken stark vertreten sind, leiden darunter.
🎭 Fazit in einem Bild
Stellen Sie sich die KI wie einen sehr talentierten Schauspieler vor. In einem Theaterstück auf Spanisch oder Italienisch spielt er eine 10/10-Performance. Im Englischen gibt er eine solide 8/10. Aber sobald er auf Japanisch oder Griechisch spielen soll, stolpert er über die Worte und versteht den Text nicht mehr richtig.
Die Botschaft der Studie ist klar: Wir dürfen nicht davon ausgehen, dass eine KI „alles versteht", nur weil sie auf Englisch funktioniert. Wir müssen genau prüfen, in welcher Sprache sie wirklich zu Hause ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.