Language Models Entangle Language and Culture
Diese Arbeit zeigt auf, dass große Sprachmodelle Nutzern, die in ressourcenarmen Sprachen abfragen, systematisch qualitativ minderwertigere Antworten liefern und veränderte kulturelle Kontexte aufweisen, wodurch dadurch systemische Nachteile basierend auf der Sprachwahl entstehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine riesige, magische Bibliothek, in der ein superintelligenter Roboter-Bibliothekar (das Large Language Model) Ihnen bei allen Fragen behilflich ist. Sie könnten ihn zum Beispiel fragen, wie Sie Ihren Schlaf verbessern, wie Sie ein Unternehmen gründen oder wie Sie Ihre Ersparnisse anlegen.
Dieses Papier ist wie ein Zeugnis für diesen Roboter-Bibliothekar, aber mit einem Clou: Die Forscher wollten herausfinden, ob der Bibliothekar Sie unterschiedlich behandelt, je nachdem, welche Sprache Sie sprechen.
Hier ist die Geschichte dessen, was sie herausgefunden haben, einfach aufgeschlüsselt:
1. Der „Magische Spiegel“-Test
Die Forscher erstellten eine Liste von 20 alltäglichen Fragen, wie zum Beispiel „Wie bekomme ich einen besseren Schlaf?“ oder „Was ist ein guter Businessplan für den Verkauf von T-Shirts?“. Sie stellten diese Fragen nicht nur auf Englisch. Sie übersetzten sie in Hindi, Chinesisch, Swahili, Hebräisch und brasilianisches Portugiesisch.
Dann stellten sie dem Roboter-Bibliothekar dieselben Fragen in all diesen verschiedenen Sprachen.
Das Ergebnis: Der Bibliothekar war nicht fair. Wenn Menschen auf Englisch, Chinesisch oder Portugiesisch fragten, waren die Antworten hochwertig, detailliert und hilfreich. Aber wenn Menschen in Sprachen wie Hindi, Swahili oder Hebräisch fragten, waren die Antworten oft kürzer, weniger detailliert und schlichtweg schlechter. Es ist, als hätte der Bibliothekar eine „Lieblingssprache“ und würde bei den anderen weniger Mühe geben.
2. Der Wechsel des „Kulturellen Kostüms“
Hier wird es besonders interessant. Die Forscher entdeckten, dass die Sprache, die Sie sprechen, nicht nur beeinflusst, wie gut der Roboter antwortet; sie verändert auch, welche Art von Welt der Roboter sich vorstellt.
Stellen Sie sich den Roboter wie einen Schauspieler vor.
- Wenn Sie die Frage auf Englisch stellen, zieht der Schauspieler ein „westliches“ Kostüm an. Er gibt vielleicht Ratschläge, die auf amerikanischen oder europäischen Gewohnheiten, Wwerten und Beispielen basieren.
- Wenn Sie exakt dieselbe Frage auf Hindi stellen, tauscht der Schauspieler das Kostüm gegen ein „indisches“ ein. Er beginnt plötzlich, über indische Familienstrukturen, lokales Essen oder andere soziale Normen nachzudenken.
- Wenn Sie auf Swahili fragen, zieht er ein „afrikanisches“ Kostüm an.
Die Forscher bewiesen dies, indem sie die auf Hindi gegebenen Antworten zurück ins Englische übersetzten und einen zweiten Roboter (den „Richter“) fragten, die Kultur zu erraten. Der Richter konnte immer noch sagen: „Diese Antwort wurde ursprünglich auf Hindi geschrieben“, weil der Geschmack des Ratschlags anders war. Die Sprache änderte nicht nur die Worte; sie änderte die kulturelle Linse, durch die der Roboter dachte.
3. Der „Faktische Landkarten“-Test
Um dies zu überprüfen, verwendeten sie eine Karte kultureller Fakten (einen Benchmark namens CulturalBench). Sie stellten dem Roboter Fragen wie „Was ist ein berühmtes Gericht in Brasilien?“ oder „Wer ist eine historische Persönlichkeit in Nigeria?“.
Sie fanden heraus, dass die Genauigkeit des Roboters stark von der verwendeten Sprache abhing. Der Roboter wusste mehr Fakten über ein Land, wenn er in dessen Sprache (oder einer damit verbundenen Hauptsprache) gefragt wurde, im Vergleich dazu, wenn er in einer anderen Sprache gefragt wurde. Es ist, als hätte der Roboter für verschiedene Sprachen unterschiedliche „Faktenbücher“, und einige dieser Bücher sind viel vollständiger als andere.
4. Warum passiert das?
Das Papier legt nahe, dass für diese KI-Modelle Sprache und Kultur miteinander verflochten sind, wie zwei Reben, die um denselben Baum wachsen. Man kann sie nicht einfach voneinander trennen.
Da die KI mit einer gewaltigen Menge an Internettexten trainiert wurde, hat sie gelernt, dass „Englisch“ oft mit „westlicher Kultur“ verknüpft ist und „Hindi“ mit „indischer Kultur“. Wenn man die Sprache wechselt, wechselt die KI automatisch den kulturellen Kontext, aus dem sie in ihrem Gedächtnis schöpft.
Das Wesentliche
Die wichtigste Erkenntik ist simpel: Wenn Sie einer KI eine Frage in einer „ressourcenarmen“ Sprache (einer Sprache mit weniger Daten im Internet) stellen, erhalten Sie möglicherweise eine schlechtere Antwort als, wenn Sie auf Englisch fragen.
Noch schlimmer ist, dass die Antwort, die Sie erhalten, kulturell unterschiedlich sein kann – nicht nur in der Qualität, sondern in den sehr Grundannahmen, die sie über Ihr Leben trifft. Die Forscher argumentieren, dass dies unfair ist. Genau wie ein Mensch in seiner Muttersprache um Rat fragen können sollte und die gleiche gute Hilfe erhält wie jemand, der Englisch spricht, müssen diese KI-Modelle besser trainiert werden, damit sie Nutzer nicht aufgrund der Sprache, die sie sprechen, abhängen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.