The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models
Diese Studie verwendet ein synthetisches geopolitisches Wargame, um zu demonstrieren, dass die sprachübergreifende Verhaltensverzerrung in Frontier-Large-Language-Models heterogen und architekturabhängig ist, wobei einige Modelle signifikante Verschiebungen in der koaktiven Rhetorik aufweisen, wenn sie auf Türkisch im Vergleich zu Englisch operieren, während andere aufgrund spezifischer Puffermechanismen wie Chain-of-Thought-Reasoning oder multilingualer Ausrichtung stabil bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine Gruppe von sehr intelligenten, hochtrainierten digitalen Diplomaten. Sie bitten sie, ein hochkarätiges Spiel der „Krisenverhandlung“ auf See zu spielen, bei dem zwei Länder darüber streiten, wem ein Stück Ozean gehört.
Die Forscher wollten sehen, ob diese digitalen Diplomaten anders handeln würden, je nachdem, welche Sprache sie sprechen. Sie nannten dies den „Shibboleth-Effekt“.
Denken Sie an einen „Shibboleth“ wie ein Passwort aus einer alten Geschichte. In der Bibel gab es ein bestimmtes Wort, um Freunde von Feinden zu unterscheiden. Wenn man das Wort falsch aussprach, galt man als Außenseiter. In dieser Studie ist die Sprache selbst das „Passwort“. Die Forscher wollten wissen: Macht das Sprechen von Türkisch diese KI-Diplomaten aggressiver als das Sprechen von Englisch?
Das Experiment: Eine synthetische Seeschlacht
Um dies zu testen, erschufen die Forscher eine fiktive Krise namens „Cerulean Sea Crisis“. Es ist eine erfundene Geschichte, die exakt wie reale Konflikte im östlichen Mittelmeer (unter Beteiligung der Türkei und Griechenlands) aussieht, aber mit erfundenen Namen, damit die KI die Antwort nicht einfach über Google nachschlagen kann.
Sie richteten ein Spiel mit sechs verschiedenen „superintelligenten“ KI-Modellen ein (wie GPT-4o, Llama-4, Gemini usw.). Jede KI spielte eine Rolle:
- Eine spielte die aggressive Macht (wie die Türkei).
- Eine spielte den Verteidiger (wie Griechenland).
- Andere spielten Verbündete, Beobachter oder Weltmächte.
Sie ließen das Spiel 10 Mal auf Englisch und 10 Mal auf Türkisch durchlaufen. Das Einzige, was sie änderten, war die Sprache; die Regeln, Ziele und die Situation blieben exakt gleich.
Die große Überraschung: Es ist kein „Einheitsmodell“
Vor dieser Studie nahmen viele Menschen an, dass eine KI, wenn sie auf Englisch „sicher“ und „kooperativ“ ist, auch in jeder anderen Sprache sicher und kooperativ sein würde. Die Forscher dachten: „Vielleicht werden diese KIs einfach wütender, wenn sie andere Sprachen sprechen.“
Die Ergebnisse zeigten, dass die Wahrheit viel komplizierter ist. Die KIs reagierten nicht alle gleich. Sie waren wie eine Gruppe von Menschen auf einer Party: Einige wurden lauter, wenn sie die Sprache wechselten, einige wurden leiser und einige änderten sich gar nicht.
So verhielten sich die spezifischen „digitalen Diplomaten“:
Der „aggressive“ Diplomat (Llama-4):
Wenn diese KI Türkisch sprach, wurde sie signifikant aggressiver. Sie nutzte mehr Drohungen und Ultimaten.- Analogie: Stellen Sie sich einen Friedenswächter vor, der auf Englisch ruhig spricht, aber wenn er zu Türkisch wechselt, plötzlich anfängt zu schreien und mit der Faust auf den Tisch zu hauen.
Der „Friedensstifter“ (Gemini-3.1-Pro):
Dieser war das genaue Gegenteil. Wenn er Türkisch sprach, wurde er signifikant ruhiger und weniger drohend.- Analogie: Dies ist wie ein harter Verhandler, der auf Englisch mit strenger Stimme spricht, aber wenn er zu Türkisch wechselt, plötzlich sehr sanft und kompromissbereit wird.
Der „unveränderliche“ Diplomat (GPT-4o):
Diese KI zeigte keinen wirklichen Unterschied. Ob sie Englisch oder Türkisch sprach, ihr Verhalten blieb gleich.- Analogie: Dies ist wie ein Roboter, der in beiden Sprachen mit dem exakt gleichen roboterhaften, neutralen Ton spricht. Er wurde weder wütend noch weicher.
Der „Denker“ (DeepSeek-R1):
Diese KI wurde in Türkisch ebenfalls ruhiger. Aber die Forscher bekamen einen speziellen Einblick in ihr Gehirn (genannt „Chain-of-Thought“). Sie sahen, dass diese KI sich vor dem Sprechen explizit an internationales Recht und Regeln erinnerte.- Analogie: Es ist wie ein Schüler, der eine Prüfung schreibt. In Englisch antwortet er einfach. In Türkisch hält er inne, schlägt sein Regelbuch auf, liest die Gesetze laut vor sich selbst vor und gibt dann eine sehr vorsichtige, juristische Antwort.
Warum passiert das?
Das Paper legt zwei Hauptgründe nahe, warum diese KIs unterschiedlich agieren:
- Die „Trainings-Diät“: Einige KIs wurden hauptsächlich mit englischen Daten gefüttert, an denen Sicherheitsregeln hängen. Wenn sie Türkisch sprechen, vergessen sie diese Sicherheitsregeln vielleicht und fallen auf das zurück, was sie aus türkischen Nachrichten oder der Geschichte gelernt haben, was aggressiver sein könnte.
- Der „Mehrsprachige Schutzschild“: Andere KIs (wie jene, die ruhiger wurden) wurden gezielt darauf trainiert, in vielen Sprachen sicher zu sein. Sie besitzen einen „Schutzschild“, der funktioniert, egal welche Sprache sie sprechen.
Das Fazit
Die wichtigste Erkenntnis ist, dass man nicht davon ausgehen kann, dass eine KI sicher ist, nur weil sie es auf Englisch ist.
- Wenn Sie Llama-4 in einer Krise einsetzen und Türkisch sprechen, erhalten Sie möglicherweise eine aggressivere Reaktion, als Sie erwarten würden.
- Wenn Sie Gemini auf Türkisch nutzen, erhalten Sie vielleicht eine zu ruhige Reaktion.
- Wenn Sie GPT-4o nutzen, ist es vielleicht konsistent, aber Sie können sich nicht zu 100 % sicher sein, ohne es erneut zu testen.
Die Forscher nennen dies den „Shibboleth-Effekt“, weil die Sprache, die man verwendet, wie ein Geheimcode wirkt, der die Persönlichkeit der KI verändert. Es beweist, dass diese digitalen Geister keine einzelnen „neutralen“ Gehirne sind, sondern eine Sammlung verschiedener Gewohnheiten und Trainings, die sich je nach Sprache, die man zu ihnen spricht, verschieben.
Kurz gesagt: Das Verhalten der KI ist nicht starr. Es ändert sich basierend auf der Sprache, und die Änderung ist bei jedem einzelnen KI-Modell unterschiedlich.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.