Skill Issue: Are Skills Language-Invariant in LLMs?

Große Sprachmodelle sind die Motoren hinter vielen der künstlichen Intelligenz-Werkzeuge, die wir heute nutzen und die in der Lage sind, Geschichten zu schreiben, Probleme zu lösen und Fragen in Dutzenden von Sprachen zu beantworten. Seit Jahren wissen Forscher, dass diese Systeme nicht in jeder Sprache gleichermaßen gut funktionieren; ein Modell kann brillant darin sein, eine Geschichtshefrage auf Englisch zu beantworten, aber Schwierigkeiten haben, denselben Fakt zu finden, wenn die Frage auf Arabisch oder Chinesisch gestellt wird. Diese Inkonsistenz wurde meist auf die Daten zurückgeführt, mit denen die Modelle trainiert wurden, unter der Annahme, dass für einige Sprachen einfach weniger Informationen zur Verfügung stehen, um die Maschine zu lehren. Eine neue Forschungsrichtung stellt jedoch eine tiefere Frage: Geht es nur darum, was das Modell weiß, oder darum, was das Modell tatsächlich kann? Könnte es sein, dass derselbe künstliche Geist je nach Sprache, die er spricht, über unterschiedliche Fähigkeiten verfügt, selbst wenn die Aufgabe selbst exakt dieselbe bleibt?

Ein Team von Forschern setzte sich zum Ziel, dies zu beantworten, indem sie Sprache nicht als Studienobjekt, sondern als Variable in einem kontrollierten Experiment behandelten. Sie wandten sich an ein vertrautes Konzept: das Spiel. Indem sie zwei identische Kopien desselben Modells der künstlichen Intelligenz in eine digitale Arena stellten, um gegeneinander zu spielen, schufen sie einen perfekten Test der Geschicklichkeit. In diesem Aufbau blieben die Regeln des Spiels, das Spielfeld, die Karten und die möglichen Züge für beide Spieler unverändert und identisch. Das Einzige, was sich änderte, war die Sprache, in der die Situation beschrieben wurde. Ein Spieler erhielt Anweisungen und sah den Spielzustand auf Englisch, während sein Gegner exakt dasselbe Spielfeld und dieselben Regeln übersetzt in Deutsch, Hebräisch, Chinesisch oder einer der anderen Sprachen sah. Da die Modelle identisch und die Spielmechaniken fest vorgegeben waren, musste jede Differenz im Sieger aus der Sprachschnittstelle selbst resultieren, nicht aus einem Unterschied in Wissen oder Intelligenz.

Die Forscher bauten einen massiven Testgrund auf, eine mehrsprachige Erweiterung einer als TextArena bekannten Spieleplattform, die es ihnen ermöglichte, tausende von Matches über sechs verschiedene Arten von Spielen hinweg durchzuführen. Diese Spiele reichten von einfachen räumlichen Rätseln wie Tic-Tac-Toe, bei denen Spieler ein Gitter visualisieren müssen, bis hin zu komplexen strategischen Spielen, die Ressourcenallokation und Bluffen beinhalten. Sie testeten drei verschiedene Open-Source-Modelle, die jeweils eine ähnliche Größe hatten, und ließen sie in acht verschiedenen Sprachen gegeneinander antreten. Die Ergebnisse offenbarten eine erschreckende Realität: Dasselbe Modell konnte in einer Sprache ein Meisterstratege und in einer anderen ein unbeholfener Anfänger sein. In einigen Fällen besiegte das Modell, das auf Englisch spielte, konsequent seine eigene Version, die auf Hebräisch oder Arabisch spielte – nicht weil es mehr über das Spiel wusste, sondern weil die Sprache selbst die Fähigkeit zu blockieren oder freizusetzen schien, klar zu denken.

Die Art dieser Fehler war spezifisch und aufschlussreich. In Spielen, die räumliches Denken erforderten, wie etwa das Verbinden von Linien auf einem Gitter, machten Modelle, die in Sprachen mit nicht-lateinischen Skripten wie Arabisch oder Hebräisch spielten, häufig Fehler, die wie ein grundlegendes Missverständnis des Spielfelds aussah. Sie versäumten es oft, eine Gewinnlinie zu erkennen, die diagonal oder vertikal verlief, und behandelten das Gitter so, als wären nur die Zeilen von Bedeutung. In Spielen des Glücks und der Strategie, wie einer vereinfachten Form von Poker, änderten die Modelle basierend auf der Sprache ihre gesamte Persönlichkeit. Ein Modell konnte in einer Sprache vorsichtig und ehrlich spielen, in einer anderen jedoch aggressiv und anfällig für riskante Bluffs werden, obwohl die Karten in seiner Hand identisch waren. Die Forscher fanden heraus, dass dies keine zufälligen Fehler waren; es handelte sich um systematische Verhaltensänderungen, die vollständig von den Worten abhingen, die das Problem rahmten.

Die vielleicht überraschendste Entdeckung war, dass das Problem nicht immer die Sprache war, die das Modell las, sondern die Sprache, in der es dachte. In einigen Experimenten behielten die Forscher die Spielanweisungen in einer schwächeren Sprache wie Deutsch, wiesen das Modell jedoch an, sein internes Denken auf Englisch durchzuführen. Dieser einfache Wechsel ermöglichte es dem Modell, einen Großteil seiner verlorenen Leistung wiederherzustellen, was darauf hindeutete, dass die Sprachbarriere nicht nur ein Übersetzungsproblem, sondern ein kognitives war. Das Modell konnte sein volles strategisches Potenzial abrufen, wenn es erlaubt war, in einer stärkeren Sprache zu „denken“, selbst während es in einer schwächeren Sprache spielte. Dies deutet darauf hin, dass die Sprachschnittstelle die eigentlichen Phasen der Entscheidungsfindung beeinflusst, vom Verständnis des aktuellen Spielzustands bis hin zur Auswahl des besten Zuges.

Die Studie untersuchte auch, ob diese Unterschiede dadurch erklärt werden könnten, wie viel Text es im Internet für die jeweilige Sprache gibt. Es ist zwar wahr, dass Sprachen mit mehr verfügbaren Daten im Allgemeinen besser abschnitten, aber dieser Faktor erklärte nicht die ganze Geschichte. Einige Sprachen mit relativ wenig Daten im Netz ermöglichten den Modellen dennoch ein sehr gutes Spiel, während andere mit reichlich vorhandenen Daten eine schlechte Leistung zeigten. Dies legt nahe, dass das Problem nicht nur die Menge des Trainingsmaterials ist, sondern wie das Modell gelernt hat, Fähigkeiten über verschiedene linguistische Systeme hinweg zu verknüpfen. Die Ergebnisse implizieren, dass Entwickler für eine wirklich zuverlässige und faire künstliche Intelligenz nicht einfach davon ausgehen können, dass die Fähigkeiten eines Modells über alle Sprachen hinweg konsistent sind. Die Sprache, die ein Modell spricht, ist nicht nur ein Fenster zu seinem Wissen; sie ist eine Linse, die seine Fähigkeiten verzerren kann, indem sie verändert, wie es die Welt sieht und wie es das Spiel spielt.