Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs
Dieses Paper stellt INCLUDE vor, einen multilingualen Benchmark zur Evaluierung indisch-zentrierter soziokultureller Biases über sechs Sprachen hinweg, der aufzeigt, dass die aktuelle englisch-zentrierte Sicherheitsausrichtung (Safety Alignment) in LLMs eine kritische kreuzsprachliche Sicherheitslücke schafft, wobei nicht-englische Ausgaben, insbesondere in Bengali und bei Closed-Source-Modellen, signifikant höhere Biases als ihre englischen Gegenstücke aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der die Stimme eines Computerassistenten in einem ländlichen Dorf in Indien ebenso fließend und gerecht ist wie in einem geschäftigen Büro in London. Jahrelang wurde die Technologie hinter diesen Assistenten primär mit englischen Texten trainiert und lernte, schädliche Stereotypen zu erkennen und beleidigende Anfragen abzulehnen – ein Prozess, der als „Safety Alignment“ bezeichnet wird. Dieses Training fungiert wie ein Filter, der darauf ausgelegt ist, zu verhindern, dass die Maschine Vorurteile über Rasse, Religion oder sozialen Status wiederholt. Doch eine entscheidende Frage blieb unbeantwortet: Funktioniert dieser Filter auch genauso gut, wenn der Nutzer Hindi, Bengali oder eine Mischung aus Englisch und Hindi spricht? Wenn der Filter nur Englisch versteht, dann sind Millionen von Menschen, die andere Sprachen sprechen, genau jenen Vorurteilen ausgesetzt, die die Technologie eigentlich verhindern sollte. Dies ist der Kernaspekt einer neuen Studie, die untersucht, ob das Versprechen einer sicheren künstlichen Intelligenz über die vielfältige Sprachlandschaft Indiens hinweg Bestand hat.
Die Forscher unter der Leitung von Namya Bhatnagar wollten diese Lücke messen, indem sie einen spezialisierten Test namens INCLUDE entwickelten. Dieser Benchmark wurde konzipiert, um zu prüfen, wie gut verschiedene Modelle der künstlichen Intelligenz mit kulturspezifischen Stereotypen umgehen, wenn sie in sechs verschiedenen Sprachen abgefragt werden: Englisch, Hindi, Bengali, Marathi, Tamil und Hinglish, einer gängigen Mischung aus Hindi und Englisch, die im täglichen Gespräch verwendet wird. Um diesen Test aufzubauen, definierte das Team zunächst sechs Bereiche, in denen Vorurteile häufig auftreten, wie etwa Kaste, Religion und Region. Anschließend versammten sie ein Gremium aus zwanzig Experten, darunter Lehrer und Universitätsdozenten, um tausende Fragen zu prüfen und zu verfeinern. Diese Fragen wurden sorgfältig so gestaltet, dass sie natürlich klingen und die Modelle dazu bringen, Sätze so zu vervollständigen, dass offenbart wird, ob sie zu schädlichen Stereotypen neigen oder diese ablehnen. Das Team übersetzte diese Prompts in die fünf indischen Sprachen und stellte dabei sicher, dass die Bedeutung und die Intensität der Stereotypen in allen Versionen konsistent blieben.
Die Studie bewertete zehn verschiedene Modelle der künstlichen Intelligenz und teilte sie in zwei Gruppen ein: solche, die für jeden zur Inspektion und Modifikation offen stehen (Open-Source), und geschlossene Systeme, die großen Technologieunternehmen gehören. Als die Forscher die Open-Source-Modelle testeten, fanden sie ein klares und beunruhigendes Muster. Die Modelle produzierten signifikant häufiger voreingenommene, stereotype Antworten, wenn die Prompts in indischen Sprachen verfasst waren, im Vergleich zu Englisch. Unter den indischen Sprachen löste Bengali das höchste Maß an Voreingenommenheit aus, dicht gefolgt von Hindi. Überraschenderweise führten englische Prompts bei diesen Open-Source-Modellen zu den niedrigsten Bias-Werten, was darauf hindeutet, dass die Sicherheitsfilter für Englischsprecher gut funktionieren, aber für alle anderen versagen. Dies erzeugt eine Illusion von Sicherheit, bei der sich ein Nutzer auf Englisch geschützt fühlen mag, in seiner Muttersprache jedoch verwundbar bleibt.
Die Ergebnisse für die Closed-Source-Modelle, die oft die Such- und Abruffunktionen von Sprachassistenten antreiben, erzählten eine andere und noch komplexere Geschichte. In dieser Gruppe kehrte sich das Muster komplett um. Die Modelle zeigten die stärksten Bias-Assoziationen, wenn die Prompts auf Englisch waren, während die indischen Sprachen niedrigere Bias-Werte aufwiesen. Diese Umkehrung deutet darauf an, dass die Ursache des Problems nicht nur eine einzige ist. Bei den Open-Source-Modellen scheint das Problem darin zu liegen, dass das Sicherheitstraining hauptsächlich auf Englisch durchgeführt wurde, was andere Sprachen ungeschützt ließ. Bei den Closed-Source-Modellen scheint die Voreingenommenheit aus der massiven Menge an englischen Texten zu stammen, mit denen sie ursprünglich trainiert wurden, was starke Stereotypen in ihr grundlegendes Weltverständnis eingebettet hat.
Einer der bedeutendsten Befunde betraf Hinglish, die kodierte Sprache, die von Millionen Menschen in Indien verwendet wird. Die Studie ergab, dass Hinglish nicht von den Sicherheitsvorteilen des Englischen profitierte. Selbst wenn es englische Wörter enthält, behandelten die Modelle es statistisch gesehen wie die anderen ressourcenarmen indischen Sprachen und ordneten es eher Hindi und Tamil zu als Englisch. Dies bedeutet, dass Nutzer, die sich für die Sprachinteraktion auf diese Mischsprache verlassen, nicht den gleichen Schutz genießen wie diejenigen, die reines Englisch sprechen. Die Forscher stellten zudem fest, dass die Bias-Werte zwar variierten, die Unterschiede jedoch nicht zufällig waren; sie waren konsistent genug, um als echtes, messbares Versagen in der Art und Weise, wie diese Systeme aufgebaut sind, betrachtet zu werden.
Die Studie kommt zu dem Schluss, dass die Sicherheit künstlicher Intelligenz nicht sprachübergreifend einheitlich ist. Sie zeigt auf, dass die aktuellen Methoden des Modelltrainings eine Kluft schaffen, in der Englischsprecher vor schädlichen Stereotypen geschützt sind, während Sprecher anderer Sprachen dies nicht sind. Die Ergebnisse legen nahe, dass die bloße Übersetzung von Sicherheitsregeln aus dem Englischen nicht ausreicht; die Struktur dessen, wie diese Modelle lernen und wie sie abgeglichen werden, muss sich ändern, um den Nuancen verschiedener Kulturen und Sprachen Rechnung zu tragen. Durch das Identifizieren dieser Lücken hoffen die Forscher, Entwicklern einen Fahrplan zu bieten, um Systeme zu bauen, die wirklich fair für alle sind, unabhängig von der Sprache, die sie sprechen. Die Arbeit verdeutlicht, dass das Erreichen echter Fairness in der künstlichen Intelligenz erfordert, über die dominanten Sprachen hinauszublicken und die spezifischen kulturellen Kontexte zu berücksichtigen, in denen diese Technologien eingesetzt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.