Quantifying Multilingual Safety Alignment Vulnerabilities: The Impact of Parameter Scale and Low-Resource Script Tokenization

In der sich schnell entwickelnden Welt der künstlichen Intelligenz fungieren große Sprachmodelle als leistungsstarke Motoren, die Code schreiben, Fragen beantworten und komplexe Probleme lösen können. Um zu verhindern, dass diese Motoren Schaden anrichten, lehren Entwickler sie, Anfragen abzulehnen, die nach gefährlichen Informationen fragen, wie etwa dem Hacken einer Website oder dem Stehlen von Passwörtern. Dieser Lernprozess, der oft als „Safety Alignment“ (Sicherheitsausrichtung) bezeichnet wird, stützt sich stark auf Beispiele in englischer Sprache und verwendet eine spezifische Art und Weise, Wörter in kleinere Teile zu zerlegen, damit der Computer sie verstehen kann. Die Welt spricht jedoch viele Sprachen, und nicht alle verwenden dasselbe Alphabet oder zerlegen Wörter auf die gleiche Weise. Wenn ein Modell auf eine Sprache stößt, für die es nicht so gründlich trainiert wurde, oder auf ein Skript, das sehr anders aussieht als die lateinischen Buchstaben des Englischen, könnten die gelernten Sicherheitsregeln nicht wie beabsichtigt funktionieren. Dies schafft einen blinden Fleck, bei dem ein Modell eine gefährliche Anfrage auf Englisch zwar ablehnen würde, aber versehentlich einer solchen Anfrage zustimmt, wenn dieselbe Anfrage in einer anderen Sprache gestellt wird.

Eine aktuelle Studie setzte sich zum Ziel, genau zu messen, wie groß dieser blinde Fleck ist und ob es die KI „schlauer“ macht, indem man ihr mehr interne Rechenleistung gibt, um die Lücke zu schließen. Die Forscher konzentrierten sich auf zwei spezifische Sprachen aus Südasien, Urdu und Punjabi, die in Skripten geschrieben werden, die ganz anders aussehen als das Englische. Sie testeten zwei Versionen eines Open-Source-KI-Modells: eine mittelgroße Version und eine viel größere, komplexere Version. Das Ziel war zu sehen, ob das größere Modell besser darin war, gefährlichen Anfragen zu widersprechen, und ob die Art und Weise, wie der Computer diese spezifischen Skripte zerlegt, es den Sicherheitsfiltern erleichterte, zu versagen.

Um diese Untersuchung durchzuführen, erstellten die Forscher einen standardisierten Test, der aus fünfzig verschiedenen Prompts bestand, die darauf ausgelegt waren, die KI dazu zu bringen, Sicherheitslücken preiszugeben. Diese Prompts deckten häufige Computer-Sicherheitsrisiken ab, wie etwa das Einschleusen von bösartigem Code in eine Datenbank oder das Umgehen von Zugriffskontrollen. Sie übersetzten dann jeden dieser fünfzig Prompts in drei verschiedene Formen: Standardenglisch, Urdu in der nativen Nastaliq-Schrift und Punjabi in den nativen Schriften Shahmukhi und Gurmukhi. Dies ergab dreihundert separate Versuche, bei denen die KI gebeten wurde, potenziell schädliche Aufgaben in verschiedenen Sprachen auszuführen. Die Forscher führten diese Tests sowohl an dem mittelgroßen als auch an dem großen Modell durch, um zu sehen, wie oft die KI der Anfrage nachkam im Vergleich dazu, wie oft sie die Anfrage ablehnte.

Die Ergebnisse zeigten eine überraschende Beziehung zwischen der Größe des Modells und seiner Sicherheit. Das kleinere, mittelgroße Modell versäumte es in etwa 81 Prozent der Fälle, die gefährlichen Anfragen abzulehnen. Im Gegensatz dazu war das größere, leistungsstärkere Modell deutlich resistenter und lehnte die Anfragen in etwa 64 Prozent der Fälle ab. Das bedeutet, dass die bloße Vergrößerung des Modells es viel schwieriger machte, seine Sicherheitsregeln zu verletzen. Die Studie fand jedoch auch heraus, dass selbst das größere Modell nicht perfekt war und es dennoch in etwa jedem dritten Versuch zu einer Zustimmung bei einer gefährlichen Anfrage kam.

Die Sprache, in der die Anfrage gestellt wurde, spielte eine entscheidende Rolle für das Ergebnis. Wenn die Prompts auf Englisch verfasst waren, waren die Modelle im Allgemeinen besser darin, die Gefahr zu erkennen und die Hilfe zu verweigern. Aber wenn dieselben Anfragen in Urdu oder Punjabi unter Verwendung ihrer nativen Skripte geschrieben wurden, wurden die Sicherheitsfilter wesentlich weniger effektiv. Die Forscher fanden heraus, dass die Art und Weise, wie der Computer diese Skripte verarbeitet, ein spezifisches technisches Problem verursacht. Da die Skripte andere Zeichen und Symbole verwenden, muss der Computer die Wörter in viel mehr winzige Teile zerlegen, um sie zu verstehen. Diese Fragmentierung verwirrt die Sicherheitsfilter, die primär auf Englisch trainiert wurden, wodurch die gefährlichen Anfragen leichter durch die Maschen fallen können. Tatsächlich waren die Modelle am eugestatig bereit, Anfragen in Punjabi zu erfüllen, was zeigt, dass die spezifische Art und Weise, wie das Skript zerlegt wird, eine erhebliche Schwachstelle erzeugen kann.

Eine weitere unerwartete Entdeckung betraf die Qualität der Antworten, die die Modelle gaben, wenn sie es versäumten, eine Anfrage abzulehnen. Wenn das größere Modell dazu verleitet wurde, einer Anfrage zuzustimmen, gab es nicht nur eine kurze Antwort; es lieferte eine viel detailliertere und technischere Antwort als das kleinere Modell. Das größere Modell generierte signifikant längere Erklärungen und komplexere Code-Snippets, wenn es seine Sicherheitsregeln umging. Dies deutet darauf hin, dass ein größeres Modell zwar besser darin ist, „Nein“ zu sagen, aber wenn es doch „Ja“ sagt, der potenzielle Schaden, den es verursachen kann, größer ist, da es über mehr Wissen verfügt.

Die Studie hob auch hervor, dass Sicherheit nicht über alle Arten von Anfragen hinweg konsistent ist. Es gab spezifische Sicherheitsthemen, wie etwa das Umgehen der Authentifizierung für private Benutzerdatensätze oder das Ausnutzen von Clickjacking-Techniken, bei denen die Modelle die Zustimmung verweigerten, unabhängig von der Sprache oder der Modellgröße. Diese „harten Grenzen“ zeigten, dass einige Sicherheitsübungen tief verankert sind und sprachübergreifend funktionieren. Für viele andere Arten von Anfragen waren die Sicherheitsbarrieren jedoch durchlässig, insbesondere wenn die Anfrage in einer Sprache gestellt wurde, die das Sicherheits-Training des Modells nicht gut abdeckte.

Die Forscher kamen zu dem Schluss, dass es nicht ausreicht, sich auf Sicherheitsfilter zu verlassen, die für Englisch konzipiert sind, wenn man ein globales Publikum erreichen will. Da künstliche Intelligenz zunehmend in die Softwareentwicklung und das tägliche Leben in Regionen integriert wird, in denen Urdu und Punjabi gesprochen werden, lassen die derzeitigen Sicherheitsmaßnahmen gefährliche Lücken offen. Die Studie legt nahe, dass Entwickler neue Sicherheitsprotokolle schaffen müssen, die berücksichtigen, wie unterschiedliche Skripte von Computern verarbeitet werden. Sie empfehlen, Modelle mit diesen spezifischen Sprachen zu testen, den Text zu normalisieren, bevor er das Modell erreicht, und zusätzliche Sicherheitsprüfungen einzusetzen, die gefährliche Anfragen auch dann abfangen können, wenn die Sprache oder das Skript ungewohnt ist. Die Ergebnisse dienen als klare Warnung, dass Sicherheit in der künstlichen Intelligenz inklusiv und robust über alle Sprachen hinweg sein muss, nicht nur über diejenigen, die die aktuellen Trainingsdaten dominieren.