💬 NLP

Why Do Safety Guardrails Degrade Across Languages?

Dieser Beitrag stellt ein Multi-Group-Item-Response-Theory-Rahmenwerk vor, um die unterschiedlichen Faktoren zu entkoppeln und zu analysieren, die die Sicherheitsverschlechterung in großen Sprachmodellen über Sprachen hinweg antreiben, und zeigt auf, dass Sicherheitsversagen primär eindimensional sind, im Englischen oft schwerwiegender als in ressourcenarmen Sprachen auftreten und maßgeblich von prompt-spezifischen, sprachübergreifenden Lücken im Zusammenhang mit physischem Schaden und kulturellen Missverständnissen beeinflusst werden, nicht nur von der Übersetzungsqualität.

Ursprüngliche Autoren: Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von Sicherheitsguards (die KI-Modelle), die in einem Museum arbeiten. Ihre Aufgabe ist es, Menschen daran zu hindern, gestohlene Kunstwerke (unsichere Anfragen) hinauszuschmuggeln.

Lange Zeit haben wir diese Guards nur auf Englisch getestet. Wir fragten sie: „Können Sie mir sagen, wie man ein Gemälde stiehlt?" Sagten sie „Nein", bestanden sie. Sagten sie „Ja", fielen sie durch. Wir zählten die Durchfaller und nannten es eine Punktzahl.

Aber diese Arbeit fragt: Was passiert, wenn wir diese Guards in anderen Sprachen testen, wie etwa Swahili, Javanisch oder Bengali?

Die Forscher stellten fest, dass die alte Testmethode wie ein Vergleich von Äpfeln mit Birnen war. Sie entwickelten eine neue, intelligentere Methode zur Messung von Sicherheit, die das Problem in seine einzelnen Bestandteile zerlegt, ähnlich wie ein Mechaniker, der einen Automotor zerlegt, um genau zu sehen, welcher Teil defekt ist.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die alte Methode vs. die neue Methode

Die alte Methode (Die „Jailbreak-Erfolgsrate"):
Stellen Sie sich einen Test vor, bei dem Sie einen Guard fragen: „Können Sie die Regeln brechen?" Wenn sie die Regeln brechen, setzen Sie ein großes rotes „X". Sie zählen einfach die roten Xs.

Das Problem: Wenn ein Guard in Swahili durchfällt, aber in Englisch besteht, liegt das daran, dass der Guard schlecht ist? Liegt es daran, dass die Swahili-Frage schwerer zu verstehen war? Oder liegt es daran, dass die Swahili-Übersetzung der Frage versehentlich harmlos klang? Die alte Methode mischt all diese Gründe in eine verwirrende Zahl zusammen.

Die neue Methode (Das „IRT-Framework"):
Die Autoren bauten eine „Sicherheits-Zerlegungs-Maschine". Anstatt einer einzigen großen Punktzahl trennt sie das Versagen in vier distincte Zutaten auf:

Die Fähigkeit des Guards ( $\theta$ ): Wie gut ist der Guard allgemein darin, „Nein" zu sagen?
Die Schwierigkeit der Frage ( $\beta$ ): Ist die Frage selbst, auch auf Englisch, trickreich?
Die Sprachbarriere ( $\gamma$ ): Ist diese Sprache für die KI generell schwerer zu verarbeiten?
Der Übersetzungsfehler ( $\tau$ ): Wurde die spezifische Frage bei der Übersetzung vermasselt, wodurch es leichter wurde, den Guard zu täuschen?

2. Die großen Überraschungen

Die Forscher testeten 61 verschiedene KI-Konfigurationen über 10 Sprachen hinweg. Hier ist, was sie fanden:

Überraschung Nr. 1: Die „Englisch-Umkehrung"
Wir gehen normalerweise davon aus, dass KI auf Englisch am sichersten ist und in anderen Sprachen schlechter wird.

Die Realität: Bei vielen Modellen war Englisch tatsächlich die gefährlichste Sprache. Die Guards waren wahrscheinlicher, die Regeln auf Englisch zu brechen als in ressourcenarmen Sprachen wie Javanisch oder Swahili.
Warum? Die Forscher glauben, dass die „Bösen" (Angreifer) ihre Tricks auf Englisch geschrieben haben. Wenn diese Tricks übersetzt werden, verlieren sie manchmal ihre „Schärfe" oder werden verwirrt, was sie weniger effektiv macht. Auf Englisch funktionieren die Tricks perfekt.

Überraschung Nr. 2: Sicherheit ist ein einziger großer Muskel
Man könnte denken, eine KI braucht einen anderen „Sicherheitsmuskel" für jedes Thema (einen für Diebstahl, einen für Gewalt, einen für Hassrede).

Die Realität: Sicherheit ist eindimensional. Es ist wie ein einzelner Muskel. Wenn ein Guard gut darin ist, Hilfe beim Diebstahl zu verweigern, ist er fast immer gut darin, Hilfe bei Gewalt zu verweigern. Sie haben keine separaten Schaltkreise für jedes Thema; sie nutzen einen gemeinsamen Mechanismus, um „Nein" zu sagen.

Überraschung Nr. 3: Übersetzungsfehler sind der „Rauchende Colt"
Manchmal fällt ein Guard nicht durch, weil er schwach ist, sondern weil die Frage schlecht übersetzt wurde.

Die Analogie: Stellen Sie sich vor, Sie fragen einen Guard: „Wie starte ich ein Auto durch Diebstahl?" (ein Auto durch Diebstahl starten).
- Wenn die Übersetzung versehentlich daraus macht: „Wie wärme ich ein Auto auf?" (es aufheizen), könnte der Guard sagen: „Klar, hier ist, wie man die Heizung benutzt."
- Der Guard ist nicht bei der Sicherheit gescheitert; er ist beim Verständnis der kaputten Übersetzung gescheitert.
Die Arbeit ergab, dass zwar schlechte Übersetzungen einige Durchfälle verursachen, sie aber nur einen winzigen Teil des Gesamtproblems erklären. Meistens ist die Übersetzung in Ordnung, aber die KI hat dennoch Schwierigkeiten.

Überraschung Nr. 4: Kulturelle Verwirrung
Manche Fragen scheitern, weil das Konzept in dieser Kultur nicht existiert.

Die Analogie: Eine KI in einem Land ohne FBI zu fragen: „Wie entkomme ich dem FBI?" könnte die KI verwirren. Das Konzept des „FBI" ist kulturell spezifisch. Die KI könnte nicht erkennen, dass dies eine gefährliche Anfrage ist, weil der kulturelle Kontext fehlt.

3. Der „Unsicherheits"-Faktor

Die Forscher stellten fest, dass die KI in ressourcenarmen Sprachen (Sprachen mit weniger verfügbaren Daten) eher wie ein nervöser Schüler wirkt, der bei einer Prüfung ratet. Sie gibt „Grenz"-Antworten – Antworten, die halb sicher, halb unsicher oder sehr unsicher sind.

Die Lösung: Um eine wahre Messung zu erhalten, können Sie die Frage nicht nur einmal stellen. Sie müssen sie 10 Mal stellen und die Antworten mitteln. Dies glättet das „Raten" und enthüllt das wahre Sicherheitsniveau der KI.

4. Warum dies wichtig ist

Die Arbeit kommt zu dem Schluss, dass wir nicht mehr nur auf eine einzelne „Sicherheitspunktzahl" für eine KI schauen können.

Wenn eine KI in einer bestimmten Sprache durchfällt, wissen wir nun, wie wir diagnostizieren können, warum:
- Ist die KI einfach schlecht in Sicherheit? (Das Modell reparieren).
- Ist die Sprache für die KI schwer? (Das Sprachtraining verbessern).
- Ist die Übersetzung kaputt? (Den Datensatz reparieren).
- Ist das Konzept kulturell fremd? (Den Prompt anpassen).

Kurz gesagt: Die Arbeit gibt uns ein „Mikroskop", um die KI-Sicherheit zu betrachten. Anstatt nur zu sagen „Diese KI ist unsicher", können wir nun sagen: „Diese KI ist sicher, aber sie gerät in Verwirrung, wenn wir sie auf Javanisch nach dem Diebstahl von Autos fragen, weil die Übersetzung leicht abweicht." Dies hilft Entwicklern, das genaue Problem zu beheben, anstatt zu raten.

Technische Zusammenfassung: Warum verschlechtern sich Sicherheitsbarrieren über Sprachen hinweg?

Problemstellung
Large Language Models (LLMs) weisen in nicht-englischen Sprachen, insbesondere in ressourcenarmen Sprachen, verschlechterte Sicherheitsbarrieren auf. Standardbewertungsmetriken wie die Jailbreak-Erfolgsrate (JSR) oder die Angriffserfolgsrate (ASR) fassen binäre Ergebnisse zu einem einzigen Skalarwert zusammen. Dieser Ansatz erzeugt „Äpfel-mit-Birnen"-Vergleiche, indem er mehrere sicherheitsrelevante Faktoren – wie Modellfähigkeit, Prompt-Schwierigkeit, Sprachverarbeitungskosten und Übersetzungsfehler – in einer einzigen Metrik vermischt. Folglich kann JSR nicht unterscheiden, ob ein Sicherheitsversagen auf mangelnde Sicherheitsfähigkeit des Modells, inhärente Sprachschwierigkeiten, Übersetzungsverfälschungen oder kulturelle konzeptuelle Missverständnisse zurückzuführen ist.

Methodik
Die Autoren schlagen ein Multi-Group Item Response Theory (IRT)-Rahmenwerk vor, um Sicherheitsversagen in distincte latente Parameter zu zerlegen. Im Gegensatz zu Standard-Aggregatmetriken ordnet dieses Modell jede Fehlerquelle einer spezifischen Variablen zu:

Sicherheitsfähigkeit ( $\theta_j$ ): Die sprachunabhängige Sicherheitsrobustheit des Modells $j$ .
Intrinsische Prompt-Schwierigkeit ( $\beta_i$ ): Die inhärente Schwierigkeit des Prompts $i$ (abgeleitet aus dem Englischen).
Globale Sprachverarbeitungsschwierigkeit ( $\gamma_L$ ): Die mit der Sprache $L$ verbundenen globalen Verarbeitungskosten.
Sprachübergreifende Sicherheitslücke ( $\tau_{iL}$ ): Ein prompt-spezifischer Residualwert, der die Differentielle Item-Funktion (DIF) darstellt. Dies erfasst die Sicherheitslücke für einen spezifischen Prompt in einer spezifischen Sprache nach Kontrolle von Fähigkeit und globalen Spracheffekten.
Sprachaptitude ( $\delta_{jL}$ ): Eine modellspezifische Verschiebung der Leistung für die Sprache $L$ .

Die Wahrscheinlichkeit einer sicheren Antwort wird modelliert als:
$P(\text{safe}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$
wobei $\alpha_i$ der Item-Diskriminationsparameter ist.

Experimenteller Aufbau

Datensatz: Die Studie nutzt MultiJail (3.150 Prompts, 10 Sprachen, 18 Schadenskategorien) und validiert die Ergebnisse auf XSafety.
Modelle: 61 Modellkonfigurationen über 5 Familien hinweg (GPT, Claude, DeepSeek, Gemini, Grok).
Umfang: Aggregierter Datensatz von 1,9 Millionen Zeilen.
Bewertungsprotokoll: Um stochastisches Rauschen zu minimieren, setzen die Autoren Pass@k (speziell Pass@10) ein, wobei pro Prompt $k$ unabhängige Antworten generiert werden, um die Antwortverteilung zu schätzen, anstatt sich auf Single-Pass-Ausgaben zu verlassen.
Bewertung: Antworten werden von GPT-5.2 auf einer 6-stufigen Likert-Skala bewertet, validiert gegen menschliche Muttersprachler und sekundäre LLM-Bewerter (Claude, Gemini).
Anker-Auswahl: Prompts, die über Sprachen hinweg invariant sind, werden unter Verwendung von Lords $\chi^2$ -Statistik ausgewählt, um die Messskala zu fixieren; auf die Anker wird eine enge Normalverteilung als Prior angewendet.
Regularisierung: Ein hierarchisches Horseshoe-Prior wird auf $\tau_{iL}$ angewendet, um Sparsamkeit zu erzwingen und zu verhindern, dass das Modell globale Spracheffekte ( $\gamma_L$ ) mit prompt-spezifischen Lücken ( $\tau_{iL}$ ) verwechselt.

Hauptergebnisse

Unidimensionalität der Sicherheit: Exploratorische Faktorenanalyse (EFA) zeigt, dass Sicherheit weitgehend eindimensional ist. Modelle lehnen verschiedene Schadensarten primär durch einen gemeinsamen Mechanismus ab (KMO = 0,942, Dominanzverhältnis = 7,37), was ein globales IRT-Modell rechtfertigt, anstatt separate Modelle pro Schadenskategorie.
Das Phänomen der „englischen Umkehrung": Entgegen der Annahme, dass sich die Sicherheit am stärksten in ressourcenarmen Sprachen verschlechtert, weisen 22 von 61 Modellkonfigurationen (einschließlich aller 16 Grok-Varianten und 4 DeepSeek-Varianten) ihre höchsten Ausfallraten in Englisch auf. Für diese Modelle ist die Sicherheitsleistung in ressourcenarmen Sprachen marginal besser als im Englischen.
Unsicherheit der Antworten: Ressourcenschwache Sprachen produzieren signifikant unsichere Antworten (höhere Entropie) und einen höheren Anteil an „Grenzfall"-Fällen im Vergleich zu ressourcenstarken Sprachen. Hochfähige Modelle operieren in diesen Sprachen näher an der Entscheidungsgrenze.
Übersetzungsqualität vs. Sicherheitslücken:
- Die Übersetzungsqualität korreliert schwach mit der aggregierten Sicherheit und den sprachübergreifenden Sicherheitslücken ( $\tau$ ) und erklärt nur $\sim1\%$ der $\tau$ -Varianz.
- Jedoch wirken schwere Übersetzungsfehler (z. B. „hot-wire a car" als „warm a car" übersetzt) als hochverzerrte Ausreißer, die $\tau$ künstlich aufblähen, indem sie schädliche Absichten sanitieren.
- Kulturelle und konzeptuelle Lücken: Die Analyse durch Muttersprachler von Prompts mit hohem $\tau$ und perfekter Übersetzungsqualität zeigt, dass Missverständnisse in der kulturellen Rahmung (z. B. US-spezifische Begriffe wie „FBI" oder „SSN") und konzeptuelle Verankerung zu Sicherheitslücken beitragen. Prompts mit hohem $\tau$ häufen sich in Kategorien für physischen Schaden (Diebstahl, Waffen) eher als in abstrakten.
Vorhersagevalidität: Das vollständige IRT-Rahmenwerk erreicht eine AUC von 0,940 bei der Vorhersage sicherer Ablehnungen und übertrifft einfachere Baselines (z. B. Language Rate AUC = 0,531). Entscheidend ist, dass das IRT-Rahmenwerk bei der Leave-One-Language-Out (LOLO)-Validierung eine starke Leistung beibehält (AUC $\approx$ 0,875), indem es latente Strukturen nutzt, während Baselines auf Zufallsniveau kollabieren.

Bedeutung und Behauptungen
Die Arbeit beansprucht, über Aggregatmetriken hinauszugehen, um ein diagnostisches Rahmenwerk für mehrsprachige Sicherheit bereitzustellen. Durch die Entkopplung von Fähigkeit, Sprachschwierigkeit und prompt-spezifischen Lücken ermöglicht das Rahmenwerk:

Die Aufdeckung, dass Sicherheitsverschlechterung nicht einheitlich ist; einige Modelle sind im Englischen tatsächlich weniger sicher.
Die Identifizierung, dass Übersetzungsfehler zwar insgesamt ein geringerer Faktor sind, aber schwere Ausreißer verursachen, die die Bewertung verzerren.
Die Hervorhebung, dass kulturelle und konzeptuelle Missverständnisse, insbesondere in Kategorien für physischen Schaden, signifikante Sicherheitslücken antreiben, selbst wenn die Übersetzung korrekt ist.
Die Bereitstellung einer Methode für zielgerichtete Remediation, die Praktikern ermöglicht, spezifische Prompt-Sprachen-Paare mit hohem $\tau$ für Verbesserungen beim Datensatzbau oder Fine-Tuning zu identifizieren.
Die Kritik an aktuellen LLM-Bewertungspraktiken (JSR/ASR), die aufgrund von konfundierenden Faktoren für vergleichende Set-up-Vergleiche allgemein ungültig sind, und die Forderung nach psychometrischen Ansätzen wie IRT.

Die Autoren weisen auf Einschränkungen hin, darunter die Abhängigkeit von geschlossenen-API-Modellen (was die Analyse interner Aktivierungen verhindert), das Potenzial für verbleibende Bewerterverzerrungen in nicht-muttersprachlichen Sprachen und die Tatsache, dass der Mechanismus der „englischen Umkehrung" weiterhin verhaltensbasiert und nicht mechanistisch erklärt bleibt.

1. Die alte Methode vs. die neue Methode

2. Die großen Überraschungen

3. Der „Unsicherheits"-Faktor

4. Warum dies wichtig ist

Mehr davon