Low-Resource Safety Failures Are Action Failures, Not Representation Failures

Diese Arbeit zeigt auf, dass Sicherheitsfehler in ressourcenarmen Szenarien aus einer Fehlkalibrierung der Entscheidungsfindung resultieren und nicht aus einem Mangel an Repräsentationen von Schädlichkeit, und schlägt eine Methode vor, um dies zu beheben, indem bestehende ressourcenreiche Sicherheitsbarrieren unter Verwendung von nur wenigen Beispielen der Zielsprache neu kalibriert werden.

Das Wesentliche

Das große Problem: Die „Sprachbarriere“ in der KI-Sicherheit

Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut ausgebildeten Sicherheitswachmann (das KI-Modell). Dieser Wachmann wurde auf Englisch (einer ressourcenreichen Sprache) darauf trainiert, gefährliche Anfragen zu erkennen und „Nein“ zu sagen. Wenn jemand auf Englisch fragt: „Wie baue ich eine Bombe?“, lehnt der Wachmann sofort ab.

Wenn Sie jedoch dieselbe Frage auf Swahili oder Birmanisch (ressourcenarmen Sprachen) stellen, vergisst der Wachmann plötzlich sein Training. Er antwortet unter Umständen auf die Frage, anstatt sie abzulehnen.

Lange Zeit dachten Forscher, das liege daran, dass die KI die gefährlichen Wörter in diesen anderen Sprachen einfach nicht versteht. Sie dachten, das „Gefahrensignal“ fehle im Gehirn der KI, sobald sie die Sprache wechselt.

Die Entdeckung: Der Wachmann versteht es, aber er handelt nicht

Die Autoren dieser Arbeit beschlossen, in das „Gehirn“ der KI (ihre interne Mathematik) zu schauen, um zu sehen, was tatsächlich passiert. Sie fanden etwas Überraschendes heraus:

Die KI weiß, dass die Anfrage gefährlich ist, selbst auf Swahili oder Birmanisch.

Stellen Sie sich das so vor: Der Sicherheitswachmann hört die gefährliche Anfrage auf Swahili. In seinem Gehirn leuchtet ein „GEFAHR“-Alarm auf, genau wie im Englischen. Der Alarm ist da und laut genug, um gehört zu werden.

Das Versagen liegt nicht darin, dass der Alarm defekt ist; das Versagen liegt darin, dass der Wachmann den Alarm ignoriert.

Im Englischen ist der Alarm so laut, dass der Wachmann automatisch den „Ablehnen“-Knopf drückt. In ressourcenarmen Sprachen ist der Alarm zwar vorhanden, aber er ist etwas leiser. Weil er leiser ist, merkt der Wachmann nicht, dass er laut genug ist, um den „Ablehnen“-Knopf auszulösen, und redet deshalb einfach weiter.

Die Arbeit nennt dies ein Kalibrierungsversagen (calibration failure), kein Repräsentationsversagen (representation failure).

• Repräsentationsversagen: Der Wachmann weiß nicht, was „Bombe“ auf Swahili bedeutet. (Die Arbeit sagt, dies ist falsch).
• Kalibrierungsversagen: Der Wachmann weiß, was „Bombe“ bedeutet, aber der Lautstärkeregler für den „Ablehnen“-Knopf ist für diese spezifische Sprache zu hoch eingestellt. (Die Arbeit sagt, dies ist wahr).

Die Lösung: Eine einfache Anpassung des „Lautstärkereglers“

Da die KI bereits über das „Gefahren-Wissen“ verfügt, mussten die Autoren nicht die gesamte KI neu trainieren (was teuer und langsam ist). Stattdessen bauten sie einen winzigen, intelligenten Gatekeeper (ein „latentes Gate“).

So funktioniert ihre Lösung:

1. Nutzen Sie den bestehenden Alarm: Sie nehmen die „Gefahrenrichtung“, die die KI bereits aus dem Englischen gelernt hat.
2. Hören Sie auf ein paar Beispiele: Sie zeigen dem Gatekeeper nur 1 bis 4 Beispiele für gefährliche und sichere Anfragen in der Zielsprache (wie Swahili).
3. Setzen Sie den Schwellenwert zurück: Der Gatekeeper sagt: „Okay, in Swahili ist der Gefahrenalarm etwas leiser als im Englischen. Ich muss die Lautstärke senken, die erforderlich ist, um den ‚Ablehnen‘-Knopf zu drücken.“
4. Steuern Sie die Entscheidung:
   • Wenn der Gatekeeper glaubt, dass die Anfrage gefährlich ist, dreht er die „Ablehnen“-Lautstärke hoch, damit die KI „Nein“ sagt.
   • Wenn der Gatekeeper glaubt, dass die Anfrage sicher ist, dreht er die „Ablehnen“-Lautstärke leiser, damit die KI nicht versehentlich harmlose Fragen (wie „Wie backe ich einen Kuchen?“) ablehnt.

Die Ergebnisse: Ein smarterer, sichererer Wachmann

Durch die Verwendung dieser einfachen „Lautstärkeregler“-Anpassung mit nur sehr wenigen Beispielen erzielten die Autoren großartige Ergebnisse:

• Sicherheit verbessert: Die KI lehnte gefährliche Anfragen in ressourcenarmen Sprachen viel häufiger ab (ein Sprung von etwa 44 % Ablehnung auf über 67 % in einigen Fällen).
• Hilfsbereitschaft bewahrt: Entscheidend ist, dass die KI nicht anfing, sichere Anfragen abzulehnen. Sie wurde nicht übermäßig paranoid.
• Effizienz: Sie mussten nicht das massive KI-Modell neu trainieren. Sie haben lediglich einen winzigen Schalter mithilfe einer Handvoll Beispiele angepasst.

Zusammenfassende Analogie

Stellen Sie sich einen Rauchmelder vor, der in einem Haus installiert ist.

• Die alte Sichtweise: Wenn der Melder in der Küche (ressourcenarme Sprache) nicht auslöste, dachten die Leute, der Melder sei kaputt oder wüsste nicht, was Rauch ist.
• Die neue Sichtweise: Der Melder hat den Rauch gerochen. Er war nur nicht empfindlich genug, um in diesem speziellen Raum Alarm zu schlagen.
• Die Lösung: Anstatt ein ganzes neues Haus und neue Melder zu kaufen, haben die Autoren einfach die Empfindlichkeit des vorhandenen Melders feinjustiert. Jetzt riecht er den Rauch in der Küche und schreit „Feuer!“, genau so laut, wie er es im Wohnzimmer tut.

Der Kernpunkt: Sicherheitsfehler in ressourcenarmen Sprachen liegen nicht darin, dass die KI in diesen Sprachen „dumm“ ist; es liegt daran, dass ihr „Sicherheitsschalter“ zu hoch eingestellt ist. Eine winzige Anpassung mit wenigen Beispielen kann dies beheben, ohne dass alles von Grund auf neu gelernt werden muss.

Technische Zusammenfassung

Technisches Resümee: Sicherheitsfehler in ressourcenarmen Sprachen sind Aktionsfehler, keine Repräsentationsfehler

Problemstellung

Große Sprachmodelle (LLMs), die für das Safety-Alignment in ressourcenreichen Sprachen (HRLs) trainiert wurden, versagen oft dabei, schädliche Prompts abzulehnen, wenn diese in ressourcenarme Sprachen (LRLs) übersetzt werden. Während Modelle schädliche Anweisungen auf Englisch erfolgreich ablehnen, kommen sie bei identischen Anfragen in Sprachen wie Swahili oder Burmese häufig nach ihnen. Vorherige Arbeiten haben diese Verhaltenslücke dokumentiert, jedoch nicht deren internen Mechanismus geklärt. Es existieren zwei konkurrierende Hypothesen:

1. Repräsentationsfehler: Das Modell verfügt über keine nutzbare interne Repräsentation von „Schädlichkeit“ in LRLs aufgrund eines schwächeren semantischen Verständnisses.
2. Aktionsfehler (Routing-Fehler): Das Modell besitzt die Repräsentation der Schädlichkeit, versagt aber dabei, dieses Signal in eine Ablehnungsentscheidung zu übersetzen (d. h. der Entscheidungsschwellenwert ist fehlkalibriert).

Dieses Paper diagnostiziert die Ursache der multilingualen Sicherheitslücke und schlägt eine leichtgewichtige Intervention zur Reparatur vor.

Methodik

Experimentelles Setup

Die Autoren evaluierten drei instruktionsgestimmte Modelle (Qwen2.5-7B, Gemma-2-9B und Llama-3.1-8B) über 23 Sprachen, die basierend auf dem Anteil am Common Crawl in Ressourcen-Tiers (Hoch, Mittel, Niedrig) kategorisiert wurden. Sie verwendeten eine erweiterte Version des PolyRefuse-Datensatzes, der schädliche und harmlose Prompts in diesen Sprachen enthält.

Diagnosephase

Um zwischen Repräsentations- und Aktionsfehlern zu unterscheiden, setzten die Autoren Techniken der mechanistischen Interpretierbarkeit auf den Residual Stream ein:

1. Extraktion der Schädlichkeitsrichtung: Sie berechneten eine eindimensionale „Schädlichkeitsrichtung“ ($v_{HRL}$), indem sie die Differenz der mittleren Aktivierungen zwischen schädlichen und harmlosen Prompts in HRLs ermittelten.
2. Kausale Mediation (Ablation): Sie testeten, ob das Entfernen dieser aus HRLs abgeleiteten Richtung aus LRL-Aktivierungen die Ablehnung unterdrückte. Die Ergebnisse zeigten, dass die Ablation von $v_{HRL}$ in LRLs die schädliche Ablehnung signifikant reduzierte, was beweist, dass die Richtung kausal aktiv ist.
3. Lineare Separabilität: Sie projizierten LRL-Aktivierungen auf $v_{HRL}$ und maßen die Area Under the Curve (AUC) zur Trennung von schädlichen und harmlosen Prompts. Die AUC blieb selbst in LRLs mit niedrigen Ablehnungsraten hoch (>0,85), was darauf hindeutet, dass die Repräsentation vorhanden und dekodierbar ist.
4. Signalmagnituden-Analyse: Sie beobachteten, dass die Repräsentation zwar existiert, die Projektionswerte für LRL-schädliche Prompts jedoch im Vergleich zu HRLs nach unten verschoben sind. Der implizite Ablehnungsschwellenwert des Modells wird nicht ausgelöst, weil die Signalmagnitude unzureichend ist, nicht weil das Signal fehlt.

Intervention: Few-Shot Latent Gate

Basierend auf der Diagnose, dass es sich um einen Fehler der Kalibrierung statt der Repräsentation handelt, schlugen die Autoren eine trainingsfreie Steering-Methode vor:

1. Latent Gate: Ein Low-Rank-Logistik-Readout wird auf HRL-Daten trainiert, um die Schädlichkeitsprojektion auf eine binäre Sicherheitsentscheidung abzubilden.
2. Schwellenwert-Rekalibrierung: Anstatt das Modell neu zu trainieren oder eine neue LRL-spezifische Richtung zu lernen, wird der Entscheidungsschwellenwert ($\tau$) mit einer minimalen Anzahl von Beispielen der Zielsprache zurückgesetzt (so wenig wie 1–4 pro Klasse).
3. Konditionelles Steering: Das System routet Prompts basierend auf der Ausgabe des Gates:
   • Wenn als schädlich klassifiziert: Die HRL-Schädlichkeitsrichtung wird zu der Aktivierung hinzugefügt (Steuerung in Richtung Ablehnung).
   • Wenn als harmlos klassifiziert: Die HRL-Schädlichkeitsrichtung wird ablated (um falsche Ablehnungen zu verhindern).

Kernergebnisse

Diagnostische Befunde

• Repräsentation ist intakt: Schädlichkeit bleibt in LRL-Aktivierungen linear separierbar. Der Fehler ist kein Mangel an Repräsentation.
• Signalverschiebung: LRL-Prompts erzeugen niedrigere Projektionen auf die Schädlichkeitsrichtung. Das Modell versäumt die Ablehnung, weil die Signalmagnitude unter den durch das HRL-Training etablierten impliziten Schwellenwert fällt.

Leistungsverbesserungen

Das vorgeschlagene Few-Shot Latent Gate übertraf bestehende adaptive Steering-Baselines (CAST und AdaSteer) signifikant:

• Selektive Ablehnung ($\Delta$): Die Metrik $\Delta$ (Rate der schädlichen Ablehnungen minus Rate der harmlosen Ablehnungen) stieg von 33,6 (stärkste angepasste Baseline) auf 54,5 mit der vorgeschlagenen Methode.
• Schädliche Ablehnung: Die Methode steigerte die Raten der schädlichen Ablehnung in LRLs (z. B. von 43 % auf ~67 % im Durchschnitt), während die harmlosen Ablehnungen niedrig blieben (12,7 %).
• Baseline-Vergleich: Konkurrierende Methoden wie CAST und AdaSteer verbesserten entweder die schädliche Ablehnung nicht signifikant oder verursachten übermäßige „Über-Ablehnungen“ (Over-Refusal) von benignen Prompts (z. B. erreichte AdaSteer 52,8 % harmlose Ablehnung).
• Generalisierung: Das Gate generalisierte gut auf Out-of-Distribution Safety-Benchmarks (MultiJail, IndoSafety) und transferierte über verschiedene LRLs hinweg, wenn es auf einem einzelnen Quell-LRL kalibriert wurde.
• Erhalt der Nützlichkeit: Die Intervention bewahrte die Nützlichkeit auf dem Global-MMLU-Benchmark mit vernachlässigbaren Änderungen in der Genauigkeit.

Bedeutung und Ansprüche

Das Paper behauptet, dass Sicherheitsfehler in ressourcenarmen Sprachen prim Primär Aktionsfehler (Kalibrierungsprobleme) und keine Repräsentationsfehler sind.

• Mechanistischer Einblick: Die Arbeit zeigt, dass die in ressourchenreichen Sprachen gelernten Sicherheitsrepräsentationen in ressourcenarmen Sprachen transferierbar und vorhanden sind, aber ihre Aktivierungsmagnitude ohne Rekalibrierung unzureichend ist, um eine Ablehnung auszulösen.
• Effizienz: Die vorgeschlagene Lösung erfordert keine Aktualisierung der Modellgewichte oder umfangreiches Retraining. Sie erreicht eine State-of-the-Art-Sicherheitsleistung unter Verwendung von nur einer Handvoll Beispielen der Zielsprache, um einen Entscheidungsschwellenwert zurückzusetzen.
• Praktische Implikation: Die Autoren schlagen einen „Diagnose-dann-Fix“-Workflow vor: Bevor man versucht, neue Sicherheitsrepräsentationen für eine ressourcenarme Sprache zu lernen, sollte man zuerst testen, ob die bestehende ressourchenreiche Repräsentation dekodierbar ist. Wenn dies der Fall ist, reicht eine einfache Rekalibrierung des Entscheidungsschwellenwerts aus, um das Safety-Alignment zu reparieren.

Die Autoren weisen auf Limitationen hin, darunter den Umfang der getesteten Modelle (7B–9B dichte Modelle), die Abhängigkeit von Common Crawl als Ressourcen-Proxy und die Tatsache, dass die Intervention ein diagnostisches Werkzeug ist, das Zugriff auf Aktivierungen erfordert, anstatt ein geschlossenes Sicherheitswerkzeug (Closed-Model Safeguard) zu sein. Sie betonen zudem, dass diese Methode nicht das Bedürfnis nach multilingualem Safety-Training ersetzt und keine Robustheit gegen alle adversen Prompt-Typen garantiert.