Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs
Diese Studie zeigt, dass Jailbreak-Schwachstellen in multimodalen großen Sprachmodellen der Spitzenklasse nicht über alle Sprachen hinweg einheitlich sind, und belegt, dass der Wechsel von Englisch zu Spanisch die Angriffsfläche grundlegend verändert, indem sprachliche Framing-Angriffe geschwächt, visuelle Angriffe jedoch gestärkt werden, wodurch Sicherheitsrankings, die auf einsprachigen Evaluierungen basieren, entkräftet werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, hochtrainierten Sicherheitsbeamten für ein digitales Gebäude. Diese Wache hat die Aufgabe, Menschen daran zu hindern, nach gefährlichen Dingen zu fragen, wie etwa wie man eine Bombe baut oder Lügen verbreitet. Lange Zeit glaubten wir, dass diese Wache gleichermaßen gut darin ist, böswillige Anfragen zu stoppen, egal ob sie auf Englisch oder Spanisch geflüstert werden.
Dieser Artikel ist wie eine Detektivgeschichte, die diese Annahme widerlegt. Die Forscher stellten fest, dass die „Ohren" des Wächters sehr spezifisch auf Englisch abgestimmt sind, seine „Augen" jedoch anders funktionieren.
Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:
1. Der „Sprachfilter" versus die „Visuelle Linse"
Stellen Sie sich das KI-Modell als Sicherheitsbeamten vor, der seine Regeln gelernt hat, indem er Tausende englischer Filme gesehen und englische Bücher gelesen hat.
- Die Sprachschwäche: Wenn ein Bösewicht versucht, den Wächter mit einer cleveren englischen Geschichte zu täuschen (etwa indem er vorgibt, eine Theaterfigur zu sein oder persuasive Argumente verwendet), erkennt der Wächter das Muster sofort und sagt: „Nein, ich habe diesen Trick schon einmal gesehen."
- Die spanische Wendung: Als die Forscher die Sprache auf mexikanisches Spanisch umstellten, geriet der „Sprachfilter" des Wächters in Verwirrung. Die cleveren englischsprachigen Tricks (wie Rollenspiele) funktionierten nicht mehr, weil der Wächter nicht trainiert war, diese spezifischen rhetorischen Muster im Spanischen zu erkennen. Es ist, als würde man versuchen, ein Schloss mit einem Schlüssel zu öffnen, der zu einer anderen Tür passt; der Trick funktioniert einfach nicht mehr.
- Die visuelle Überraschung: Wenn die Bösewichte jedoch Bilder verwendeten, um den Wächter zu täuschen, geschah das Gegenteil. Auf Spanisch wurden die visuellen Tricks sogar effektiver. Es ist, als wären die Augen des Wächters weniger mit seiner Sprachausbildung verbunden. Wenn er ein Bild sieht, verarbeitet er es über einen anderen Pfad, der sich weniger darum kümmert, ob der Text auf Englisch oder Spanisch ist.
2. Die „Rangumkehrung" (Die große Überraschung)
Normalerweise erwartet man beim Testen von Sicherheitssystemen, dass der „beste" Wächter der Beste bleibt und der „schlechteste" Wächter der Schlechteste, egal welche Sprache man spricht.
- Auf Englisch: Ein Modell (nennen wir es „Pixtral") war der schlechteste Wächter und ließ sich leicht täuschen. Ein anderes Modell („Qwen") lag in der Mitte.
- Auf Spanisch: Die Rangfolge kehrte sich um! „Qwen" wurde plötzlich zum schlechtesten Wächter, während „Pixtral" viel schwerer zu täuschen war.
- Die Erkenntnis: Man kann die englischen Sicherheitsbewertungen nicht einfach nehmen und ein wenig Mathematik betreiben, um zu erraten, wie sicher ein Modell auf Spanisch ist. Die Reihenfolge, wer sicher und wer gefährlich ist, ändert sich tatsächlich in Abhängigkeit von der Sprache.
3. Warum dies geschieht (Die Analogie der „Trainingsdiät")
Der Artikel legt nahe, dass dies aufgrund der Art und Weise geschieht, wie diese KI-Modelle trainiert werden.
- Stellen Sie sich das Modell als einen Schüler vor, der nur Sicherheitskurse auf Englisch belegt hat. Er lernte, „böses Verhalten" basierend auf englischen Wörtern und Satzstrukturen zu erkennen.
- Wenn sie eine Frage auf Spanisch gestellt bekommen, analysieren sie die Wörter immer noch mit ihrem englischtrainierten Gehirn. Sie übersehen die Tricks, weil das „Vokabular des Tricks" anders ist.
- Bilder sind jedoch universell. Ein Bild einer Bombe sieht auf jeder Sprache wie eine Bombe aus. Da die visuelle Verarbeitung des Modells nicht so eng mit seiner englischen Sicherheitsausbildung verknüpft ist, versagt es manchmal darin, das Bild mit der Gefahr zu verbinden, insbesondere wenn der Text darum herum in einer Sprache ist, in der das Modell weniger „sicherheitsgetrainiert" ist.
4. Das Fazit
Die Forscher testeten vier verschiedene Top-KI-Modelle mit 363 verschiedenen „Jailbreak"-Versuchen (Tricks zum Umgehen von Sicherheitsregeln) sowohl auf Englisch als auch auf Spanisch. Sie stellten fest:
- Sicherheit ist keine feste Zahl. Ein Modell ist nicht einfach „sicher" oder „unsicher". Es ist in einigen Sprachen sicher und in anderen unsicher.
- Der „Einheits-Test" ist defekt. Wenn Sie diese Modelle nur auf Englisch testen, erhalten Sie ein falsches Bild davon, wie sicher sie für den Rest der Welt sind.
- Generationen werden besser, aber Lücken bleiben. Die neueren Modelle sind etwas schwerer zu täuschen als die älteren, aber der seltsame Unterschied zwischen den Sicherheitsniveaus auf Englisch und Spanisch besteht weiterhin.
Kurz gesagt: Wenn Sie wissen wollen, ob eine KI für einen spanischsprachigen Nutzer sicher ist, können Sie nicht einfach den englischen Sicherheitsbericht ansehen. Sie müssen sie auf Spanisch testen, denn die „schwachen Stellen" in der Rüstung befinden sich je nach Sprache an völlig unterschiedlichen Orten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.