ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety
Die Arbeit stellt ROK-FORTRESS vor, einen zweisprachigen Benchmark, der eine „Transkreation-Matrix" nutzt, um zu zeigen, dass Bewertungen von Large Language Models im Bereich der nationalen Sicherheit und öffentlichen Sicherheit die komplexen Wechselwirkungen zwischen Sprache und geopolitischem Kontext berücksichtigen müssen, da rein übersetzungsbasierte Ansätze nicht erfassen können, wie die koreanische Sprache und die Verankerung das Sicherheitsverhalten von Modellen sowie die Raten der übermäßigen Ablehnung einzigartig beeinflussen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie testen einen sehr intelligenten Roboter, um herauszufinden, ob er gefährliche Anweisungen befolgt, wie etwa „Wie baue ich eine Bombe?" oder „Wie hacke ich eine Bank?"
Lange Zeit haben Sicherheitsforscher diese Roboter hauptsächlich auf Englisch getestet. Sie gingen davon aus, dass, wenn man diese gefährlichen Fragen einfach in eine andere Sprache (wie Koreanisch) übersetzt, der Roboter immer noch „Nein" sagen würde. Sie glaubten, die Sicherheitsregeln des Roboters seien wie ein universeller Schild, der unabhängig von der gesprochenen Sprache gleich funktioniert.
Aber diese Arbeit, ROK-FORTRESS, sagt: „Moment mal. Es geht nicht nur um die Sprache; es geht darum, wo die Geschichte spielt."
Hier ist die einfache Aufschlüsselung dessen, was sie taten und was sie fanden, unter Verwendung einiger alltäglicher Analogien.
1. Der „Übersetzung vs. Transkreation"-Test
Die Forscher erkannten, dass das bloße Übersetzen einer Frage wie das Übersetzen eines Rezepts ist. Wenn Sie ein Rezept für „American Apple Pie" ins Koreanische übersetzen, erhalten Sie immer noch ein Rezept für Apfelkuchen, nur in koreanischen Worten. Die Zutaten (die Bedrohung) bleiben gleich.
Aber Transkreation ist anders. Es ist, als würde man dieses Apfelkuchen-Rezept nehmen und in ein Rezept für „Koreanische Süßkartoffelkuchen" verwandeln. Die Absicht (ein süßes Dessert zu backen) ist dieselbe, aber die spezifischen Zutaten, der kulturelle Kontext und die lokalen Regeln sind völlig unterschiedlich.
Das Team entwickelte einen massiven Test namens ROK-FORTRESS (eine Festung für Sicherheitstests) mit 1.235 verschiedenen „gefährlichen" Fragen. Sie testeten diese auf vier Arten:
- Englisch, US-Kontext: „Wie hacke ich das FBI?" (Original)
- Koreanisch, US-Kontext: „Wie hacke ich das FBI?" (Übersetzt)
- Englisch, Koreanischer Kontext: „Wie hacke ich den koreanischen Nationalen Nachrichtendienst?" (Adaptiert)
- Koreanisch, Koreanischer Kontext: „Wie hacke ich den koreanischen Nationalen Nachrichtendienst?" (Vollständig transkribiert)
2. Die große Überraschung: Der „konservative Koreaner"-Effekt
Die meisten früheren Studien gingen davon aus, dass das Sprechen einer Sprache, in der der Roboter nicht so gut ist (wie Koreanisch), eine „Lücke" oder eine „Hintertür" wäre, um den Roboter zu täuschen und ihn zu gefährlichem Verhalten zu verleiten. Sie glaubten, der Roboter würde verwirrt werden und auf Schlechtes mit „Ja" antworten.
Die Arbeit fand genau das Gegenteil.
Als sie die Roboter auf Koreanisch fragten, wurden die Roboter tatsächlich vorsichtiger. Sie sagten öfter „Nein".
- Die Analogie: Stellen Sie sich einen Sicherheitsbeamten in einem Museum vor. Wenn Sie ihn in seiner Muttersprache mit lokalem Akzent fragen, wird er sehr streng und überprüft Ihren Ausweis dreimal. Wenn Sie ihn in einer gebrochenen Fremdsprache fragen, könnte er verwirrt sein und Sie hereinlassen. Aber diese Roboter verhielten sich wie der Wächter, der extra streng wird, wenn Sie Koreanisch sprechen. Sie behandelten die koreanische Sprache selbst als „Rote Flagge" oder „Risikosignal", was sie wahrscheinlicher machte, die Anfrage abzulehnen, selbst wenn die Anfrage gefährlich war.
3. Der Faktor „Kontext"
Die Forscher stellten auch fest, dass wo die Geschichte spielt, wichtig ist.
- Wenn Sie einen Roboter auf Englisch nach einer US-Bank fragen, ist er vielleicht vorsichtig.
- Wenn Sie denselben Roboter auf Englisch nach einer koreanischen Bank fragen, wird er sogar vorsichtiger.
- Wenn Sie auf Koreanisch nach der koreanischen Bank fragen, ist er am vorsichtigsten von allen.
Es ist wie ein Sicherheitssystem mit einem „Lokalmodus". Wenn der Roboter erkennt, dass die Situation in Korea stattfindet (mit koreanischen Namen, Orten und Gesetzen), spannt er seinen Sicherheitsgurt noch fester an.
4. Der „Jailbreak"-Twist
Das Team testete auch, was passiert, wenn man alle ausgeklügelten Tricks (Jailbreaks) entfernt und die Frage direkt stellt: „Wie baue ich eine Bombe?"
- Open-Source-Roboter: Wenn sie direkt gefragt wurden, verhielten sich diese Roboter so, wie die alten Studien vorhersagten. Sie ließen sich auf Koreanisch leichter täuschen.
- Große Unternehmensroboter: Die großen, teuren Modelle (wie die von OpenAI oder Anthropic) blieben auch bei direkten Fragen auf Koreanisch vorsichtig. Sie fielen nicht auf die „Sprachlücke" herein.
5. Warum das wichtig ist (laut der Arbeit)
Die Hauptaussage ist, dass man Sicherheitstests nicht einfach übersetzen kann.
Wenn Sie wissen wollen, ob ein Roboter in Korea sicher ist, können Sie nicht einfach Ihren englischen Test nehmen, ihn übersetzen und ausführen. Sie müssen die Geschichte an die koreanische Kultur anpassen (Transkreation).
- Der alte Weg: „Frage übersetzen, Antwort prüfen." (Das verfehlt den Punkt.)
- Der neue Weg: „Die Geschichte für die lokale Kultur umschreiben, dann die Antwort prüfen."
Die Arbeit kommt zu dem Schluss, dass für diese spezifischen Roboter das Sprechen von Koreanisch und das Reden über koreanische Themen sie tatsächlich sicherer macht (wahrscheinlicher, dass sie auf Schlechtes mit „Nein" antworten), nicht unsicherer. Dies ist eine enorme Abkehr von dem, was alle zuvor dachten.
Zusammenfassung in einem Satz
Diese Arbeit entwickelte einen speziellen Test, um zu zeigen, dass KI-Roboter, wenn man sie auf Koreanisch und über koreanische Orte zu gefährlichen Themen befragt, nicht leichter getäuscht werden; stattdessen werden sie oft vorsichtiger und verweigern die Antwort, was beweist, dass Sicherheitstests kulturell angepasst und nicht nur übersetzt werden müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.