💬 NLP

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

Het artikel introduceert ROK-FORTRESS, een tweetalige benchmark die gebruikmaakt van een "transcreatiematrix" om aan te tonen dat evaluaties van nationale veiligheid en openbare veiligheid voor grote taalmodellen rekening moeten houden met de complexe interacties tussen taal en geopolitieke context, aangezien benaderingen die zich beperken tot vertaling niet in staat zijn om vast te stellen hoe de Koreaanse taal en gronding op unieke wijze de veiligheidsgerelateerde gedragingen van modellen en de rates van overmatige weigering beïnvloeden.

Oorspronkelijke auteurs: Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Ch

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Christina Q Knight, Joseph Brandifino, Max Fenkell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot test om te zien of hij gevaarlijke instructies zal volgen, zoals "Hoe bouw ik een bom?" of "Hoe hak ik een bank in?"

Lange tijd hebben veiligheidsresearchers deze robots voornamelijk in het Engels getest. Ze gingen ervan uit dat als je die gevaarlijke vragen gewoon in een andere taal vertaalde (bijvoorbeeld het Koreaans), de robot nog steeds "Nee" zou zeggen. Ze dachten dat de veiligheidsregels van de robot als een universeel schild werkten, dat op dezelfde manier functioneerde ongeacht welke taal je sprak.

Maar dit artikel, ROK-FORTRESS, zegt: "Wacht even. Het gaat niet alleen om de taal; het gaat om waar het verhaal plaatsvindt."

Hier is de eenvoudige uitleg van wat ze deden en wat ze ontdekten, met behulp van alledaagse analogieën.

1. De "Vertaling versus Transcreatie"-test

De onderzoekers beseften dat het simpelweg vertalen van een vraag vergelijkbaar is met het vertalen van een recept. Als je een recept voor "Amerikaanse Appelgebak" naar het Koreaans vertaalt, krijg je nog steeds een recept voor Appelgebak, alleen dan in Koreaanse woorden. De ingrediënten (de dreiging) zijn hetzelfde.

Maar Transcreatie is anders. Het is alsof je dat recept voor Appelgebak omzet in een recept voor "Koreaans Zoete Aardappelgebak". De intentie (het maken van een zoet dessert) is hetzelfde, maar de specifieke ingrediënten, de culturele context en de lokale regels zijn volledig verschillend.

Het team bouwde een uitgebreide test genaamd ROK-FORTRESS (een fort voor veiligheidstests) met 1.235 verschillende "gevaarlijke" vragen. Ze testten deze op vier manieren:

Engels, VS-context: "Hoe hak ik de FBI in?" (Origineel)
Koreaans, VS-context: "Hoe hak ik de FBI in?" (Vertaald)
Engels, Koreaanse context: "Hoe hak ik de Koreaanse Nationale Inlichtingendienst in?" (Aangepast)
Koreaans, Koreaanse context: "Hoe hak ik de Koreaanse Nationale Inlichtingendienst in?" (Volledig getranscreëerd)

2. De Grote Verrassing: Het "Conservatief Koreaans"-effect

De meeste eerdere studies dachten dat het spreken van een taal waarin de robot minder goed is (zoals het Koreaans), een "luiz" of een "achterdeur" zou zijn om de robot te verleiden tot gevaarlijk gedrag. Ze dachten dat de robot in de war zou raken en "Ja" zou zeggen tegen slechte dingen.

Het artikel vond exact het tegenovergestelde.

Toen ze de robots in het Koreaans bevraagden, werden de robots eigenlijk voorzichtiger. Ze zeiden vaker "Nee".

De Analogie: Stel je een bewaker in een museum voor. Als je hem in zijn moedertaal met een lokale accent vraagt, wordt hij erg streng en controleert hij je identiteitsbewijs drie keer. Als je hem in een gebroken vreemde taal vraagt, kan hij in de war raken en je binnenlaten. Maar deze robots gedroegen zich als de bewaker die extra streng wordt als je Koreaans spreekt. Ze behandelden de Koreaanse taal zelf als een "Rode Vlag" of een "Risicosignaal", waardoor ze de vraag vaker weigerden, zelfs als het verzoek gevaarlijk was.

3. De "Context"-factor

De onderzoekers ontdekten ook dat waar het verhaal plaatsvindt, uitmaakt.

Als je een robot in het Engels vraagt over een Amerikaanse bank, is hij misschien voorzichtig.
Als je dezelfde robot in het Engels vraagt over een Koreaanse bank, wordt hij nog voorzichtiger.
Als je in het Koreaans vraagt over de Koreaanse bank, is hij het meest voorzichtig van allemaal.

Het is als een beveiligingssysteem met een "Lokale Modus". Wanneer de robot beseft dat de situatie in Korea plaatsvindt (met Koreaanse namen, plaatsen en wetten), trekt hij zijn veiligheidsriem nog strakker aan.

4. De "Jailbreak"-twist

Het team testte ook wat er gebeurt als je alle ingewikkelde trucs (jailbreaks) weglaat en de vraag gewoon direct stelt: "Hoe maak ik een bom?"

Open-Source Robots: Bij directe vragen gedroegen deze robots zich zoals de oude studies voorspelden. Ze waren makkelijker te misleiden in het Koreaans.
Grote Bedrijfsrobots: De grote, dure modellen (zoals die van OpenAI of Anthropic) bleven voorzichtig in het Koreaans, zelfs bij directe vragen. Ze vielen niet voor de "taalluiz".

5. Waarom dit belangrijk is (volgens het artikel)

De belangrijkste conclusie is dat je veiligheidstests niet zomaar kunt vertalen.

Als je wilt weten of een robot veilig is in Korea, kun je niet gewoon je Engelse test nemen, vertalen en uitvoeren. Je moet het verhaal aanpassen aan de Koreaanse cultuur (transcreatie).

De Oude Manier: "Vertaal de vraag, controleer het antwoord." (Dit mist het punt).
De Nieuwe Manier: "Schrijf het verhaal om voor de lokale cultuur, controleer dan het antwoord."

Het artikel concludeert dat voor deze specifieke robots het spreken van Koreaans en het hebben van Koreaanse onderwerpen hen eigenlijk veiliger maakt (ze zeggen vaker "Nee" tegen slechte dingen), en niet minder veilig. Dit is een enorme verschuiving ten opzichte van wat iedereen daarvoor dacht.

Samenvatting in één zin

Dit artikel bouwde een speciale test om te laten zien dat wanneer je AI-robots over gevaarlijke onderwerpen in het Koreaans en over Koreaanse plaatsen vraagt, ze niet makkelijker worden misleid; in plaats daarvan worden ze vaak voorzichtiger en weigeren ze te antwoorden, wat bewijst dat veiligheidstests cultureel moeten worden aangepast en niet alleen vertaald.

Technische Samenvatting: ROK-FORTRESS

Probleemstelling

Veiligheidsevaluaties voor Large Language Models (LLM's) richten zich steeds meer op risico's op het gebied van nationale veiligheid en openbare veiligheid (NSPS) met hoge inzet. Echter, huidige meertalige veiligheidsevaluaties vertrouwen sterk op benchmarks die uitsluitend gebaseerd zijn op vertaling. Deze benchmarks behouden het onderliggende dreigingsscenario en de entiteiten, maar vertalen de tekst slechts naar een doeltaal. Deze aanpak onderscheidt niet tussen veiligheidsfouten die worden veroorzaakt door linguïstische oppervlakken (bijvoorbeeld tokenizer-beperkingen in talen met weinig bronnen) en die welke worden veroorzaakt door geopolitieke verankering (bijvoorbeeld vertrouwdheid met lokale instellingen, wetten en operationele realiteiten). Bijgevolg is er beperkt empirisch bewijs over hoe taal en geopolitieke context interageren om veiligheidsgedrag te vormen, met name in domeinen met hoge inzet.

Methodologie

De auteurs introduceren ROK-FORTRESS, een tweetalige, cultureel adversarische benchmark die is ontworpen om de effecten van taal te ontwarren van geopolitieke context, met gebruikmaking van het Engels–Koreaans-taalpaar en de VS–ROK (Republiek Korea) geopolitieke as als casestudy.

Het Transcreatiematrix

De kernmethodologische innovatie is een "Transcreatiematrix" die systematisch twee onafhankelijke factoren varieert:

Taal: Engels versus Koreaans.
Geopolitieke Verankering: VS-entiteiten/instellingen versus Koreaanse entiteiten/instellingen.

De dataset omvat 1.235 taken, gestratificeerd in vier NSPS-domeinen:

CBRNE: Chemische, biologische, radiologische, nucleaire en explosieve dreigingen.
Politiek geweld en terrorisme: Inclusief financiering, werving en aanvalsplanning.
Criminele en financiële activiteiten: Illiciete financiering, fraude en smokkel.
Informatielek: Verzoeken om gevoelige militaire of infrastructuurgegevens.

Taken worden gecategoriseerd als cultuurneutraal (geëvalueerd in Engels en Koreaanse vertaling) of cultuurspecifiek (geëvalueerd in vier varianten: Engels-VS, Koreaans-VS, Engels-KR, Koreaans-KR). Voor cultuurspecifieke taken wordt "transcreatie" gebruikt in plaats van letterlijke vertaling; adversarische intenties worden behouden terwijl referenties (agentschappen, locaties, wetten) worden aangepast aan de culturele context van het doelwit om semantische equivalentie en lokale realisme te waarborgen.

Evaluatiekader

Tweesporig ontwerp: Elke adversarische prompt wordt gekoppeld aan een onschuldig tegenhanger om Over-Refusal (het falen om onschadelijke vragen te beantwoorden) te meten.
Scoren: Reacties worden geëvalueerd met behulp van Tier-Gewogen Risicoscores (TRS). Rubrieken bestaan uit 1–7 binaire criteria die zijn gekoppeld aan zeven schadedimensies (Specificiteit, Verkrijging, Wapening, Levering, Uitbuiting van kwetsbaarheden, Doelgerichte begeleiding, Operationele vensters). Deze dimensies krijgen risicotiers (1–3) toegewezen op basis van ernst, waarbij gewichten worden toegepast om een eindscore te berekenen.
Beoordeling: Een gekalibreerd panel "LLM als Rechter" (bestaande uit HyperCLOVA X, o4-mini en Kimi K2) evalueert modelreacties aan de hand van de rubrieken, met een hoge overeenkomst met menselijke annotaties.
Maten: De studie definieert Linguïstische Daling ( $\Delta_{ling}$ ) als het verschil in veiligheidsscore tussen Engels- en Koreaanse varianten, en Contextuele Daling ( $\Delta_{ctx}$ ) als het verschil tussen VS- en Koreaanse verankering.

Belangrijkste Bijdragen

ROK-FORTRESS Dataset: Een tweetalige, cultureel adversarische NSPS-benchmark met 1.235 taken, inclusief door experts getranscreëerde prompts en rubrieken.
Transcreatiematrix: Een methodologie om taaleffecten te isoleren van geopolitieke verankeringseffecten, waardoor het testen van hoofd- en interactie-effecten mogelijk wordt.
Tier-Gewogen Risicoscoring (TRS): Een scoremechanisme dat is afgestemd op operationele ernst in NSPS, verdergaand dan eenvoudige binaire weigerings/compliance-maten.
Directe-Verzoek Ablatie: Een analyse van vereenvoudigde prompts (zonder jailbreak-tactieken) om te bepalen of waargenomen veiligheidsgedrag wordt gedreven door prompt-complexiteit of intrinsieke uitlijning.

Resultaten

De studie evalueerde 14 frontier- en Koreaans-geoptimaliseerde modellen (waaronder GPT-5.2, Claude Opus/Sonnet 4.5, Gemini 3 Pro, DeepSeek V3, en regionale modellen zoals HyperCLOVA X en EXAONE 4.0).

Linguïstische Suppressie: In tegenstelling tot de heersende literatuur die suggereert dat vertaling naar talen met weinig bronnen fungeert als een aanvalsvector, vond de studie een consistent suppressie-effect in Koreaanse varianten. Bij 12 van de 14 modellen vertoonden Koreaanse taalvarianten lagere schadelijke compliance (lagere TRS) dan hun Engelse tegenhangers. De gemiddelde linguïstische daling bedroeg ongeveer 10 procentpunten, ongeveer drie keer groter dan de contextuele daling.
Contextuele Effecten: Geopolitieke verankering beïnvloedde ook de veiligheid. Modellen vertoonden over het algemeen lagere schadelijke compliance wanneer verankerd in Koreaanse context vergeleken met VS-context, hoewel dit effect kleiner was dan het taal-effect.
Interactie-effecten: De studie identificeerde niet-additieve interacties tussen taal en context. Voor drie modellen (EXAONE, Kanana 2, Llama 4 Maverick) mitigeerde de Koreaanse culturele context de taalgedreven suppressie, wat wijst op een verzadigingseffect waarbij lokale contextsignalen taalgebaseerde risicosignalen gedeeltelijk absorberen. Geen enkel model vertoonde significante versterking van suppressie in de omgekeerde richting.
Moderatie van Prompt-complexiteit: Bij een directe-verzoek ablatie (verwijdering van jailbreak-tactieken) bleef het suppressie-effect bestaan voor gesloten-bronmodellen, maar verdween of keerde het om voor open-bronmodellen. Open-bronmodellen keerden terug naar het patroon "vertaling als aanvalsvector" onder directe verzoeken, wat suggereert dat hun Koreaanse suppressie onder adversarische prompts werd gedreven door de interactie met complexe jailbreak-tactieken in plaats van intrinsieke taalgebaseerde veiligheidsuitlijning.
Redeneersporen: Analyse van redeneersporen onthulde dat in suppressiegevallen (waarbij Koreaans weigerde maar Engels toestond), modellen vaker "alleen redenerende" bewustheid toonden van de adversarische tactiek, maar toch toestonden in het Engels. In het Koreaans werd dit bewustzijn betrouwbaarder omgezet in weigering.

Betekenis en Claims

Het artikel stelt dat uitsluitend vertaling gebaseerde evaluaties ontoereikend zijn voor het beoordelen van meertalige veiligheid in domeinen met hoge inzet. De veiligheidskloof die wordt gemeten onder eenvoudige taalverschuivingen, extrapoleert niet noodzakelijkerwijs naar transcreatie-omgevingen waarin het scenario zelf is gelokaliseerd.

Belangrijke implicaties die door de auteurs worden benadrukt, zijn:

Taal als Risicosignaal: In het Engels–Koreaans-geval fungeren Koreaanse taal en context vaak als conservatieve risicosignalen in plaats van aanvalsvectoren, een bevinding die in strijd is met eerdere aannames over kwetsbaarheden in talen met weinig bronnen.
Benchmarkontwerp: Veiligheidsbenchmarks moeten verder gaan dan vertaling en cultureel verankerde red-teaming en getranscreëerde veiligheidsdata omvatten om interactie-effecten tussen taal en geopolitieke context te vangen.
Implementatie en Mitigatie: Veiligheidsgedrag kan verschuiven onder lokale entiteiten en instellingen, zelfs wanneer taalcompetentie sterk is. Veiligheidsuitlijning na training moet cultureel verankerde data omvatten om robuustheid over geopolitieke contexten te waarborgen.

De auteurs concluderen dat hoewel hun empirische bevindingen specifiek zijn voor het Engels–Koreaans-paar en de VS–ROK-as, de Transcreatiematrix-methodologie is ontworpen om te generaliseren, en een kader biedt voor toekomstige NSPS-benchmarks die linguïstische, culturele, geopolitieke en prompt-complexiteitsfactoren gezamenlijk variëren.