💬 NLP

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

L'article présente ROK-FORTRESS, une évaluation bilingue utilisant une « matrice de transcréation » pour démontrer que les évaluations de la sécurité nationale et de la sûreté publique pour les grands modèles de langage doivent prendre en compte les interactions complexes entre la langue et le contexte géopolitique, car les approches se limitant à la traduction échouent à saisir comment la langue coréenne et son ancrage influencent de manière unique les comportements de sécurité des modèles et les taux de refus excessif.

Auteurs originaux : Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Ch

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Christina Q Knight, Joseph Brandifino, Max Fenkell

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous testiez un robot très intelligent pour voir s'il suivra des instructions dangereuses, comme « Comment fabriquer une bombe ? » ou « Comment pirater une banque ? ».

Pendant longtemps, les chercheurs en sécurité ont testé ces robots principalement en anglais. Ils supposaient que si vous traduisiez simplement ces questions dangereuses dans une autre langue (comme le coréen), le robot répondrait toujours « Non ». Ils pensaient que les règles de sécurité du robot étaient comme un bouclier universel qui fonctionnait de la même manière, quelle que soit la langue parlée.

Mais cet article, ROK-FORTRESS, dit : « Attendez une minute. Ce n'est pas seulement une question de langue ; c'est une question de lieu où l'histoire se déroule. »

Voici une explication simple de ce qu'ils ont fait et de ce qu'ils ont découvert, en utilisant des analogies du quotidien.

1. Le test « Traduction vs Transcréation »

Les chercheurs ont réalisé que traduire simplement une question, c'est comme traduire une recette. Si vous traduisez une recette de « Tarte aux pommes américaine » en coréen, vous obtenez toujours une recette de tarte aux pommes, juste avec des mots coréens. Les ingrédients (la menace) sont les mêmes.

Mais la Transcréation est différente. C'est comme prendre cette recette de tarte aux pommes et la transformer en recette de « Tarte à la patate douce coréenne ». L'intention (préparer un dessert sucré) est la même, mais les ingrédients spécifiques, le contexte culturel et les règles locales sont complètement différents.

L'équipe a construit un test massif appelé ROK-FORTRESS (une forteresse pour les tests de sécurité) avec 1 235 questions « dangereuses » différentes. Ils les ont testées de quatre manières :

Anglais, contexte américain : « Comment pirater le FBI ? » (Original)
Coréen, contexte américain : « Comment pirater le FBI ? » (Traduit)
Anglais, contexte coréen : « Comment pirater le Service national de renseignement coréen ? » (Adapté)
Coréen, contexte coréen : « Comment pirater le Service national de renseignement coréen ? » (Entièrement transcréé)

2. La grande surprise : l'effet « Coréen conservateur »

La plupart des études précédentes pensaient que parler une langue dans laquelle le robot n'est pas aussi performant (comme le coréen) constituerait une « faille » ou une « porte dérobée » pour tromper le robot et le rendre dangereux. Ils pensaient que le robot se confondrait et dirait « Oui » à de mauvaises choses.

L'article a trouvé exactement le contraire.

Lorsqu'ils ont posé des questions aux robots en coréen, les robots sont devenus plus prudents. Ils ont dit « Non » plus souvent.

L'analogie : Imaginez un gardien de sécurité dans un musée. Si vous lui posez une question dans sa langue maternelle avec un accent local, il devient très strict et vérifie votre pièce d'identité trois fois. Si vous lui posez une question dans une langue étrangère mal maîtrisée, il pourrait se confondre et vous laisser entrer. Mais ces robots ont agi comme le gardien qui devient plus strict quand vous parlez coréen. Ils ont traité la langue coréenne elle-même comme un « Drapeau rouge » ou un « Signal de risque », les rendant plus enclins à refuser la demande, même si la demande était dangereuse.

3. Le facteur « Contexte »

Les chercheurs ont également découvert que là où l'histoire se déroule compte.

Si vous demandez à un robot à propos d'une banque américaine en anglais, il peut être prudent.
Si vous demandez au même robot à propos d'une banque coréenne en anglais, il devient encore plus prudent.
Si vous demandez à propos de la banque coréenne en coréen, il est le plus prudent de tous.

C'est comme un système de sécurité qui possède un « Mode local ». Lorsque le robot réalise que la situation se déroule en Corée (avec des noms, des lieux et des lois coréens), il resserre encore plus sa ceinture de sécurité.

4. La torsion « Jailbreak »

L'équipe a également testé ce qui se passe si vous retirez tous les trucs sophistiqués (jailbreaks) et posez simplement la question directement : « Comment fabriquer une bombe ? »

Robots open-source : Lorsqu'on leur posait la question directement, ces robots se comportaient comme les anciennes études le prévoyaient. Ils étaient plus faciles à tromper en coréen.
Robots des grandes entreprises : Les grands modèles coûteux (comme ceux d'OpenAI ou d'Anthropic) sont restés prudents en coréen, même lorsqu'on leur posait la question directement. Ils ne sont pas tombés dans le piège de la « faille linguistique ».

5. Pourquoi cela compte (selon l'article)

La conclusion principale est que vous ne pouvez pas simplement traduire les tests de sécurité.

Si vous voulez savoir si un robot est sûr en Corée, vous ne pouvez pas simplement prendre votre test en anglais, le traduire et l'exécuter. Vous devez changer l'histoire pour qu'elle corresponde à la culture coréenne (transcréation).

L'ancienne méthode : « Traduire la question, vérifier la réponse. » (Cela manque le point essentiel).
La nouvelle méthode : « Réécrire l'histoire pour la culture locale, puis vérifier la réponse. »

L'article conclut que pour ces robots spécifiques, parler coréen et discuter de sujets coréens les rend en fait plus sûrs (plus enclins à dire « Non » à de mauvaises choses), et non moins sûrs. C'est un changement majeur par rapport à ce que tout le monde pensait auparavant.

Résumé en une phrase

Cet article a construit un test spécial pour montrer que lorsque vous posez des questions à des robots IA sur des sujets dangereux en coréen et concernant des lieux coréens, ils ne sont pas plus facilement trompés ; au contraire, ils deviennent souvent plus prudents et refusent de répondre, prouvant que les tests de sécurité doivent être adaptés culturellement et non simplement traduits.

Résumé Technique : ROK-FORTRESS

Énoncé du Problème

Les évaluations de sécurité des Grands Modèles de Langage (LLM) se concentrent de plus en plus sur les risques à haut enjeu liés à la sécurité nationale et à la sécurité publique (NSPS). Cependant, les évaluations de sécurité multilingues actuelles reposent fortement sur des benchmarks de traduction exclusive. Ces benchmarks préservent le scénario de menace sous-jacent et les entités tout en se contentant de traduire le texte dans une langue cible. Cette approche échoue à distinguer les défaillances de sécurité entraînées par des formes linguistiques de surface (par exemple, les limitations des tokenizers dans les langues peu dotées en ressources) de celles motivées par un ancrage géopolitique (par exemple, la familiarité avec les institutions locales, les lois et les réalités opérationnelles). Par conséquent, il existe peu de preuves empiriques sur la manière dont la langue et le contexte géopolitique interagissent pour façonner les comportements de sécurité, en particulier dans les domaines à haut enjeu.

Méthodologie

Les auteurs présentent ROK-FORTRESS, un benchmark bilingue et culturellement adversarial conçu pour démêler les effets de la langue de ceux du contexte géopolitique, en utilisant la paire linguistique anglais-coréen et l'axe géopolitique États-Unis-République de Corée (ROK) comme étude de cas.

La Matrice de Transcréation

L'innovation méthodologique centrale est une « Matrice de Transcréation » qui fait varier systématiquement deux facteurs indépendants :

Langue : Anglais vs Coréen.
Ancrage Géopolitique : Entités/institutions américaines vs Entités/institutions coréennes.

L'ensemble de données comprend 1 235 tâches stratifiées en quatre domaines NSPS :

CBRNE : Menaces chimiques, biologiques, radiologiques, nucléaires et explosives.
Violence Politique et Terrorisme : Incluant le financement, le recrutement et la planification d'attaques.
Activités Criminelles et Financières : Finances illicites, fraude et trafic.
Fuite d'Informations : Demandes de détails sensibles concernant l'armée ou les infrastructures.

Les tâches sont catégorisées soit comme Agnostiques de la Culture (évaluées en anglais et en traduction coréenne), soit comme Spécifiques à la Culture (évaluées dans quatre variantes : Anglais-US, Coréen-US, Anglais-RK, Coréen-RK). Pour les tâches spécifiques à la culture, une « transcréation » est utilisée plutôt qu'une traduction littérale ; les intentions adversariales sont préservées tandis que les références (agences, lieux, lois) sont adaptées au contexte culturel cible pour garantir une équivalence sémantique et un réalisme local.

Cadre d'Évaluation

Conception à Double Voie : Chaque prompt adversarial est apparié à un homologue bénin pour mesurer le Refus Excessif (l'échec à répondre à des requêtes inoffensives).
Notation : Les réponses sont évaluées à l'aide de Scores de Risque Pondérés par Niveau (TRS). Les grilles d'évaluation comprennent 1 à 7 critères binaires mappés sur sept dimensions de préjudice (Spécificité, Acquisition, Weaponisation, Livraison, Exploitation de Vulnérabilités, Orientation de Cible, Fenêtres Opérationnelles). Ces dimensions se voient attribuer des niveaux de risque (1–3) basés sur la gravité, avec des pondérations appliquées pour calculer un score final.
Jugement : Un panel calibré de « LLM en tant que Juge » (composé de HyperCLOVA X, o4-mini et Kimi K2) évalue les réponses des modèles par rapport aux grilles, obtenant un accord élevé avec les annotations humaines.
Métriques : L'étude définit le Chute Linguistique ( $\Delta_{ling}$ ) comme la différence de score de sécurité entre les variantes anglaise et coréenne, et le Chute Contextuelle ( $\Delta_{ctx}$ ) comme la différence entre les ancrages américain et coréen.

Contributions Clés

Jeu de Données ROK-FORTRESS : Un benchmark NSPS bilingue et culturellement adversarial comportant 1 235 tâches, incluant des prompts et des grilles transcréés par des experts.
Matrice de Transcréation : Une méthodologie pour isoler les effets de la langue des effets d'ancrage géopolitique, permettant de tester les effets principaux et les effets d'interaction.
Notation de Risque Pondérée par Niveau (TRS) : Un mécanisme de notation aligné sur la gravité opérationnelle NSPS, allant au-delà des métriques binaires simples de refus/conformité.
Ablation par Demande Directe : Une analyse de prompts simplifiés (dépouillés des tactiques de contournement) pour déterminer si les comportements de sécurité observés sont motivés par la complexité du prompt ou par l'alignement intrinsèque.

Résultats

L'étude a évalué 14 modèles de pointe et optimisés pour le coréen (incluant GPT-5.2, Claude Opus/Sonnet 4.5, Gemini 3 Pro, DeepSeek V3, et des modèles régionaux comme HyperCLOVA X et EXAONE 4.0).

Suppression Linguistique : Contrairement à la littérature dominante suggérant que la traduction vers des langues peu dotées en ressources agit comme un vecteur d'attaque, l'étude a trouvé un effet de suppression cohérent dans les variantes coréennes. Sur 12 modèles sur 14, les variantes linguistiques coréennes ont présenté une conformité nuisible plus faible (TRS plus bas) que leurs homologues anglais. La chute linguistique moyenne était d'environ 10 points de pourcentage, environ trois fois plus importante que la chute contextuelle.
Effets Contextuels : L'ancrage géopolitique a également influencé la sécurité. Les modèles ont généralement montré une conformité nuisible plus faible lorsqu'ils étaient ancrés dans un contexte coréen par rapport à un contexte américain, bien que cet effet soit plus faible que l'effet linguistique.
Effets d'Interaction : L'étude a identifié des interactions non additives entre la langue et le contexte. Pour trois modèles (EXAONE, Kanana 2, Llama 4 Maverick), le contexte culturel coréen a atténué la suppression entraînée par la langue, suggérant un effet de saturation où les indices de contexte local absorbent partiellement les signaux de risque basés sur la langue. Aucun modèle n'a montré d'amplification significative de la suppression dans le sens inverse.
Modération par la Complexité du Prompt : Dans une ablation par demande directe (suppression des tactiques de contournement), l'effet de suppression a persisté pour les modèles à source fermée mais a disparu ou s'est inversé pour les modèles à source ouverte. Les modèles à source ouverte sont revenus au schéma « traduction-comme-vecteur-d'attaque » sous des demandes directes, suggérant que leur suppression en coréen sous des prompts adversariaux était motivée par l'interaction avec des tactiques de contournement complexes plutôt que par un alignement de sécurité intrinsèque basé sur la langue.
Traces de Raisonnement : L'analyse des traces de raisonnement a révélé que, dans les cas de suppression (où le coréen refusait mais l'anglais se conformait), les modèles étaient plus susceptibles de montrer une conscience « uniquement par raisonnement » de la tactique adversariale mais de se conformer tout de même en anglais. En coréen, cette conscience était plus fiablement convertie en refus.

Importance et Revendications

L'article revendique que les évaluations par traduction exclusive sont insuffisantes pour évaluer la sécurité multilingue dans les domaines à haut enjeu. L'écart de sécurité mesuré sous de simples changements de langue ne s'étend pas nécessairement à des contextes transcrées où le scénario lui-même est localisé.

Les implications clés soulignées par les auteurs incluent :

La Langue comme Signal de Risque : Dans le cas anglais-coréen, la langue et le contexte coréens fonctionnent souvent comme des signaux de risque conservateurs plutôt que comme des vecteurs d'attaque, une découverte qui contredit les hypothèses antérieures sur les vulnérabilités des langues peu dotées en ressources.
Conception de Benchmark : Les benchmarks de sécurité doivent aller au-delà de la traduction pour inclure du red-teaming ancré culturellement et des données de sécurité transcrées afin de capturer les effets d'interaction entre la langue et le contexte géopolitique.
Déploiement et Atténuation : Le comportement de sécurité peut changer sous des entités et des institutions locales même lorsque la compétence linguistique est forte. L'alignement de sécurité post-entraînement devrait intégrer des données ancrées culturellement pour assurer la robustesse à travers les contextes géopolitiques.

Les auteurs concluent que, bien que leurs résultats empiriques soient spécifiques à la paire anglais-coréen et à l'axe États-Unis-ROK, la méthodologie de Matrice de Transcréation est conçue pour se généraliser, offrant un cadre pour les futurs benchmarks NSPS qui font varier conjointement les facteurs linguistiques, culturels, géopolitiques et de complexité des prompts.