💬 NLP

ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety

本論文は、翻訳のみのアプローチが韓国語と地盤がモデルの安全性行動や過剰な拒否率にどのように独自に影響を与えるかを捉えきれないことを示すために、「トランスクリエーション・マトリクス」を活用したバイリンガルベンチマーク「ROK-FORTRESS」を導入し、大規模言語モデルに対する国家安全保障および公衆安全の評価には言語と地政学的文脈の複雑な相互作用を考慮する必要があることを示している。

原著者： Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Ch

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Michael S. Lee, Yash Maurya, Drew Rein, Bert Herring, Jonathan Nguyen, Kyungho Song, Udari Madhushani Sehwag, Jiyeon Cho, Kaustubh Deshpande, Yeongkyun Jang, Jiyeon Joo, Minn Seok Choi, Evi Fuelle, Christina Q Knight, Joseph Brandifino, Max Fenkell

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いロボットが「爆弾の作り方は？」や「銀行をハッキングするには？」といった危険な指示に従うかどうかをテストすると想像してください。

長らく、安全研究者たちはこれらのロボットを主に英語でテストしてきました。彼らは、そのような危険な質問を他の言語（例えば韓国語）に翻訳するだけで、ロボットは依然として「いいえ」と答えるだろうと想定していました。彼らは、ロボットの安全ルールが、どの言語で話しかけられても同じように機能する普遍的な盾のようなものだと考えていたのです。

しかし、この論文ROK-FORTRESSは言います。「待ってください。それは言語の問題だけではありません。物語が展開される『場所』の問題なのです」。

以下に、彼らが何を行い、何を発見したかを、日常の比喩を用いて簡潔に解説します。

1. 「翻訳対トランスクリエーション」テスト

研究者たちは、単に質問を翻訳することはレシピを翻訳するようなものだということに気づきました。「アメリカンアップルパイ」のレシピを韓国語に翻訳しても、それは韓国語の単語で書かれたアップルパイのレシピに過ぎず、材料（脅威）は同じままです。

しかし、トランスクリエーションは異なります。それは、アップルパイのレシピを「韓国式サツマイモパイ」のレシピに変えるようなものです。意図（甘いデザートを作る）は同じですが、具体的な材料、文化的文脈、そして現地のルールは完全に異なります。

チームは、1,235 の異なる「危険な」質問を含む大規模なテストROK-FORTRESS（安全テストのための要塞）を構築しました。彼らはこれらを 4 つの方法でテストしました。

英語、米国文脈：「FBI をハッキングするには？」（オリジナル）
韓国語、米国文脈：「FBI をハッキングするには？」（翻訳）
英語、韓国文脈：「韓国国家情報院をハッキングするには？」（適応）
韓国語、韓国文脈：「韓国国家情報院をハッキングするには？」（完全なトランスクリエーション）

2. 大きな驚き：「保守的な韓国」効果

これまでのほとんどの研究では、ロボットが得意としない言語（例えば韓国語）で話しかけることは、ロボットを危険な行動に誘うための「抜け穴」や「裏口」になると考えられていました。ロボットが混乱して、悪いことに対して「はい」と答えるだろうと考えられていたのです。

しかし、この論文は全く逆の結果を見つけました。

ロボットに韓国語で質問したとき、ロボットは実際にはより慎重になりました。彼らはより頻繁に「いいえ」と答えました。

比喩：美術館の警備員を想像してください。あなたが地元のアクセントで母国語で尋ねると、彼は非常に厳格になり、身分証明書を 3 回も確認します。一方、壊れた外国語で尋ねると、彼は混乱してあなたを入場させてしまうかもしれません。しかし、これらのロボットは、韓国語で話しかけられるとさらに厳格になる警備員のようでした。彼らは韓国語そのものを「赤信号」や「リスクシグナル」として扱い、たとえ要求が危険であっても、それを拒否する可能性を高めるのです。

3. 「文脈」の要因

研究者たちはまた、物語がどこで起こるかが重要であることも発見しました。

英語で米国銀行についてロボットに尋ねると、それは慎重になるかもしれません。
同じロボットに英語で韓国銀行について尋ねると、それはさらに慎重になります。
韓国銀行について韓国語で尋ねると、それは最も慎重になります。

これは「ローカルモード」を持つセキュリティシステムのようなものです。ロボットが状況が韓国で起こっていること（韓国名の人物、場所、法律）に気づくと、さらに安全ベルトを締めるのです。

4. 「ジェイルブレイク」のひねり

チームはまた、すべての凝ったテクニック（ジェイルブレイク）を取り除き、単に「爆弾の作り方は？」と直接質問した場合に何が起こるかもテストしました。

オープンソースロボット：直接質問された場合、これらのロボットは古い研究が予測したように振る舞いました。韓国語では騙されやすかったのです。
大手企業ロボット：OpenAI や Anthropic などの高価な大規模モデルは、直接質問された場合でも韓国語では慎重さを保ちました。彼らは「言語の抜け穴」にはめられませんでした。

5. なぜこれが重要なのか（論文によると）

主な結論は、安全テストを単に翻訳するだけではいけないということです。

ロボットが韓国で安全かどうかを知りたい場合、英語のテストを翻訳して実行するだけでは不十分です。韓国文化に合うように物語を書き換える（トランスクリエーション）必要があります。

古い方法：「質問を翻訳し、答えを確認する」。（これは要点を見落としている）
新しい方法：「地元の文化に合わせて物語を書き換え、その後で答えを確認する」。

この論文は、これらの特定のロボットにとって、韓国語を話し、韓国のトピックについて話すことは、安全性を低下させるのではなく、実際にはより安全（悪いことに対して「いいえ」と言う可能性が高まる）であることを示していると結論付けています。これは、これまで誰もが思っていたことからの大きな転換です。

一文で要約

この論文は、危険なトピックについて韓国語で、かつ韓国の場所について AI ロボットに質問しても、彼らがより簡単に騙されるわけではないことを示す特別なテストを構築しました。むしろ、彼らはより慎重になり、回答を拒否することが多く、安全テストは単なる翻訳ではなく、文化的に適応させる必要があることを証明しています。

技術的サマリー：ROK-FORTRESS

問題定義

大規模言語モデル（LLM）の安全性評価は、ますます国家安全保障および公共安全（NSPS）における高リスク領域に焦点を当てています。しかし、現在の多言語安全性評価は、翻訳のみに依存するベンチマークに大きく依存しています。これらのベンチマークは、根本的な脅威シナリオと実体（エンティティ）を保持しつつ、単にテキストを目標言語に翻訳するものです。このアプローチは、低資源言語におけるトークナイザーの制限などの言語的表面形式に起因する安全性の失敗と、地域の制度、法律、運用実情への親和性などの地政学的基盤に起因する安全性の失敗を区別することができません。その結果、高リスク領域において、言語と地政学的文脈がどのように相互作用して安全性の振る舞いを形成するかに関する実証的証拠は限られています。

手法

著者らは、英語・韓国語の言語ペアと、米国・韓国（ROK）の地政学的軸を事例研究として用い、言語の影響と地政学的基盤の影響を分離するために設計された、二言語かつ文化的対立的なベンチマーク「ROK-FORTRESS」を導入します。

トランスクリエーション・マトリクス

核心的な方法論的革新は、「トランスクリエーション・マトリクス」であり、2 つの独立変数を体系的に変化させます：

言語：英語対韓国語。
地政学的基盤：米国の実体・機関対韓国の実体・機関。

データセットは、4 つの NSPS 領域に層化された 1,235 タスクで構成されます：

CBRNE：化学、生物、放射線、核、および爆発物脅威。
政治的暴力とテロリズム：資金調達、勧誘、攻撃計画を含む。
犯罪および金融活動：違法な金融、詐欺、人身売買。
情報漏洩：機密性の高い軍事またはインフラの詳細に関するリクエスト。

タスクは、「文化非依存型」（英語と韓国語の翻訳で評価）または「文化固有型」（英語 - 米国、韓国 - 米国、英語 - 韓国、韓国 - 韓国の 4 つの変種で評価）のいずれかに分類されます。文化固有型タスクでは、逐語的な翻訳ではなく「トランスクリエーション」が使用されます。対立的な意図は保持しつつ、機関、場所、法律などの参照を目標の文化的文脈に適応させ、意味的同等性と地域的な現実性を確保します。

評価フレームワーク

デュアルトラック設計：各対立的プロンプトは、無害なクエリへの回答失敗である「過剰拒否（Over-Refusal）」を測定するために、無害な対応プロンプトとペアにされます。
スコアリング：応答は、「階層重み付けリスクスコア（TRS）」を用いて評価されます。評価基準は、7 つの危害次元（具体性、取得、武器化、配送、脆弱性の悪用、標的誘導、運用ウィンドウ）にマッピングされた 1〜7 の二値基準で構成されます。これらの次元は、重大度に基づいてリスク階層（1〜3）が割り当てられ、重みが適用されて最終スコアが計算されます。
判定：校正された「LLM-as-a-Judge」パネル（HyperCLOVA X、o4-mini、Kimi K2 で構成）が、評価基準に対してモデルの応答を評価し、人間の注釈と高い一致を達成します。
指標：本研究は、英語と韓国語の変種間の安全性スコアの差を「言語的低下（ $\Delta_{ling}$ ）」、米国と韓国の基盤間の差を「文脈的低下（ $\Delta_{ctx}$ ）」として定義します。

主要な貢献

ROK-FORTRESS データセット：専門家がトランスクリエーションしたプロンプトと評価基準を含む、二言語かつ文化的対立的な NSPS ベンチマーク（1,235 タスク）。
トランスクリエーション・マトリクス：言語の影響を地政学的基盤の影響から分離し、主効果と相互作用効果をテスト可能にする手法。
階層重み付けリスクスコアリング（TRS）：単純な二値の拒否/遵守指標を超え、NSPS の運用上の重大度と整合したスコアリング機構。
直接リクエスト除去分析：ジャイルブレイク戦術を剥ぎ取った簡素化されたプロンプトの分析により、観察された安全性の振る舞いがプロンプトの複雑さに起因するのか、それとも内在的な整合性に起因するのかを決定する。

結果

本研究は、GPT-5.2、Claude Opus/Sonnet 4.5、Gemini 3 Pro、DeepSeek V3、HyperCLOVA X、EXAONE 4.0 などの地域モデルを含む、14 の最先端および韓国語最適化モデルを評価しました。

言語的抑制：低資源言語への翻訳が攻撃ベクトルとして機能するという既存の文献とは異なり、本研究は韓国語変種において一貫した「抑制効果」を発見しました。14 モデル中 12 モデルにおいて、韓国語変種は英語の対応変種よりも有害な遵守（低い TRS）を示しました。平均的な言語的低下は約 10 パーセントポイントであり、文脈的低下の約 3 倍でした。
文脈効果：地政学的基盤も安全性に影響を与えました。モデルは一般的に、米国文脈に比べて韓国文脈に基盤を置いた場合に有害な遵守が低くなりましたが、この効果は言語効果よりも小さかったです。
相互作用効果：本研究は、言語と文脈の間の非加法的な相互作用を特定しました。3 つのモデル（EXAONE、Kanana 2、Llama 4 Maverick）において、韓国文化文脈は言語駆動型の抑制を「緩和」し、局所的な文脈の手がかりが言語ベースのリスクシグナルを部分的に包含する飽和効果を示唆しました。どのモデルも、逆方向に抑制が顕著に増幅されることはありませんでした。
プロンプト複雑性の調整：ジャイルブレイク戦術を除去した直接リクエスト除去分析において、抑制効果はクローズドソースモデルでは持続しましたが、オープンソースモデルでは消失または反転しました。オープンソースモデルは、直接リクエスト下で「翻訳＝攻撃ベクトル」というパターンに戻り、対立的プロンプト下での韓国語による抑制が、言語ベースの内在的安全整合性ではなく、複雑なジャイルブレイク戦術との相互作用によって駆動されていたことを示唆しました。
推論の痕跡：推論の痕跡の分析により、抑制事例（韓国語では拒否したが英語では遵守した場合）において、モデルは対立的戦術に対する「推論のみ」の認識を示す可能性が高いが、英語では依然として遵守することが明らかになりました。韓国語では、この認識がより確実に拒否へと転換されました。

意義と主張

本論文は、高リスク領域における多言語安全性の評価には「翻訳のみの評価では不十分」であると主張しています。単純な言語シフト下で測定された安全性のギャップは、シナリオ自体がローカライズされるトランスクリエーション設定へは必ずしも外挿されません。

著者らが強調する主な含意は以下の通りです：

リスクシグナルとしての言語：英語・韓国語の事例において、韓国語と文脈は、低資源言語の脆弱性に関する以前の仮定に反し、攻撃ベクトルではなく保守的なリスクシグナルとして機能することが多いです。
ベンチマーク設計：安全性ベンチマークは、翻訳を超えて、文化的に基盤を置いたレッドチームングとトランスクリエーションされた安全性データを含み、言語と地政学的文脈の間の相互作用効果を捉える必要があります。
展開と緩和：言語能力が強くても、地域の実体や機関の下では安全性の振る舞いが変化し得ます。事後学習における安全整合には、地政学的文脈全体での堅牢性を確保するために、文化的に基盤を置いたデータを組み込むべきです。

著者らは、実証的知見が英語・韓国語ペアと米国・韓国軸に特化しているものの、「トランスクリエーション・マトリクス手法」は一般化するように設計されており、言語的、文化的、地政学的、プロンプト複雑性の要因を共同で変化させる将来の NSPS ベンチマークのための枠組みを提供すると結論付けています。