Why Do Safety Guardrails Degrade Across Languages?

技術的サマリー：なぜ安全ガードレールは言語間で劣化するのか？

問題定義
大規模言語モデル（LLM）は、非英語言語、特に低リソース言語において、安全ガードレールが劣化する傾向を示す。Jailbreak 成功率（JSR）や攻撃成功率（ASR）といった標準的な評価指標は、二値の結果を単一のスカラー値に集約する。このアプローチは「リンゴとオレンジ」を比較するものとなり、モデルの能力、プロンプトの難易度、言語処理コスト、翻訳エラーなど、複数の安全駆動要因を一つの指標に混同させてしまう。その結果、JSR は安全失敗がモデルの安全能力の欠如、言語固有の難易度、翻訳の破損、あるいは文化的概念の不一致のいずれに起因するかを解きほぐすことができない。

手法
著者は、安全失敗を異なる潜在パラメータに分解する**多群項目反応理論（IRT）**フレームワークを提案する。標準的な集計指標とは異なり、このモデルは各失敗源を特定の变量にマッピングする：

1. 安全能力（$\theta_j$）： モデル $j$ の言語に依存しない安全ロバスト性。
2. プロンプトの内在的難易度（$\beta_i$）： 英語から派生したプロンプト $i$ の本質的な難易度。
3. グローバル言語処理難易度（$\gamma_L$）： 言語 $L$ に伴うグローバルな処理コスト。
4. クロスリンガル安全ギャップ（$\tau_{iL}$）： 特定の言語における特定のプロンプトに対する差項目機能（DIF）を表すプロンプト固有の残差。これは能力とグローバル言語効果を制御した後の、特定の言語における安全ギャップを捉える。
5. 言語適性（$\delta_{jL}$）： 言語 $L$ に対するモデル固有の性能シフト。

安全な応答の確率は以下のようにモデル化される：
$$P(\text{safe}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$$
ここで、$\alpha_i$ は項目識別パラメータである。

実験設定

• データセット： 本研究ではMultiJail（3,150 のプロンプト、10 言語、18 の有害カテゴリ）を利用し、XSafetyで知見を検証した。
• モデル： GPT、Claude、DeepSeek、Gemini、Grok の 5 ファミリーにわたる 61 のモデル構成。
• 規模： 集約されたデータセットは 190 万行。
• 評価プロトコル： 確率的ノイズを軽減するため、著者はPass@k（具体的には Pass@10）を採用し、単一パス出力に依存するのではなく、プロンプトあたり $k$ 個の独立した応答を生成して応答分布を推定した。
• 判定： 応答は GPT-5.2 によって 6 段階のリッカート尺度で評価され、ネイティブスピーカーによる人間評価および二次的な LLM 判定者（Claude、Gemini）との対照検証が行われた。
• アンカー選択： 言語間で不変なプロンプトを Lord の $\chi^2$ 統計量を用いて選択し、測定スケールを固定した。アンカーには tight な正規事前分布を適用した。
• 正則化： $\tau_{iL}$ に対して階層的ホースシュー事前分布を適用し、スパース性を強制した。これにより、モデルがグローバル言語効果（$\gamma_L$）とプロンプト固有のギャップ（$\tau_{iL}$）を混同することを防いだ。

主要な結果

1. 安全の一次元性： 探索的因子分析（EFA）により、安全は主に一次元的であることが明らかになった。モデルは異なる有害タイプを主に共有メカニズムを通じて拒否する（KMO = 0.942、支配比 = 7.37）。これにより、有害カテゴリごとに個別のモデルを構築するのではなく、グローバルな IRT モデルを用いることが正当化される。
2. 「英語逆転」現象： 安全が低リソース言語で最も劣化するという仮説とは対照的に、61 のモデル構成のうち 22（16 の Grok 変種すべてと 4 つの DeepSeek 変種を含む）は、英語で最も高い失敗率を示した。これらのモデルにとって、安全性能は低リソース言語の方が英語よりもわずかに良好である。
3. 応答の不確実性： 低リソース言語は、高リソース言語と比較して、はるかに多くの不確実な応答（高いエントロピー）と、「境界」ケースの割合を生み出す。高能力モデルはこれらの言語において、意思決定境界に近接して動作する。
4. 翻訳の質と安全ギャップ：
   • 翻訳の質は集計された安全およびクロスリンガル安全ギャップ（$\tau$）と弱い相関しか示さず、$\tau$ の分散の約 1% しか説明しない。
   • しかし、深刻な誤翻訳（例：「hot-wire a car（車の盗難用配線接続）」が「warm a car（車を温める）」と翻訳されるなど）は、有害な意図を無害化することで $\tau$ を人工的に増大させる、高いバイアスを持つ外れ値として機能する。
   • 文化的・概念的ギャップ： 翻訳の質が完璧な高-$\tau$ プロンプトに対するネイティブスピーカーの分析により、文化的枠組み（例：「FBI」や「SSN」など米国固有の用語）や概念的基盤の不一致が安全ギャップに寄与していることが明らかになった。高-$\tau$ プロンプトは、抽象的なカテゴリではなく、物理的害（窃盗、武器）のカテゴリに集積する。
5. 予測妥当性： 完全な IRT フレームワークは、安全な拒否を予測する際にAUC 0.940を達成し、単純なベースライン（例：言語別 AUC = 0.531）を上回った。重要なのは、Leave-One-Language-Out（LOLO）検証において、IRT フレームワークは潜在構造を活用することで強力な性能（AUC $\approx$ 0.875）を維持するのに対し、ベースラインは偶然のレベルに崩壊することである。

意義と主張
本論文は、集計指標を超えて多言語安全のための診断フレームワークを提供することを主張する。能力、言語の難易度、プロンプト固有のギャップを解離させることで、このフレームワークは以下の点を明らかにする：

• 安全の劣化は均一ではなく、一部のモデルは実際には英語の方が安全でないこと。
• 翻訳エラーは全体的には minor な要因であるが、評価を歪める深刻な外れ値を引き起こすこと。
• 翻訳が正確であっても、文化的・概念的な不一致、特に物理的害のカテゴリにおいて、顕著な安全ギャップを駆動すること。
• データセット構築の改善や微調整のために、高い $\tau$ を持つ特定のプロンプト - 言語ペアを特定することを可能にする標的型修復手法を提供すること。
• 混同要因によりクロス設定比較に一般的に無効である現在の LLM 評価慣行（JSR/ASR）を批判し、IRT のような心理計量的アプローチを提唱すること。

著者は、閉鎖型 API モデルへの依存（内部活性化分析を不可能にする）、非ネイティブ言語における判定者の残留バイアスの可能性、そして「英語逆転」メカニズムが行動レベルの現象であり、メカニズム的に説明されていないことなどの限界を指摘している。