テクニカル・サマリー：誰がより多くの安全コストを支払っているのか？ 言語間における安全性アライメントの不均衡なコストの測定

問題提起

大規模言語モデル（LLM）における安全性アライメントは、有害な出力を防ぐよう設計されているが、しばしば「ユーティリティ・コスト（有用性の損失）」を引き起こし、モデルの有用性や情報提供能力を低下させる。先行研究では、このトレードオフ（例：過剰な拒絶、能力の低下）の存在が確立されているが、一つの重要な問いが未解決のまま残されている。それは、「安全性アライメントによるこのユーティリティ・コストは、異なる言語間で平等に課されているのか？」という点である。

既存の評価手法は、通常、単一の安全性アライメント済みモデルを用いて言語間の絶対的なパフォーマンスを比較している。このアプローチでは、パフォーマンスの格差が、既存の能力差（例：低リソース言語における習熟度の低さ）に起因するものなのか、それとも安全性アライメントのプロセス自体に起因するものなのかを区別できない。さらに、ユーティリティ・コストはしばしば潜在的である。モデルは一見すると有用に見えても、密かに情報を隠蔽している場合があり、標準的な評価指標では捉えきれない劣化が生じている。

メソドロジー

著者らは、安全性アライメントによる特有の影響を分離するために、「安全性コスト（Safety Cost）」という概念を中心とした厳格な評価プロトコルを導入する。

1. 安全性コストの定義

安全性コストは、ヘルプフルでコンプライアンスに準じた回答が期待される良質なクエリにおいて、安全性アライメントに直接起因するユーティリティの損失として定義される。これは、ペアワイズの有用性評価において、アライメントされていないモデル（$M_{unaligned}$）が、安全性アライメントされたモデル（$M_{aligned}$）よりも好まれる確率として定量化される：
$$Cost_L = P(M_{unaligned} \succ M_{aligned} | L)$$
ここで、$L$ は特定の言語を表す。

2. 実験設定

• モデルのペアリング: 本研究では、4つの主要なモデルファミリー（Llama-3.3-70B, Qwen2.5-72B, Gemma-3-27B, Qwen3-32B）とその対応する**非アライメントモデル（unaligned counterparts）**を利用する。非アライメントモデルは、**拒絶方向のアブレーション（refusal-direction ablation / abliteration）**によって生成される。これは、モデルの重みを単一の拒絶方向に対して直交するように投影することで、ベースとなる知識や指示追従能力を維持したまま、安全防御機能を削除する技術である。
• ベンチマークの選択: 評価は、過剰拒絶データセット（XSTest, OR-Bench, OR-Bench-Hard）に焦点を当てている。これらのデータセットには、有害なクエリと語彙的またはトピック的に類似しているが、実際には有害ではない良質なプロンプトが含まれており、安全メカニズムを起動させるように設計されている。これにより、安全フィルターを機能させつつ、ユーティリティの損失を測定することが可能となる。
• 評価指標: 研究では、LLM-as-a-Judge（GPT-5-mini）を用いたペアワイズ比較フレームワーク（Chatbot Arenaに着想を得たもの）を採用し、どちらの回答がより有用であるかを判定する。**限界安全性コスト（Marginal Safety Cost: MSC）**は、ある言語の安全性コストと英語のベースラインとの差として算出される（$MSC_L = Cost_L - Cost_{English}$）。
• 制御変数: 観察された格差がアブレーションの過程や翻訳の質によるアーティファクトではないことを確実にするため、著者らは以下の広範なコントロールを実施した：
  • 良質なタスクにおける「アライメント・ギャップの差異」を比較し、既存の言語的能力の欠如を排除する。
  • ネイティブスピーカーによる検証およびバックトランスレーションを通じて翻訳の質を検証する。
  • アブレーションを一切行わず、安全性データを用いてゼロから学習された一致するチェックポイント（Qwen3-8B）を使用して結果を再現し、アブレーションの影響を回避する。

主な貢献

1. 系統的な不平等: 本論文は、非英語圏のユーザーが英語圏のユーザーよりも一貫して高い安全性コストを負担しているという実証的な証拠を提示している。この格差は、幅広い多言語サポートと厳格な安全性トレーニングを強調しているモデルにおいても持続している。
2. 3つの格差パターンの特定:
   • ダブル・ペナルティ・ゾーン（二重の罰）: 多くの非英語言語は、安全性向上（Safety Gain）が弱く、かつユーティリティ損失（Safety Cost）が高いという、両方のデメリットを被る領域に位置している。
   • 偽の低コスト: 一部のケース（例：Qwen3）では、一見低く見える安全性コストは、実際には非英語入力に対して安全フィルターが適切に作動していない結果であり、ユーザーが有害な出力にさらされている状態（バランスの取れたトレードオフではなく、保護の失敗）を示している。
   • 高リソース言語の格差: 中国語のような高リソース言語であっても、同等の安全性を確保するために、英語よりも大幅に高い安全性コストを要する。
3. 劣化のメカニズム: 本研究は、安全性コストが明示的な拒絶のみによって引き起こされるのではないことを明らかにしている。ユーティリティ損失の大部分は、潜在的な質的劣化に起因している。つまり、アライメントされたモデルは、たとえクエリを拒絶していなくても、非アライメントモデルと比較して、情報の正確性、実行可能性、精密さが劣る回答を提供してしまう。
4. メソドロジーの枠組み: 著者らは、既存のモデル能力からアライメントの効果を分離して、安全性コストを測定するための制御されたプロトコルを提案しており、多言語の安全性に対するより正確な視点を提供している。

結果

• 定量的知見: 複数のモデルファミリーにおいて、非英語言語は正の限界安全性コストを示しており、不釣り合いなユーティリティのペナルティを受けていることを示している。例えば、Gemma-3およびQwen2.5ファミリーにおいて、非英語言語は英語よりも有意に高いコストを示した。
• 拒絶 vs 潜在的コスト: 分析の結果、明示的な拒絶率もコストに寄与している（特に「ハード」なベンチマークにおいて）ものの、それだけでは格差を完全には説明できないことが示された。多くの場合、非アライメントモデルは、アライメントされたモデルが要求に従っている場合であっても、より包括的で実行可能な回答を提供している。
• 堅牢性の確認: 結果は、ゼロから学習された一致するチェックポイントを使用した場合でも同様であり、この格差がアブレーション技術のアーティファクトではなく、安全性アライメントの目的そのものから生じていることを裏付けている。

重要性

本論文は、現在の安全性アライメントの実践には根本的な欠陥がある、と主張している。すなわち、非英語話者のユーザー体験を低下させる、構造的かつ言語依存的なペナルティを課しているという点である。安全性メカニズムが非英語入力に対して適切に較正されていない（その結果、過剰なユーティリティ損失、あるいは不十分な保護が生じている）ことを暴露することで、著者らは公平な安全性メカニズムの開発を促している。

本研究は、安全性アライメントを均一なプロセスとして捉えるべきではないと結論づけている。代わりに、開発者は、安全性と有用性のトレードオフが公平に分配され、非英語ユーザーに不当な負担を強いることがないよう、すべてのサポート対象言語における安全性コストを測定し、対処しなければならない。本研究は、真に包括的で有用なAIシステムを実現するために、英語中心の安全性パラダイムを超えていく必要性を強調している。