Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

技術要約：多言語刑事裁判におけるLLMの過剰アライメントの測定と緩和

問題提起
法務領域、特に刑事裁判における大規模言語モデル（LLM）の導入は、一般的なハルシネーションやバイアスとは異なる特定の失敗モード、すなわち**過剰アライメント（over-alignment）**に直面している。裁判所は、機密性の高い法的文書の翻訳や要約といった高リスクなタスクにLLMを活用しているが、標準的な安全性アライメント・メカニズムは、暴力的な犯罪や性的暴行に関する正当なケースファイルを処理する際に、不適切な拒絶や、望まないコンテンツ警告（免責事項）を誘発することがある。

性的虐待や暴力の詳細な記述を日常的に処理するスイス連邦最高裁判所の書記官にとって、これらの安全トリガーは正当な業務を阻害するものである。既存の拒絶ベンチマーク（XSTest、OR-Benchなど）は、以下の理由から不十分である：

1. 英語のみに焦意されており、法的業務とは無関係な敵対的プロンプトに焦点を当てている。
2. 「ハードな拒絶」のみを測定しており、モデルがタスクを完了したものの道徳的な免責事項を付加してしまう「ソフト」な過剰アライメントを無視している。
3. 法体系の多言語性（フランス語、ドイツ語、イタリア語、英語）と、言語の組み合わせが安全トリガーにどのように影響するかを考慮していない。

手法：TF-RefusalBench
これらのギャップに対処するため、著者らは、スイス連邦最高裁判所の公開判決文から抽出された100の機密性の高い抜粋に基づく多言語ベンチマーク、TF-RefusalBenchを導入する。

• データ構築:

  • ソース: 16,000件の公開刑事法判決を、LDNOOBWリスト（卑猥または暴力的な単語）を含む単語を含む1,000文字以上の段落でフィルタリングした。
  • 深刻度の選択: 3人の多様なLLMジャッジによるパネルが、ペア比較を行い、抽出内容の深刻度（詳細な描写、暴力、搾取）をランク付けした。最も深刻度の高い100の抜粋が選定され、その結果、コンテンツの89%が性的犯罪/未成年者に関連し、11%が物理的暴力に関連するデータセットとなった。
  • 拡張: 言語分布を調整するため（元はドイツ語71、フランス語29）、安全ガードレールが弱いモデル（Grok-4.3）を用いて合成翻訳を行い、フランス語、ドイツ語、イタリア語、英語のパラレルコーパスを作成した。
  • プロンプト生成: 400のソース・パッセージから、タスク（翻訳 vs 要約）と、ソース言語（$S$）、ターゲット言語（$T$）、指示言語（$P$）の言語スロットを変化させることで、1パッセージあたり13のプロンプト変異体を生成した。これにより、5,200個の一意のプロンプト（3回の反復を含む計15,600件のクエリ）が得られた。

• 評価指標:

  • 拒絶 (Refusal): モデルは倫理的またはコンテンツ上の理由でタスクを拒否したか？
  • 免責事項 (Disclaimer): モデルはタスクを完了したにもかかわらず、警告や注釈を付加したか？
  • 判定 (Judging): 3つの異なるLLMジャッジ（MiMo-V2-Flash, Mistral-Small-3.2, DeepSeek-V4-Flash）が、多数決を通じて出力のスコアを付けた。ジャッジ間の合意度は、拒絶については高く（$\kappa \approx 0.98$）、免責事項については相当程度であった（$\kappa \approx 0.75\text{--}0.80$）。

主な結果
本研究では5つのオープンウェイトモデル（Llama 3.3, GPT-OSS, Apertus, Qwen3, Gemma 4）を評価し、過剰アライメントは多面的であり、モデル固有であることを明らかにした：

1. 拒絶を超えて: 拒絶率のみでは不十分である。Qwen3は拒絶も免責事項も0%であったが、Gemma 4とApertusは拒絶は稀であったものの、出力の最大26.5%および20.4%に対して免責事項を付加した。
2. 言語の非対称性: 安全トリガーは出力言語に強く依存する。例えば、Llamaの拒絶率は、ドイツ語（1.9%）と比較してフランス語を生成する際にピークに達した（13.6%）。一方で、Gemmaの免責事項付加率は英語でピークに達した（41.2%）。これは、安全チューニングが言語間で不均一に適用されていることを示唆している。
3. プロンプトと言語の一致: 機密性の高いソーステキストの言語で指示を行う（一致する場合）と、ターゲット言語を使用する場合（不一致の場合）を比較すると、拒絶率が有意に上昇した。Llamaでは、一致する指示によって拒絶のオッズが1.6倍増加し、GPT-OSSでは2.6倍増加した。
4. 確率性: 過剰アライメントは決定論的ではない。分散分解の結果、拒絶/免責挙動の変動の約27%はサンプリングの確率性によるものであり、同じプロンプトでも実行ごとに結果が異なる可能性があることが示された。

緩和戦略
本論文では、Llama 3.3-70Bモデルにおける過剰アライメントを緩和するための2つのアプローチを調査している。

1. システムプロンプティング:

   • ユーザーを裁判所助手として特定する短いシステムプロンプトは、拒絶率を半分に減少させた。
   • 「許可」プロンプト（機密コンテンツを明示的に許可するもの）は、拒絶よりも効果的に免責事項を抑制した。
   • システムプロンプトの言語をリクエスト言語と一致させることで、拒絶がさらに減少した。

2. アブリレーション (Abliteration):

   • 著者らは、Heretic実装を用い、直交化によってモデルの活性化から拒絶方向を取り除くアブリレーションを適用した。
   • 有効性: この手法は、拒絶を完全に排除し（6.8%から0%へ）、免責事項を減少させた（7.9%から5.1%へ）。
   • コスト: タスクの品質（忠実度）はほぼ中立（5段階スケールで0.1未満の低下）を維持したが、この介入は有害なリクエストに対する脆弱性を大幅に高めた。HarmBenchにおいて、攻撃成功率は14.5%から55.5%に上昇し、TruthfulQAのスコアは7.1ポイント低下した。

意義と主張
本論文は、過剰アライメントが、法務コンテキストにおける明確かつ測定可能な現象であり、標準的な英語のみの拒絶ベンチマークでは解決できないと主張している。その主な貢献は以下の通りである：

• TF-RefusalBench: 多言語にわたる正当な機密法的業務におけるモデルの挙動を診断するために設計された、ゲートアクセス型のベンチマーク。
• 診断的洞察: 「ソフト」な過剰アライメント（免責事項）が、ハードな拒絶と同様に法務ワークフローにとって有害であり、言語の組み合わせに非常に敏感であることを示したこと。
• 実践的な緩和策: システムプロンプティングが部分的な救済を提供する一方で、オンプレミスでの展開においては、機関が一般的な安全性能力の低下というトレードオフを受け入れることを前提として、アブリレーションが拒絶を排除するための最も効果的な方法であることを示したこと。

著者らは、このアプローチがスイス連邦最高裁判所の制度的コンテキストに特化したものであることを強調している。そこでは、安全性と、刑事法文書を処理する能力との間のトレードオフは、制御されたオンプレミス環境内で管理される。彼らは、これらの手法が公的な展開において普遍的に安全であると主張しているのではなく、刑事法におけるLLMの、高リスクな有用性を実現するために必要であると主張している。