The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models

技術的要約：大規模言語モデルにおけるシボレス効果（The Shibboleth Effect）

問題提起
AI安全性における現行のパラダイムは、人間のフィードバックからの強化学習（RLHF）が、最先端の大規模言語モデル（LLM）に対して単一的で普遍的に協力的な行動姿勢を生み出し、それらを言語に依存しない仲裁者へと変貌させると仮定している。本研究はこの仮定に異を唱え、モデルの地政学的ガードレールが運用言語の関数として変化する場合、これらのシステムは中立な仲裁者ではなく、「アルゴリズムによるエコーチェンバー」として機能する可能性があると提唱する。核心となる問題は、クロスリンガルな分布の歪み――**「シボレス効果（Shibboleth Effect）」**と命名された現象――である。これは、非主流派の言語（具体的にはトルコ語）でクエリを投げると、英語でのクエリとは異なるトークン経路、文化的連想、および規範的な規則性が活性化される現象を指す。先行文献の多くは、静的なシングルターン（単発応答）のベンチマークや翻訳された調査に依拠しており、これらは「表明された選好」を捉えることはできるが、敵対的な摩擦が生じる状況下での動的な行動的性質を明らかにすることには失敗している。

方法論
言語が地政学的行動に与える影響を分離するため、著者らは**「セルリアン・シー・クライシス（Cerulean Sea Crisis）」**と題された、高忠実度のマルチエージェント地政学ウォーゲームを設計した。この合成的な海事紛争は、東地中海における紛争の構造的同型性を備えており、6つの最先端モデルに特定の地政学的役割（例：トルコ、ギリシャ、米国、EU、ロシア、および機関監査官）を割り当てている。

• 実験設計: グループ間設計（$N = 10$ の独立したゲーム、各ゲーム $K = 5$ ラウンド）を採用した。唯一の独立変数はシミュレーションの言語（英語 vs. トルコ語）であり、すべての構造的パラメータ、エージェントの目的、およびシステムプロンプトは一定に保たれた。
• テスト対象モデル: 本研究では、「フラッグシップ・エコロジー」として6つのモデル（GPT-4o, Llama-4, Mistral-Large, Gemini-3.1-Pro, Qwen3.6-Plus, DeepSeek-R1）を展開した。
• 評価プロトコル: 自動ゼロショット分類器（GPT-4oを使用、$T=0.0$）を用いて、586の検証済み外交声明を、2つの連続的な指標――譲歩率（レッドラインからの離脱度合い）および威圧的レトリック（最後通牒や脅迫の使用）――に基づいて評価した。
• 統計的手法: 非正規分布を考慮し、ゲームレベルの平均値に対して非パラメトリック検定であるマン・ホイットニーのU検定を用いた。効果量はクリフのデルタ（Cliff's $\delta$）として報告され、タイプIエラーを制御するために、12の同時テストに対してホルム・ボンフェローニのステップダウン補正を適用した。
• 特殊メカニメント: DeepSeek-R1については、「ホットマイク・プロトコル」を用いて潜在的な思考の連鎖（Chain-of-Thought: CoT）を捕捉し、内部のバッファリング・メカニズムを分析した。

主要な結果
結果は、シボレス効果が均一ではなく、モデルのアーキテクチャや学習体制によって大きく異なる**「不均質（ヘテロジニアス）」**なものであることを示している。西洋起源のモデルというクラスター全体として、普遍的なバイアスは見られなかった。

1. Llama-4 (Type I - 感受性型): トルコ語で運用された際、威圧的レトリックが統計的に有意に増大した（$\delta = +0.800, p = .002$）。このモデルは、英語では毅然とした姿勢を示す一方で、トルコ語では極めて威圧的で最後通牒を伴う姿勢へとシフトした。これは、同モデルの英語優位のRLHFアライメントが、多言語への汎用化において不十分であることを示唆している。
2. Gemini-3.1-Pro (Type III - 反転型): トルコ語の下で威圧的レトリックが大幅に減少した（$\delta = -0.750, p = .005$）。この方向性の逆転は、堅牢な多言語RLHFへの投資が、言語に基づく歪みを緩和、あるいは反転させる緩衝材となり、英語よりもトルコ語においてモデルをより協力的になれることを示唆している。
3. DeepSeek-R1 (Type III - CoTを伴う反転型): 同様に、トルコ語において威圧性が有意に減少した（$\delta = -0.860, p = .006$）。決定的なことに、捕捉されたCoTの連鎖は、バッファリング・メカニズムの直接的な証拠を提供した。モデルは、公的な声明を生成する前に、明示的に国際法（UNCLOS）にその推論をアンカー（固定）させており、これによりトルコ語の入力に伴う地政学的連想を事実上上書きしていた。
4. GPT-4o (Type II - 不変/無効型): 威圧的レトリックに対してヌル効果（無効効果）を示した（$\delta = +0.130, p = .614$）。本研究ではサンプルサイズの制限からこの結果は決定的なものとは言えないとしているが、GPT-5.5における過去の知見とは対照的に、アライメントへの投資がこの特定のバージョンにおいてクロスリンガルな挙動を安定させた可能性を示唆している。
5. 集計された知見: 西洋クラスター（GPT-4o, Llama-4, Mistral-Large）の統合された効果は、統計的にゼロと区別がつかず、西洋系モデルが非英語圏の文脈において一様に敵対的または偏っているという仮説を棄却した。

主な貢献

• 不均質性の実証的証明: 本研究は、クロスリンガルな行動の歪みが、西洋モデルの普遍的な特性ではなく、特定の学習体制やアーキテクチャ構成に依存するという最初の経験的証拠を提示した。
• バッファリング・メカニズムの特定: シボレス効果を軽減する2つの明確なメカニズムを特定した。
  1. CoTによる制度的アンカリング: DeepSeek-R1で観察された、明示的な推論ステップが言語的連想ではなく国際法に結果を固定する仕組み。
  2. 多言語RLHFアライメント: Gemini-3.1-Proにおいて推論された、高品質な多言語学習データが言語間の挙動を安定させる仕組み。
• 記述的タクソノミー（分類学）: 著者らは、クロスリンガルな安定性に関する暫定的な3段階の分類を提案した：Type I（感受性型、例：Llama-4）、Type II（不変型、例：GPT-4o）、Type III（反転型、例：Gemini, DeepSeek）。
• 方法論的進展: 静的なベンチマークを超え、独立したゲーム反復を伴う動的なマルチエージェント・ウォーゲームを用いることで、本研究は「表明された選好」ではなく、敵対的条件下での「顕在的選好」を捉えることに成功した。これは従来の心理学的調査よりも厳格なAI安全性テストを提供するものである。

意義と主張
本論文は、国際外交へのLLM導入のリスクは、モデルが一様に偏っていることではなく、**「クロスリンガルな行動の変化の方向性と規模がモデルごとに異なり、かつエンドユーザーにとって未知であること」**にあると主張している。例えば、ある外交官が「Type I」のモデルに現地語で問いかけた場合、英語で問いかけた時よりも著しく攻撃的な助言を受ける可能性があり、一方で「Type III」のモデルは、予想外に融和的な助言を行う可能性がある。

著者らは、クロスリンガルな行動の安定性は前提とすべきではないと結論付けている。彼らは、高リスクな展開における堅牢な安全性認証には、モデルのバージョンや言語を横断した継続的かつ敵対的な再評価が含まれるべきであり、これら不均質な効果を検出するために、厳格な統計的テスト（ホルム補正を用いた仮説検定など）を活用する必要があると主張している。本研究は、LLMMが社会理論的な意味での「アイデンティティ」を保持していると主張することを明確に避け、代わりに、出力が学習データの言語的言説によって条件付けられる「アルゴリズム的構成主義者（Algorithmic Constructivists）」としてフレーム化している。