技術的概要：合意駆動型選好最適化による LLM におけるクロスリンガル文化的不一致の軽減

1. 問題定義：クロスリンガル文化的不一致 (CCI)

多言語大規模言語モデル (MLLM) は、ユーザーのアイデンティティが明示的に定義されていても、プロンプトの言語が変更されると一貫性のない振る舞いを頻繁に示します。MLLM は一般的に入力言語に文化的に適応するように設計されていますが、特定のユーザーペルソナ（例：「ユーザーはイギリス人である」）が提供される制約された文脈では、これが重大な失敗となります。

このようなシナリオにおいて、モデルはしばしば明示的なペルソナ指示を無視し、プロンプトの言語に関連する文化的ステレオタイプにデフォルトします。例えば、固定されたイギリス人ペルソナと文学に関する曖昧なクエリが与えられた場合、英語プロンプトでは「シェイクスピア」が、スペイン語プロンプトでは「セルバンテス」が引き出される可能性があります。この現象をクロスリンガル文化的不一致 (CCI) と呼び、これは明示的なユーザー駆動型の制約が、暗黙的な言語駆動型のパーソナライゼーションによって上書きされる、指示追従の失敗を表します。本論文は、この不一致が単なる性能の格差ではなく、モデル内の表現における言語と文化の緊密な絡み合いによって引き起こされる意味的な乖離であると仮説立てています。

2. 手法

2.1 データセット構築

CCI を体系的に評価するために、著者らはBLEnD ベンチマーク（Myung et al., 2024）に由来する並列多言語データセットを構築しました。

• ソース: 離散的な回答空間を持ち、合意指標を容易にするため、BLEnD の多肢選択問題 (MCQ) サブセットが選択されました。
• 言語: 多様なリソースレベルと言語体系をカバーするため、英語、スペイン語、中国語、アラビア語、インドネシア語、韓国語、ギリシャ語、ペルシャ語の 8 言語が選択されました。
• 中立化: 暗黙的な言語駆動バイアスを分離するため、GPT-5.2 を用いて元のプロンプトに含まれる明示的な国名参照を削除しました（例：「メキシコで人気のあるスポーツは？」を「人気のあるスポーツは？」に変更）。
• 翻訳: 回答選択肢を 8 つのターゲット言語すべてに翻訳し、データセットが 8 つの特定の国（米国、メキシコ、中国、アルジェリア、インドネシア、韓国、ギリシャ、イラン）への有効なマッピングを含むようにしました。
• 分割: データは 70% を学習用、10% を検証用、20% をテスト用として分割され、分割間でのデータ漏洩を防止する厳格な措置が講じられました。

2.2 測定：シングルトン・フレスの $\kappa_S$

標準的な一貫性指標は、モデルが幻覚を起こしたり無効な形式を生成したりした場合、これらのエラーを破棄することで生存者バイアスを導入してしまうため、しばしば失敗します。著者らは幻覚に対して数学的に頑健であることが証明された新しい指標、シングルトン・フレスの $\kappa_S$ を導入しました。

• メカニズム: 標準的なフレスの $\kappa$ がすべての応答を事前に定義された有効なセットにマッピングすると仮定するのに対し、$\kappa_S$ は動的に生成されたシングルトン（無効）な回答のセット $U$ を有効な回答セット $V$ に追加して拡張します。
• ペナルティ: 各無効な応答は一意のシングルトンにマッピングされます。これにより、幻覚は別々のカテゴリとして扱われ、サンプルのその場限りの除外を必要とせずに、数学的に不一致に対してペナルティを科すことができます。
• 収束: 著者らは、データセットサイズが増加するにつれて、$\kappa_S$ が標準的な有効カテゴリの $\kappa$ に漸近的に収束することを証明しました。

2.3 軽減：クロスリンガル文化的一貫性選好最適化 (C-3PO)

本論文は、高価な人間の注釈や主観的な正解に依存することなく CCI を軽減するために設計された、自己教師ありの合意駆動型アライメントフレームワークであるC-3POを提案します。

• 合意の抽出: ベースモデルは、すべての $N$ 言語に対して文化的に中立的なクエリに対する応答を生成します。クロスリンガルの合意は、厳密な過半数の言語によって選択された回答として定義されます。
• 選好ペアの構築:
  • 選択 ($y_w$): 合意回答は普遍的に優先される応答として割り当てられます。
  • 却下 ($y_l$):
    • モデルが最初に合意に同意しなかった言語については、実際の乖離した出力が却下された応答として使用されます。
    • すでに合意していた言語については、ランダムに合意以外の選択肢がサンプリングされ、却下された応答として使用されます。
• バランス調整: 合意を決定する言語が学習データを過度にバイアスしないよう、アンダーサンプリング戦略が適用され、合意言語と乖離言語の表現をバランスさせます。
• 最適化: モデルは、低ランク適応 (LoRA) を用いた直接選好最適化 (DPO) によって微調整されます。データは、すべての言語に翻訳された同じクエリからなる並列バッチに構造化され、勾配更新が同時に多様な言語表現を統合された意味的アンカーに向かって引き寄せるようにします。

2.4 ベースライン

C-3PO は、確立された 3 つの行動制御ベースラインに対して評価されました。

1. ペルソナ・プロンプティング: システムプロンプトを通じて特定の国籍に基づいてモデルを明示的に条件付けること。
2. フューショット・プロンプティング: 一貫したクロスリンガル回答のコンテキスト内例を提供すること。
3. ペルソナ・ベクトル・ステアリング: ペルソナ指示ありとなしのプロンプト間の残差ストリーム活性化の差から導出された介入ベクトルを用いて、モデルの潜在空間を制御すること。

3. 主要な結果

3.1 一貫性の向上

3 つのオープンウェイトモデル（Gemma-2-27b-it、Llama-3.1-8B-Instruct、Qwen2.5-3B-Instruct）に対する実証的評価は、C-3PO がほぼすべてのモデルと言語グループにおいて、すべてのベースライン軽減戦略を一貫して上回ることを示しました。

• C-3PO は、未アライメントモデルに対してシングルトン・フレスの $\kappa_S$ で最大0.10 ポイントの絶対的な増加を達成しました。
• ペルソナ・ベクトル・ステアリングなどのベースラインは、特定の構成（例：特定のペルソナ - 国ペア）で高いスコアを達成することがありますが、これらの結果は「選ばれしオラクルシナリオ」として記述されています。C-3PO は最適な構成の手動選択を必要とせず、堅牢なアライメントを提供します。
• フューショット・プロンプティングは、単一のモードに収束し（回答を無差別に繰り返す）、軟らかいおよび硬い一貫性スコアを人工的に膨らませることが判明しました。これは、$\kappa_S$ が頑健にペナルティを科す退化した振る舞いです。

3.2 言語リソースの影響

本研究は、CCI が低リソース言語（インドネシア語、ペルシャ語、韓国語、アラビア語、ギリシャ語）に不均衡に影響を与えることを明らかにしました。

• 低リソースグループは、高リソースグループ（英語、中国語、スペイン語）と比較して、すべてのモデルと軽減戦略において著しく低い $\kappa_S$ スコアを示しました。
• 段階的な追加実験により、低リソース言語が評価プールに追加されるにつれて一貫性が厳密に低下することが示され、リソースの不足が一貫性の主要な駆動因子であることが特定されました。

3.3 解釈可能性分析

Llama-3.1-8B に対する層ごとの解釈可能性分析は、CCI の基盤メカニズムを明らかにしました。

• 出現点: クロスリンガル一貫性は徐々に現れるのではなく、前方パスの表現が安定する後期の層（約 22 層目）で急激に現れます。
• 暗黙的パーソナライゼーション: 表現が安定するにつれて、モデルはプロンプト言語に関連するステレオタイプな文化に出力を暗黙的に固定します。例えば、スペイン語プロンプトはメキシコに関する予測を、アラビア語プロンプトはアルジェリアまたは米国に関する予測を頻繁に引き起こします。
• 傾斜分析: 層をまたぐ予測頻度の線形回帰は、クエリがその国のステレオタイプな言語である場合、特定の国に関する予測の急増が有意に急勾配であることを確認し、モデルがプロンプト言語に基づいて回答を暗黙的にパーソナライズするという仮説を支持しました。

4. 意義と主張

本論文は、4 つの主要な貢献を主張しています。

1. CCI の形式化: モデルが暗黙的な言語の手がかりを優先して明示的なユーザーアイデンティティを活用できない、固有の失敗モードとしてクロスリンガル文化的不一致を分離し、形式化すること。
2. 堅牢な指標: 無効なデータを破棄することなく一貫性を定量化可能にする、幻覚に対して数学的に頑健な指標であるシングルトン・フレスの $\kappa_S$ を導入すること。
3. 効果的な軽減: 人間の注釈された正解を必要とせず、多様なベースラインとモデルアーキテクチャにわたって文化的一貫性を著しく改善する、自己教師ありフレームワークである C-3PO を提案すること。
4. メカニズム的洞察: 内部表現が安定するにつれて MLLM がプロンプト言語のステレオタイプな文化に向けて出力を暗黙的にパーソナライズし、この効果が低リソース言語で悪化することを示す、早期デコードの証拠を提供すること。

著者らは謙虚な立場を維持し、自らのフレームワークが国を文化と等価視していること（還元的な代理）と、生成された「合意」が新たな形態のバイアスを導入する可能性があることを認めています。彼らは、自らの研究が制約された設定における指示追従に対処している一方で、クロスリンガル一貫性が望ましい場合と文化的適応性が好まれる場合に関する広範な議論は、将来の研究に委ねられるべきであると主張しています。