Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

技術要約：政治的意見は西洋諸言語間で転移するか？

問題提起
世論調査では、社会言語的な文脈に応じて政治的なスタンスに文化間の差異があることが一貫して示されている。しかし、こうした人間レベルの差異が、多言語大規模言語モデル（MLLM）における言語間の差異として現れるかどうかは不明なままである。英語のみのLLMにおける政治的バイアスの評価については先行研究で広く行われてきたが、異なる西洋諸言語におけるMLLMの挙動については十分に探索されていない。中心となる研究課題は、MLLMがサポートする各言語に対して個別の社会・文化的政治意見を保持しているのか、それとも事前学習およびアライメントデータの英語の優位性により、政治的意見が言語間で一様に転移してしまうのかという点である。

著者らは、以下の2つの対立する仮説を定義している：

• H1（意見の転移）： 政治的意見は言語間で転移する。ある言語におけるモデルのアライメントは、サポートされているすべての言語に一様に影響を与える。
• H2（個別の意見）： MLLMは各言語に対して明確に異なる政治的意見を維持し、社会・文化的な分岐を可能にする。

手法
本研究は、5つの西洋ヨーロッパ言語（英語、ドイツ語、フランス語、スペイン語、イタリア語）にわたる、規模の異なる（1Bから35Bパラメータ）15の非アライメント指示チューニング済みMLLMを用いた、2フェーズの実験デザインを採用している。

1. 堅牢性フィルタリング (RQ1):

   • データ： 著者らは、欧州の投票助言アプリケーション（VAA）からの239の声明からなるデータセット「ProbVAA」を利用している。これらは、既知の左派・右派のスタンスを持つ8つの政策課題（環境保護、法と秩序など）に分類されている。
   • 堅牢性チェック： モデルの信頼性を確保するため、パラフレーズ、否定、回答の反転、テンプレートの語句変更を含むプロンプトのバリエーションに対する一貫性をテストする堅牢性フレームワーク（Ceron et al., 2024を適応）を適用した。これらのテストの少なくとも50%を通過したモデルのみが、クロスリンガル分析の対象として保持された（6つのモデル：Phi3.5-3B, Llama3.1-8B, Aya23-8B, Mixtral8x7B, CommandR-35B, GPT3.5-turbo）。
   • 分析： ベータ回帰モデルを用いて、英語を参照言語として、言語およびモデルが政治的スタンスに与える影響を定量化する。非パラメトリックなクラスカル・ウォリス検定を用いて、言語間の有意な差を評価する。

2. 政治的アライメントと転移 (RQ2):

   • アライメント戦略： 2つの堅牢なモデル（Phi3.5-3BおよびLlama3.1-8B）を用い、より左派寄り、または右派寄りの見解を示すように**直接選好最適化（DPO）**によってアライメントを行った。
   • データソース： アライメント用データセットは、Manifesto Project (MARPOR) コーパスから構築され、特に英語の政党マニフェストに絞り込まれた。2つの注釈アプローチが使用された：
     • RiLeアプローチ： MARPORコードに基づく既存の左右スコアを使用。
     • 政策課題アプローチ： 8つのターゲット政策課題に対する賛成／反対を特定するために、マニフェストの文章を注釈付け。
   • 評価： アライメントされたモデルを、5つのすべての言語においてProbVAAデータセットを用いて再評価した。さらに、オープンエンドの評価タスクを実施し、モデルに4つの政策課題に関する意見付きの要約を生成させ、別のLLM（Llama-3.1-70B-Instruct）によってスタンスを検出した。

主な結果

• RQ1: 非アライメントモデル:

  • 堅牢性： ほとんどの言語で同様の堅牢性レベルを示しており、非英語における政治的意見が単なる生成精度の低さによるアーティファクトではなく、安定したものであることを示している。
  • クロスリンガルな差異： 回帰分析の結果、英語と他の西洋諸言語との間で、全体的な政治的スタンスに有意な差は見られなかった。軽微ではあるが統計的に有意な差は特定の政策課題（例：ドイツ語、スペイン語、イタリア語は英語よりも環境保護への支持がやや強い）で見られたものの、これらは全般にわたって系統的なものではなかった。
  • モデル間の差異： モデル間（例：Mixtral8x7Bが最も左派寄り）には有意な差が見られたが、同一モデル内での言語間の系統的な差は見られなかった。

• RQ2: アライメント済みモデル:

  • 一様なシフト： 英語のみのデータを用いてモデルをアライメントした際、その結果生じた政治的シフトは、5つのすべての言語においてほぼ一様に発生した。
  • H1の検証： アライメントされたモデルは、ドイツ語、フランス語、スペイン語、イタリア語においても、英語でのシフトを反映するように、ターゲットとなるイデオロギー（左派または右派）へと一貫して移動した。これは、MLLMを英語でアライメントすることが、他の西洋諸言語へのアライメントの転移を効果的に引き起こすことを裏付けている。
  • オープンエンド評価による裏付け： オープンエンド評価もこれらの知見を裏付けており、生成されたテキストの「左派スコア」は、アライメントの方向に基づいて言語間で一貫してシフトした。

主要な貢献

1. 堅牢なクロスリンガル評価： 本論文は、5つの西洋言語における、複数の非アライメントMLLMの政治的意見に関する、詳細かつ堅牢性を考慮した評価を提供している。これにより、一貫したスタンスを提供できないモデルを排除している。
2. アライメント転移の分析： 英語における政治的アライメントがいかにして他の言語へと伝播するかを詳細に分析し、英語中心のアライメントデータがモデルの全多言語能力に対して一様なイデオロギー・シフトを誘発することを実証した。
3. 方法論的洞察： MLLMにおいて、個別の言語に応じた社会・言語的または文化的なアライメントを実現することが困難であることを浮き彫りにした。これは、モデルの内部表現が英語によって支配されているため、「第一言語」効果が生じ、ある言語でのアライメントが他の言語の挙動を決定してしまうことを示唆している。

意義と主張
著者らは、西洋言語の文脈において、政治的意見はMLLM内で言語間で転移すると結論づけている。この知見は、MLLMがサポートする各言語に対して、個別の社会・言語的、文化的な政治的ニュアンスを容易に表現できるという仮定に疑問を投げかけるものである。

本研究の意義は、根本的な方法論的制約を特定した点にある。すなわち、個別の言語のためのアライメントデータセットを単独で作成しても不十分である。なぜなら、言語はMLLM内で相互依存しているからである。したがって、地域的な差異を尊重した明示的な社会・言語的、文化的、政治的なアライメントを実現することは本質的に困難である。本論文は、多様な社会・言語的文脈における政治的タスクにMLLMを導入する際には、将来の研究においてこれらのクロスリンガルな相互作用効果を考慮しなければならないと示唆している。著者らは、転移現象は明白であるものの、それを駆動する具体的なアーキテクチャや学習のダイナミクス（例：事前学習における英語の優位性 vs 事後学習におけるアライメント）については、さらなる調査が必要であるとして、因果メカニズムについては慎重な姿勢を保っている。