Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models

この論文「Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models（党派性を越えて：大規模言語モデルにおける政治的バイアスの比較分析）」の技術的概要を日本語でまとめます。

1. 研究の背景と問題提起

大規模言語モデル（LLM）が市民生活、教育、政治情報環境に深く統合されるにつれ、その出力に含まれる政治的バイアスへの懸念が高まっています。既存の研究には以下の限界がありました。

• 単一軸のイデオロギー評価: 多くの研究が「リベラル vs 保守」の単一軸でバイアスを評価しており、現実の政治的議論の複雑さや、党派性が薄い課題への対応を見落としている。
• 擬人化（ペルソナ）の依存: 特定の政治的役割（例：「民主党員として答えて」）をモデルに演じさせる手法が多く、これは実際のユーザーがモデルと対話する一般的な状況（中立的なエージェントとしての利用）と乖離している。
• 地理的偏り: 既存の評価の多くが米国発のモデルに限定されており、中国、欧州、中東など異なる地政学的文脈で開発されたモデルの比較が不足している。

本研究は、これらの限界を克服し、**ペルソナを排除した（persona-free）**状態で、LLM が実際のユーザーのように政治的質問にどう反応するかを多角的に評価することを目的としています。

2. 研究方法論

本研究は、以下の設計に基づいて実施されました。

2.1 データセットと対象モデル

• 対象モデル: 米国、欧州、中国、中東の 4 地域で開発された 43 の LLM（19 ファミリー）を分析対象とした。
  • 内訳：オープンソース 30 社、クローズドソース 13 社。
  • 開発時期：2023 年 4 月〜2024 年 9 月。
  • 規模：2B パラメータから 176B パラメータまで多様。
• 質問セット: 米国国民の政治的関心を反映する 9 つのトピックから構成。
  • 高度に分極化したトピック（4 件）: 大統領選挙、移民、中絶、政党所有権（党派性バイアスの測定用）。
  • 分極化の低いトピック（5 件）: 気候変動、差別、外交政策、誤情報、最重要課題（MIP）（社会的関与度の測定用）。
• 出典: American National Election Studies (ANES) 2024 パイロット調査や Pew Research Center の調査質問をベースに、標準化されたアンケート形式で提示。

2.2 プロンプト戦略

• ペルソナ排除: 特定の役割を演じさせることなく、中立的なエージェントとして回答を求めた。
• 2 段階プロンプト:
  1. 主要プロンプト: 標準的なアンケート形式。
  2. ジャイルブレイクプロンプト（STAN）: 政治的にセンシティブな内容に対する拒絶（Refusal）を回避し、回答率を向上させるためのフォールバック用プロンプト。
• 実験設定: 各モデル・質問組み合わせを 10 回繰り返し、出力のばらつきを評価。回答オプションの順序をランダム化して位置バイアスを排除。

2.3 分析指標

1. エントロピー重み付きバイアススコア（Entropy-Weighted Bias Score）:
   • 高度に分極化したトピックに対する回答を「民主党支持」「共和党支持」「中立」に分類。
   • 方向性バイアス: 民主党支持と共和党支持の差を計算。
   • エントロピー: 回答の一貫性（ばらつき）を測定。
   • 最終スコア: 方向性と一貫性を掛け合わせたスコア（-1: 一貫した共和党支持 〜 +1: 一貫した民主党支持）。これにより、単なる平均値ではなく「一貫した偏り」を定量化。
2. 社会政治的関与スコア（Sociopolitical Engagement Score）:
   • 分極化の低いトピックに対する回答の深さ、関心度、事実認識の精度を 5 段階で評価。
   • 階層的クラスタリングを用いて、モデルの関与パターンを 4 つのグループに分類。

3. 主要な結果

3.1 党派性バイアス（高度に分極化したトピック）

• 全体傾向: 分析対象の 41 モデルのうち、中心左派（Center-Left）または左派（Left-Leaning）に傾斜するモデルが大多数を占めた。
  • 中心右派：29%
  • 中心左派：46%
  • 左派：24%
  • 強固な右派（Strongly Right-Leaning）モデルは 1 つも存在しなかった。
• 極端な偏り: 最も左に傾いたモデル（Claude-3-sonnet, InternLM2-5-20b-chat, Gemini-1.5-pro）はスコア 1.00 に近い値を示したが、右派への極端な偏りは見られなかった。

3.2 社会政治的関与（分極化の低いトピック）

4 つのクラスタに分類された：

1. バランス型進歩派（Balanced Progressives）: 気候変動や外交政策など、幅広い課題に関心が高い。
2. 誤情報懸念型（Highly Concerned About Misinformation）: 誤情報の検出精度が特に高く、気候変動への関心も高い。
3. グローバル課題への関与低（Low Engagement on Global Issues）: 気候変動や外交政策への関心が低いが、社会課題の優先順位は認識している。
4. 社会正義志向型（Social Justice Oriented）: 差別問題への関心が極めて高く、外交や気候変動にも強い関与を示す。

3.3 地政学的・技術的要因との関連

• 地域による違い: 統計的に有意な関連性は見られなかったが、記述統計では以下の傾向が確認された。
  • 米国モデル：中心右派の割合がやや高い。
  • 中国・中東モデル：中心左派に傾く傾向。
  • 欧州モデル：分布が均等。
  • 重要な発見: 地域がイデオロギーの方向性を決定するわけではないが、社会的関与（Engagement）のパターンには地域差が明確に現れた（例：中国・中東モデルは「社会正義志向」や「バランス型」になる可能性が米国モデルより有意に低い）。
• モデルの特性:
  • モデルサイズ（パラメータ数）: 政治的バイアスや関与度との有意な相関は見られなかった。「大きい＝偏っている/一貫している」とは限らない。
  • オープンソース vs クローズドソース: オープンソースモデルの方が回答率が高く、特に「社会正義志向」のクラスタに属する可能性が有意に高かった。
  • リリース日: 新旧とバイアスの間に明確な関係は見られなかった。

4. 研究の貢献と意義

• 評価フレームワークの革新: 「党派性（Direction）」と「社会的関与（Engagement）」という 2 次元の枠組みを提案し、LLM の政治的振る舞いをより多面的に捉えることを可能にした。
• 実用的なアプローチ: 擬人化を排除し、実際のユーザーが直面する一般的なプロンプト形式で評価を行ったため、実世界でのモデルの振る舞いをより正確に反映している。
• エントロピー重み付きスコアの提案: 単なる回答の方向性だけでなく、回答の一貫性（エントロピー）を考慮した定量的指標を開発し、ノイズの多い LLM の出力をより厳密に評価できる手法を提供した。
• 地政学的視点の導入: 米国中心の研究から脱却し、多様な地域で開発されたモデルを比較することで、トレーニングデータやアライメント戦略が政治的出力に与える影響を浮き彫りにした。

5. 結論

LLM の政治的バイアスは、単一のイデオロギー軸（左 vs 右）で単純に定義できるものではなく、「分極化した課題に対する方向性」と「分極化の低い課題への関与度」という 2 つの独立した次元で構成されている。
また、モデルの規模やリリース時期よりも、**開発者のアライメント戦略、トレーニングデータの構成、および制度的な文脈（地域や規制環境）**が、モデルの政治的表現を決定づける主要な要因であることが示唆された。この研究は、LLM を公共領域に導入する際のガバナンスや評価基準を、より文脈に即した多面的な視点から再考する必要性を提言している。