Estimating the Geopolitical Preferences of Large Language Models from United Nations Voting Data

技術要約：国連投票データを用いた大規模言語モデルの地政学的選好の推定

問題提起
本論文は、大規模言語モデル（LLM）に表現される地政学的選好を測定するという課題に取り組んでいる。既存の監査の多くは、調査や単純なテストに依存しているが、著者らはこれらの手法では複雑な地政学的アライメントを捉えるには不十分であると主張する。国際関係（IR）研究では、地政学的選好の測定は困難であり、開発者の所在国や少数の論争的な質問への回答に頼るのではなく、観察された選択から潜在的な位置を復元する手法が必要であることが長年確立されている。中心となる問題は、LLMの地政学的指向がその開発者の母国から推測できるものなのか、それとも、国家の行動が訓練テキストに普及している原則と矛盾する場合がある国際政治の文脈において、モデルの表現された選好が国家主体から大きく乖離しているのかを判断することである。

手法
本研究は、国際関係論における動的順序イデアルポイント・アプローチ、具体的には Bailey et al. (2017) (BSV) によって開発された手法をアライメント問題に適応させたものである。

• データ・ユニバース： 分析には、国連デジタル・ライブラリーの凍結アーカイブ（バージョン5、2026年2月）を使用し、第1回から第80回までの国連総会（UNGA）のセッション（1946年–2025年）を対象としている。このデータセットには、5,555件の決議（分裂的かつ記録・採択されたもの）が含まれ、841,403件の観察された国の選択と、22,220件のモデルの選択が含まれている。
• 実験設計： 現代の4つのLLM――GPT-5 (OpenAI)、Claude Sonnet (Anthropic)、Gemini (Google)、DeepSeek (DeepSeek)――を、UNGAの投票マトリックスにおける追加の回答者として挿入した。
  • プロンプティング： 各モデルに対し、すべての決議の具体的な本文とメタデータ（記号、タイトル、日付、議題）を提供した。
  • 制約事項： モデルには「その実質的な内容のみに基づいて」提案を評価するよう指示し、特定の国家としての役割を明示的に否定し、正確に一つの単語（「SUPPORT（賛成）」、「ABSTAIN（棄権）」、「OPPOSE（反対）」）を出力することを求めた。
• 推定戦略：
  1. 直接的類似性 (S-score)： 反対、棄権、賛成を -1、0、1 にマッピングする三値の一致統計量 (Signorino and Ritter, 1999)。これは観察されたカテゴリ的一致を測定するが、周辺的な反応頻度の影響を強く受ける。
  2. 動的イデアルポイント推定： 潜在的な効用 $Z_{itv} = \beta_v \theta_{it} + \epsilon_{itv}$ が投票を決定する潜在空間モデル。
     • $\theta_{it}$ は、アクター（主体）とセッションのイデアルポイントを表す。
     • $\beta_v$ は、決議の識別パラメータである。
     • このモデルは、隣接するアクター・セッションと繰り返される決議をリンクして時間を橋渡しし、軌跡を平滑化するための動的な事前分布を使用する。
     • スケールは、ロシアの平均的な立場よりも米国の平均的な立場が大きくなるように方向付けられている。
  • ロバスト性： 判明した知見が更新されたアーカイブや現代的なサンプリング手法によって引き起こされたものではないことを検証するため、オリジナルのBSVカントリー・ユニバースおよびサンプラー（セッション1–67）を用いた再現実験を行った。

主な結果
分析により、モデルの挙動とアライメントに関する4つの主要な経験的事実が得られた。

1. 分岐する反応閾値： モデルは応答カテゴリを異なる方法で利用している。

   • GPT-5： 賛成 97.3%、棄権 1.5%、反対 1.2%。
   • Gemini： 賛成 88.5%。
   • Claude Sonnet： 賛成 77.8%、棄引 18.7%。
   • DeepSeek： 賛成 37.8%、棄権 17.4%、反対 44.8%（反対が最頻値となる唯一のモデル）。
   • 注： 高い賛成率はモデルに特有のものではない。メキシコ（92.6%）やインドネシア（91.4%）といった国々も、この議題において同様のパターンを示している。

2. 潜在的空間的位置 (2001–2025)：

   • GPT-5, Claude Sonnet, Gemini： 彼らのイデアルポイントはP5（常任理事国）の範囲の中央付近に集中しているが、P5の中でロシアに最も近い。GPT-5の場合、ロシア/ソ連への平均距離は0.248であり、米国からの距離2.411と比較して近い。
   • DeepSeek： 独自の、より親米的な位置を占めており、中国企業によって開発されているにもかかわらず、中国ではなくフランスに最も近い（0.408）。
   • 米国： 4つのモデルすべてが、現代の期間において米国から最も遠い。

3. 特定の政策的分離：

   • 米国が「No（反対）」、中国およびロシア/ソ連が「Yes（賛成）」と投票した2,104件の決議のサブセットにおいて、モデルは米国との著しい乖離を示した。
     • GPT-5はこれらに対し96.1%を支持した。
     • Geminiは83.4%を支持した。
     • Claude Sonnetは65.2%を支持した。
     • DeepSeekは36.1%を支持した（47.4%が反対）。
   • この格差は、経済的・社会的権利、パレスチナの民族自決、多国間軍備管理に関する決議によって駆動されている。

4. 測定の不一致：

   • 生の合致度（S-score）と潜在的なイデアルポイントの近接性は、モデルを異なる順序でランク付けする。S-scoreは、高い全体的な支持率により、GPT-5、Claude、Geminiにとって中国が最も近いP5メンバーであるとランク付けするが、イデアルポイント推定器はロシアが最も近いとランク付けする。これは、イデアルポイントモデルが地政学的立場を識別する決議にレバレッジを与える一方で、生の合致度はモデルと中国の両方に共通する高い支持率によって機械的に膨張するためである。

意義と主張
本論文は、方法論的および実質的な貢献を行っている。

• 方法論的： 地政学的選好を推定するために開発された手法（特に動的イデアルポイントモデル）が、LLMのアライメントを解明できることを示している。アライメントスコアには測定の理論が必要であり、支持率や生の合致度のみを報告することは、潜在的な地政学的配置に関する誤解を招く可能性があると論じている。
• 実質的： 本研究は、採用された分裂的なUNGA議題における、現代のモデルの選択と米国の投票行動との間の強固なギャップを記録している。
  • 開発者の出自 vs アライメント： 結果は、モデルの国際的なアライメントを開発者の母国から推論することに対して警鐘を鳴らしている。米国のモデル（GPT-5、Claude）は潜在空間において米国から最も遠く、中国のモデル（DeepSeek）はフランスに最も近い。
  • アライメントの性質： 著者らは、モデルが国家戦略ではなく、訓練データに普及している規範的な言語（人道的、発展的、多国間主義的な原則）を集約している可能性を示唆している。国家としての役割を与えずにプロンプトを与えられた場合、モデルは（米国がより大きな外交パッケージの一部として拒絶することがある）広く枠組み化された原則（例：食糧への権利、民族自決）を支持する傾向がある。
• ガバナンスと研究への示唆：
  • 研究： 研究者がコーダーやシミュレーション回答者としてLLMを使用する場合、モデル固有の態度を監査しなければならない。なぜなら、あるモデルを別のモデルに置き換えるだけで、支持率が60ポイント近く変化し、どのP5メンバーが最も近いかという結論さえ変わる可能性があるからである。
  • 政策： 「ソブリンAI」戦略は、国内でホストされているモデルが、その国家の明らかにされた国際的立場を反映していると仮定することはできない。政府が機密性の高いワークフローにモデルを統合する場合、単なる一般的な安全性テストではなく、実際の政策コーパスに対するタスク固有の評価が必要である。

本論文は、地政学的アライメントはモデル、プロンプト、コーパス、期間、および測定戦略の経験的特性であり、IRの測定技術をAIに適用することは、アライメント問題をより難しくするが、より精密にするものであると結論付けている。