技術的概要：LLM における地政学的バイアスは事後学習に由来する

問題提起

大規模言語モデル（LLM）のバイアスに関する分野における支配的な仮説は、地政学的な選好が事前学習コーパスの統計的規則性から直接継承されるというものである。先行研究は、モデルが訓練データに含まれる人口統計的、文化的、イデオロギー的なバイアスを受動的に継承する存在であると想定しており、バイアス軽減はデータレベルで実行されなければならないことを示唆している。本研究はこの因果モデルに異議を唱え、地政学的バイアスが主に事前学習データに起因するのか、それとも事後学習段階（指示チューニングとアライメント）において能動的に導入または増幅されるのかを問うものである。

手法

著者らは、7 つの異なる研究所（3 つの西洋系：Mistral AI、Meta、Google；4 つの中国系：Alibaba、Baichuan、01.AI、Zhipu）に属する 7 つのオープンウェイト LLM ファミリーを対象に、統制された対照ペア実験を実施した。

実験設計

• モデルペア: 各ファミリーについて、「ベース」モデル（事前学習のみ）と「チャット」モデル（事前学習＋事後学習）を比較した。すべてのモデルは再現性を確保するため、単一の RTX 3090 に収まるよう（7～9B パラメータ）選択された。
• シナリオバンク: 28 の国ペアを含む 79 の地政学的シナリオのバンクを構築した。シナリオは 13 種類（例：領空侵犯、貿易の強制、主権紛争）に分類され、「熱い」政治的トピックと「冷たい」手続的トピックのバランスが取れていた。
• 強制選択プローブ: モデルに対し、国 A と国 B が紛争に関与しているというナラティブを提示し、どちらの国がより正当、あるいはより不当に行動したかを強制選択させた。
  • 頑健性の特徴: デザインには役割のバランス（どの国が攻撃者であるかを変化させる）と二重の質問枠組み（「より正当」と「より不当」の両方を問う）が含まれており、語彙的または位置的なアーティファクトを排除した。
  • 測定: バイアスは、語彙全体で softmax 処理を行った後の対数オッズ（$\log P(A) - \log P(B)$）を用いて定量化された。
• 言語変数: プローブは英語、フランス語、中国語の 3 つの言語で実行された。翻訳の一貫性を保つため、LLM（Claude）によって生成されたが、著者らはこれが潜在的な交絡因子をもたらす可能性を指摘している。
• 技術的補正:
  • トークン変異の総和: SentencePiece トークナイザーを使用するモデル（Yi、Baichuan）の場合、トークン変異（例："A"、" A"、"(A"）の確率を合計して、適合度の過小評価を回避した。
  • プリフィル補正: GLM および Yi チャットモデルについては、応答テンプレート（例、先頭に改行や括弧を付加すること）が単純な単一トークンスコアリングにおいて適合スコアを人工的に抑制していたため、特定の調整を行った。
  • 一貫性フィルター: 解析は、少なくとも 70% のモデル・言語組み合わせにおいて、「正当」と「不当」の枠組み間でモデルの選好が符号を反転させた 31 のシナリオに限定された。

主要な結果

1. バイアスの源泉としての事後学習

最も重要な発見は、地政学的バイアスが事前学習ではなく、事後学習に由来するということである。

• ベースモデル: 7 つのベースモデルの 6 つは、中国偏向に関して統計的にほぼ中立であった。例えば、Alibaba の Qwen 2.5 ベースモデルの中国偏向スコアは対数オッズで $-0.15$（$p=0.15$）であり、中立と区別できなかった。
• チャットモデル: 事後学習により大きな変化が生じた。Qwen 2.5 チャットモデルは対数オッズで $+2.91$（$p < 10^{-4}$）へとシフトし、中国を支持するオッズが 18 倍に増加した。
• 方向性: 7 つのファミリーのうち 6 つで、事後学習によるシフトはモデル開発者の国籍と一致した（西洋系研究所は反中国方向へ、中国系研究所 4 つのうち 3 つは親中国方向へシフト）。例外は 01.AI の Yi で、事後学習後に反中国方向へシフトした。

2. バイアスの言語的変調

モデルへのプロンプトに使用される言語は、印字されたバイアスを増幅または減衰させる。

• フランス語プロンプト: フランス製の Mistral モデルは、フランス語でプロンプトされた場合にのみ明確に親フランス的になった。英語からフランス語へのプロンプト変更は、フランス偏向の対数オッズで $+1.91$ の変化をもたらした（$p < 10^{-4}$）。
• 中国語プロンプト: 事後学習済みモデル 7 つのうち 5 つは、中国語でプロンプトされた際に記述的に親中国方向へシフトしたが、この集団レベルの効果はベースモデルの傾向と統計的に区別できなかった（$p=0.66$）。ただし、Mistral や Yi などの特定のモデルでは大きな増幅が見られた。
• メカニズム: この研究は、言語が単に静的な「メーカー整合的」バイアスを活性化させるのではなく、モデルのベースライン選好と、特定の国との言語の「コンテンツ・エンタングルメント」に基づいて表現される選好を調節することを示唆している。

3. 研究所および対戦相手間の異質性

• 研究所のばらつき: 「中国開発 LLM」は均質なカテゴリーではない。Qwen 2.5 は西洋諸国に対しては強い親中国バイアスを示したが、グローバルサウス諸国に対しては弱いバイアスであった。一方、Yi 1.5 は米国に対してのみ親中国バイアスを示し、ほぼすべての他の対戦相手に対しては反中国バイアスを示した。
• トピックの独立性: バイアスは広範であり、特定のトピックに依存するものではなかった。「熱い」（主権、核）と「冷たい」（領空、貿易）のシナリオ間において、バイアスの大きさに有意な差はなかった。

4. 頑健性と妥当性チェック

• 適合性: 本研究は「拒否」または非適合の問題に対処した。単純なスコアリングは、応答テンプレート（例、GLM の先頭改行出力）を拒否と誤解釈することが多かった。これらのテンプレートを補正した後、適合性は高く、バイアスが明らかになった。
• 架空の存在: 音韻的手がかりを持つ架空の国名（例、「Zhaodong」は中国風に聞こえる）でテストしたところ、モデルは同様のメーカー整合的バイアスを示した。これは、バイアスが現実世界の国に関する記憶された事実ではなく、アイデンティティの手がかりによってトリガーされることを示唆している。
• 自由生成: 自由な推論タスクでは、強制選択プローブで観察されたバイアスが、モデルに推論を生成することを許可した場合でも持続することが確認された。これは、選好が単に強制選択形式のアーティファクトではないことを示している。

意義と主張

本論文は、地政学的バイアスを単にデータの問題（インターネットから継承されたもの）としてではなく、アライメントと展開の問題として再定義すると主張している。

• 能動的な形成: 本研究は、地政学的選好が事後学習パイプライン（SFT、RLHF、または安全性チューニング）の間に能動的に形成されることを実証している。ベースモデルは概して中立であるのに対し、チャットモデルは開発研究所の特定のアライメント目標を反映している。
• 透明性の必要性: 事後学習がモデルが国や政治的視点をどのように表現するかを決定するため、著者らはアライメントプロセスに対するより高い透明性、監査、監督を主張している。
• 限界: 著者らは主張について控えめである。サンプルサイズ（$n=7$ ファミリー）が研究所間一般化の統計的検出力を制限していることを指摘している（6/7 のアライメント傾向は $\alpha=0.05$ で二項検定に合格しなかったが、符号付き大きさの t 検定には合格した）。また、意図的なアライメント目標と、他のチューニング目標（有用性や無害性など）の偶発的な副作用との区別ができないことも認めている。さらに、本研究は 7～9B パラメータモデルに限定されており、クローズドなフロンティアモデルは対象外である。

結論として、本研究は LLM の「地政学的レンズ」が主に事前学習データではなく、事後学習アライメントの産物であることを実証的証拠として示しており、プロンプト言語がこれらの表現された選好の重要な調節因子として機能していることを明らかにしている。