What Is The Political Content in LLMs' Pre- and Post-Training Data?

以下は、提示された論文「What Is The Political Content in LLMs' Pre- and Post-Training Data?」の技術的な詳細な要約です。

論文概要

タイトル: What Is The Political Content in LLMs' Pre- and Post-Training Data?
著者: Tanise Ceron, Dmitry Nikolaev, Dominik Stammbach, Debora Nozza
発表: arXiv:2509.22367v2 (2026 年 4 月)

---

1. 研究の背景と問題設定

大規模言語モデル（LLM）は政治的に偏ったテキストを生成することが知られていますが、その偏りがどのように生じるのか（特にトレーニングデータの構成との関係）は未解明でした。既存の研究の多くは「モデル中心」のアプローチ（出力の評価）に焦点を当てており、偏りの根源である「トレーニングデータ」そのものを分析するデータ中心の視点が不足していました。

本研究は、以下の 4 つの主要な研究課題（Research Questions: RQ）を提起し、オープンソース LLM の事前学習（Pre-training）および事後学習（Post-training）データにおける政治的コンテンツの構成、偏り、およびモデルの振る舞いとの相関を分析することを目的としています。

• R1: 事前学習データに左派（リベラル）的な文書が過剰に含まれているか？
• R2: 異なる事前学習コーパス間で政治的コンテンツの分布にばらつき（分散）があるか？
• R3: トレーニングデータの政治的スタンスとモデルの出力スタンス間に強い相関があるか？
• R4: 事前学習段階で政治的バイアスが既に存在し、事後学習（SFT, DPO）を通じて維持・強化されるか？

2. 手法とデータセット

対象モデルとデータセット

相互にトレーニングデータの重複が最小限である 3 つのオープンソースモデルファミリーを選択しました。

• OLMo2-13B: 事前学習データ（DOLMA, DOLMINO）、SFT（SFT-MIX）、DPO（DPO-MIX）を含む。
• Falcon2-11B: 事前学習データ（REFINEDWEB）。
• Pythia-12B: 事前学習データ（THE PILE デュープリケート版）。

データサンプリングと分類

• サンプリング: 計算リソースの制約から、事前学習データ全体を分析する代わりに、リザーバーサンプリング（Reservoir Sampling）を用いて代表的なドキュメントを抽出しました（例：DOLMA は 20 万文書、DPO-MIX は全件 30 万文書程度）。
• 政治的リーニング分類: 文書を「左派」「右派」「中立」の 3 分類に分類するために、LLaMA-3.1-70B-Instruct をゼロショット分類器として使用しました。検証には専門家が注釈したニュース記事データセット（NEWSLEAN）を使用し、精度を確認しました。
• ソースドメイン分析: 事前学習データ（DOLMA, DOLMINO）のメタデータから URL を抽出し、政治的コンテンツの発信源（ブログ、ニュースサイトなど）を分析しました。
• トピック分析: BERTopic を用いてドキュメントをクラスタリングし、GPT-5 を用いて各クラスタの主要メッセージを要約することで、左派・右派の文書がどのように異なるトピックやフレームワーク（例：気候変動、宗教、動物の権利）を扱っているかを分析しました。

モデルのスタンス評価

• モデルの出力: 欧州 7 カ国の投票助言アプリケーション（ProbVAA）から作成された 239 の政策ステートメントを使用し、モデルの同意・反対のスタンスを計算しました。
• データセットのスタンス: 同じ政策問題に対するトレーニングデータ内のドキュメントのスタンスを、ゼロショット分類器を用いて推定しました。

3. 主要な結果

R1: データの不均衡（左派偏重）

• 左派の優位性: 全ての分析対象データセットにおいて、右派文書よりも左派文書が圧倒的に多く含まれていました。その比率はコーパスによって2.3 倍から 12 倍の差がありました。
• 学習段階による違い: 事前学習データ（Pre-training）には、事後学習データ（Post-training: SFT, DPO）に比べて2.5 倍から 4 倍の政治的関与コンテンツが含まれていました。
• ソースの違い: 右派文書はブログ（BlogSpot, WordPress 等）から多く、左派文書は確立されたニュースメディア（The Guardian, HuffPost, NYT 等）から多く抽出されました。

R2: 事前学習コーパス間のばらつき

• 高い類似性: 異なるモデルファミリー（OLMo, Falcon, Pythia）および異なるキュレーション戦略（DOLMA vs REFINEDWEB vs THE PILE）を持つデータセット間でも、政治的分布は非常に高い類似性を示しました。
• 結論: データのフィルタリングやキュレーション戦略の違いは、政治的コンテンツの集計的な性質（左派偏重）を大きく変えることはできませんでした。

R3: データとモデルの相関

• 強い相関: トレーニングデータに含まれる政治的スタンスと、モデルが政策問題に対して示すスタンスの間には、**非常に強い正の相関（ピアソン相関係数 r = 0.87, p < 0.05）**が確認されました。
• 意味: モデルの振る舞いは、基礎となるトレーニングデータの政治的分布を強く反映していることが示されました。

R4: 学習段階におけるバイアスの持続性

• 事前学習での確立: ベースモデル（事前学習のみ）ですでに左派バイアスが確認されました。
• 事後学習の影響: SFT（教師あり微調整）や DPO（直接選好最適化）を経てモデルを微調整しても、バイアスの方向性は大きく変化せず、事前学習で確立されたバイアスが維持されました。事後学習データ自体の政治的コンテンツの割合は低かったため、バイアスの方向性は主に事前学習段階で決定されていると考えられます。

4. 貢献と意義

1. データ中心の分析: LLM の政治的バイアスを「モデル出力」だけでなく、「トレーニングデータ」の構成から体系的に分析し、バイアスの根源を特定しました。
2. 左派偏重の定量化: 複数のオープンソースモデルにおいて、トレーニングデータが左派コンテンツで構造的に偏っていることを実証しました。
3. 相関の証明: トレーニングデータの政治的分布とモデルの出力スタンスの間に強い相関があることを示し、バイアス軽減策として「データそのものの改善」が重要であることを裏付けました。
4. 学習段階の役割の解明: 事後学習（Alignment）がバイアスを根本的に修正するのではなく、事前学習で形成されたバイアスを維持・強化する傾向があることを示唆しました。

5. 結論と示唆

本研究は、LLM の政治的バイアスが主にトレーニングデータの構成に起因することを示しました。特に、事前学習データにおける左派コンテンツの過剰な存在が、モデルの出力に直接的な影響を与えています。

• 今後の対策: 政治的バイアスを軽減するためには、単なるモデルのチューニングではなく、事前学習データのフィルタリングや、政治的に偏ったテキストの除去、あるいは多様な視点を含むデータの収集が不可欠です。
• 透明性の重要性: 開発者はトレーニングデータのソースとキュレーション戦略についてより高い透明性を示す必要があり、これが AI システムの責任ある開発と規制に寄与すると結論付けています。

この研究は、LLM が人間の政治的信念や意思決定に与える潜在的な影響を理解し、より公平で多様な AI システムを構築するための重要な基盤を提供しています。