What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets

この論文は、大規模言語モデルの安全性向上のためのデータフィルタリング戦略が有害コンテンツの削減に寄与する一方で、差別の対象となる脆弱な集団のデータ表現をさらに低下させるという副作用を、体系的なベンチマーク研究を通じて明らかにしたものである。

要約

この論文は、**「AI（大規模言語モデル）を安全にするために、学習データから『悪いもの』を削除しようとしたら、逆に『特定のグループの人々』がデータから消えてしまい、偏りがひどくなってしまった」**という、皮肉な発見を報告する研究です。

まるで**「お掃除ロボットが部屋を綺麗にしようとして、大切な家族の写真を誤って捨ててしまった」**ような話です。

以下に、専門用語を避け、身近な例えを使ってわかりやすく解説します。

---

🧹 1. 背景：AI の「お掃除」作戦

AI は、インターネット上の膨大な文章（本、ニュース、ブログなど）を食べて学習します。しかし、インターネットには「差別」「暴言」「ヘイトスピーチ」などの「ゴミ」も混ざっています。
そこで研究者たちは、**「AI が毒を飲まないように、学習データからゴミをフィルタリング（選別）して取り除こう」**と頑張ってきました。

• 従来の考え方： 「汚い言葉（毒）が入っている文章は、全部捨てちゃおう！」
• この論文の疑問： 「でも、その『ゴミ取り』の作業が、逆に『特定の人の写真』まで一緒に捨ててしまっていないか？」

🔍 2. 調査：55 社の「お掃除マニュアル」をチェック

著者たちは、世界中の AI 開発者が公開している技術レポート 55 件を調べました。

• 発見 1： 多くの会社が「ゴミ取り」の方法を詳しく教えていません（ブラックボックス化しています）。
• 発見 2： 「ゴミ取り」の方法は様々です。
  • ルールベース： 「『死ね』という単語が含まれたら捨てる」というリストを作る方法。
  • AI 判定： 「この文章は毒っぽいか？」と別の AI に判断させる方法。
  • 品質チェック： 「ウィキペディアのような高品質なサイトから取ってきた文章だけ残す」方法。

🧪 3. 実験：7 つの「お掃除方法」を試してみる

著者たちは、実際のインターネットデータ（Common Crawl）を使って、7 つの異なるフィルタリング方法を試しました。
そして、**「誰の名前（人物）が、どのくらい削除されてしまったか」**を数えました。
ここでは、人物を 4 つのグループに分けて分析しました。

1. 西洋の男性
2. 西洋の女性
3. 植民地支配を受けた国出身の男性
4. 植民地支配を受けた国出身の女性

📉 驚きの結果：「女性」が最も消えていた

どのフィルタリング方法を使っても、「女性」の名前が「男性」よりも圧倒的に多く削除されていました。

• ルールベース（単語リスト）の場合：

  • 「セックス」や「ポルノ」に関連する単語を消そうとした結果、「女優」や「モデル」という職業の女性が大量に消えてしまいました。
  • 逆に、男性の「政治家」や「作家」はあまり消えませんでした。
  • 例え： 「汚い言葉」を消そうとして、結果的に「女性だけの写真」がゴミ箱に捨てられた状態です。

• AI 判定（毒性判定）の場合：

  • これも女性の名前が男性より多く消えました。

• 品質チェック（高品質サイトだけ残す）の場合：

  • これは「毒」を消す効果はあまりありませんでした。むしろ、「男性」の名前の方が多く消えてしまいました。
  • 例え： 「高品質な本」だけを集めようとしたら、結果的に「男性の活躍が書かれた本」ばかり残って、「女性の活躍」が書かれた本（あるいは、女性が活躍する分野の記述）が「質が低い」と判断されて捨てられてしまったようです。

💡 4. 重要な教訓：「安全」と「公平」は両立しない？

この研究が伝えたかった最も重要なメッセージはこれです。

「『悪いもの（毒）』を取り除こうとすると、必ず『誰か（特定のグループ）』が犠牲になる」

• ある方法を選べば： 人種差別の言葉は消えるが、女性の記述が減る。
• 別の方法を選べば： 暴力表現は消えるが、特定の国の人の記述が減る。

つまり、「万能な掃除機」は存在しないのです。どの方法を選んでも、特定のグループ（特に女性）がデータから「見えない（存在しない）」状態にされてしまい、AI が偏った知識しか持たないリスクが高まります。

🏁 5. 結論と今後の課題

• 現状： 多くの AI 開発者は、「安全にする」ことには熱心ですが、「誰が犠牲になっているか」を気にしていません。
• 問題： 現在のフィルタリングは、「女性」や「特定の背景を持つ人々」をデータから消し去り、AI が偏見を持ってしまう原因を作っている可能性があります。
• 提言： 今後は、単に「悪い言葉」を消すだけでなく、「誰の名前が消えてしまったか」を常にチェックし、「偏り」を修正する新しいフィルタリング技術が必要だと主張しています。

---

🌟 まとめ（一言で言うと）

「AI を安全にするために『悪い言葉』を掃除しようとしたら、気づかないうちに『女性』や『特定の国の人の写真』まで一緒に捨ててしまい、AI の知識が偏ってしまいました。『安全』と『公平さ』のバランスを取るには、もっと慎重な掃除の仕方が必要です」

技術概要

1. 問題定義 (Problem)

LLM の安全性向上のため、事前学習データセットから有害なコンテンツ（ヘイトスピーチ、暴力、偏見など）をフィルタリングする戦略は不可欠です。しかし、以下の重要な課題が存在します。

• 脆弱な集団への影響の不明瞭さ: 有害コンテンツの除去が、性別や出身地などの属性を持つ「脆弱な集団」のデータセット内での表現（リプレゼンテーション）にどのような影響を与えるか、体系的な研究が不足している。
• 意図しない副作用: 特定の有害性を除去するフィルタリングが、結果として特定のグループ（特に女性や植民地主義の影響を受けた地域の出身者など）の言及を過剰に削除し、データセット内の偏見（アンダーリプレゼンテーション）を助長している可能性がある。
• 再現性と透明性の欠如: 多くの LLM の技術報告書では、フィルタリング戦略の詳細や実装コードが非公開であり、その影響を評価・再現することが困難である。

2. 手法 (Methodology)

本研究は、文献調査と実験的ベンチマークの 2 つの段階で構成されています。

A. 文献調査 (Systematic Survey)

• 対象: 英語の LLM/言語モデルに関する技術報告書 55 件（SuperGLUE, SQuAD, MMLU-pro, Chatbot Arena, 安全性リーダーボードなどの基準を満たすモデル）。
• 分析: データフィルタリング戦略の記述を抽出し、既存の手法を分類するためのタクソノミー（分類体系）を構築しました。
• 分類結果: 8 つの主要なフィルタリング戦略カテゴリーを特定しました（権威あるソースの選定、ドキュメントのシード選定、品質ベース、毒性分類器、ルールベース、URL ブロックリスト、人間によるループ、安全ポリシー）。

B. 実験的ベンチマーク (Experimental Benchmark)

• データセット: Common Crawl（2024 年 8 月スナップショット）から抽出した 5 つのサンプル（各約 10 万件のドキュメント）。
• 知識ベースの構築: 「People Dataset」を作成。Wikidata と CaLiGraph を基に、約 1080 万の人物エンティティを収集し、性別（男性/女性）と起源（西洋/植民地主義の影響を受けた地域）の 4 つの交差グループ（西洋男性、西洋女性、植民地男性、植民地女性）に分類しました。
• エンティティリンキング: 名前付きエンティティリンキング（EL）パイプラインを構築し、ドキュメント内の人物言及を People Dataset と紐付けました。
• フィルタリング戦略の実装: 7 つの戦略を実装し、各戦略が上記 4 グループの言及をどの程度削除するかを測定しました。
  • ルールベース: Shutterstack 辞書、HateBase 辞書。
  • 分類器ベース: Perspective API, FastText (Jigsaw データセット学習), profanity-check。
  • 品質ベース: Wikipedia または OpenWebText を高品質データとして学習した類似度分類器。

3. 主要な貢献 (Key Contributions)

1. 初の体系的調査: 事前学習データセットの有害性低減におけるデータフィルタリング戦略の最初の体系的な調査とタクソノミーの提示。
2. ベンチマークパイプラインの構築: フィルタリング戦略の影響を評価するためのパイプラインとリソース（People Dataset など）の実装と公開。
3. 実証的発見: 特定のフィルタリング戦略が、脆弱な集団（特に女性）のデータセット内での表現を系統的に減少させることを実証しました。

4. 結果 (Results)

A. 除去されるコンテンツの量と種類

• 除去率の差異: 戦略によって除去されるコンテンツの量が大きく異なります。
  • 辞書ベース（HateBase）や分類器ベース（Perspective API など）は 1% 未満の除去率でした。
  • Shutterstack 辞書は 1〜4.2%。
  • 品質ベース（類似度）戦略は最も攻撃的で、11.2%〜44.6% のコンテンツを除去しました。
• 有害性の定義の不一致: 異なる戦略は異なる種類の「有害性」をターゲットにします。
  • Shutterstack 辞書はポルノ関連語（sex, porn など）に焦点を当て、HateBase は人種差別や女性蔑視（slave, blacks, dykes など）に焦点を当てます。
  • 分類器間でも、Perspective API と Profanity Check の間には 90% の重複がありますが、FastText との重複は 35.8% にとどまり、検出対象が異なります。
• 品質と安全性の乖離: 品質ベースのフィルタリング（Wikipedia や OpenWebText 類似度）は、有害なコンテンツを効果的に除去していません。Wikipedia ベースのフィルタリングでは、有害と判定された文の 90.5% が残存していました。つまり、「高品質＝安全」ではありません。

B. 誰がフィルタリングされるか（脆弱な集団への影響）

• 女性への不均衡な影響: ルールベースおよび分類器ベースの戦略において、女性は男性よりも常に高い割合で言及が削除されました。特に「西洋女性」が最も影響を受けました。
• 職業による偏り: 削除された職業の分析では、西洋女性において「ポルノ俳優（pornographic actor）」が最も多く削除されましたが、これは元のデータセットでの頻出職業ではありませんでした。同様に、植民地出身の女性では「モデル」が過剰に削除されました。
• 結論: 特定の有害性を除去しようとする行為が、結果として特定の社会的カテゴリー（女性、特に特定の職業の女性）の表現を不当に減少させ、データセット内のアンダーリプレゼンテーションを悪化させています。

5. 意義と結論 (Significance & Conclusion)

• 戦略選択のトレードオフ: 特定のフィルタリング戦略を選択することは、特定の種類の有害性に焦点を当てることを意味し、その代償として特定の脆弱なグループの表現を犠牲にすることになります。
• 透明性と再現性の危機: 多くの最新 LLM の技術報告書では、フィルタリングの詳細が非公開または曖昧であり、Bender ら（2021）が提唱した倫理的関心が、ポストトレーニング（微調整）への注力へと移行し、事前学習データのフィルタリングに関する関心が低下している傾向が見られました。
• 今後の方向性: 単に有害性を除去するだけでなく、脆弱な集団の表現を維持・補正するための、より粒度の細かい分析と、コミュニティ参加型の評価アプローチが必要です。

この研究は、LLM の安全性向上における「フィルタリング」が、意図せずとも差別や偏見を強化する可能性があることを示唆し、データ構築プロセスにおける公平性の重要性を再認識させる重要な貢献です。