Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails
本論文は、言語モデルにおける事前学習時のフィルタリングおよび推論時のガードレールを監査し、それらが単純な語彙的手がかりに依存することで、実際のヘイトスピーチや個人情報を捉えることには失敗しながら、周縁化されたグループへの言及を不当に抹消しており、それによって人間の判断とは矛盾する一種の認識的不正義を生み出していることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、超高性能なロボットに言葉と世界の仕組みを教えるための、膨大な本のライブラリを構築していると想像してください。このロボットは「大規模言語モデル（LLM）」と呼ばれ、学習するためにインターネット上の何十億もの文章を読む必要があります。
しかし、ロボットが読み始める前に、人間は「悪い」本を排除するためのフィルター（厳格な司書のようなもの）を設置します。そして、ロボットが人々と会話を始めるとき、人間は不適切な発言を阻止するためのガードレール（安全検査官のようなもの）を設置します。
この論文は、それらの司書や安全検査官が果たしてその役割を全うできているのかについての、深い調査（監査）です。研究者たちは、これらのシステムが安全性を確保しようとするあまり、図らずも社会的マイノリティの声（トランスジェンダーの人々、女性、中米の人々など）を消し去っていること、そして人間の判断を、硬直化した、しばしば誤ったルールへと置き換えてしまっていることを発見しました。
以下に、彼らの調査結果を分かりやすい比喩を用いて解説します。
1. 「禁止用語」の罠
研究者たちは、多くの安全システムが、子供向けの**「お仕置きリスト」**のように機能していることを発見しました。
- 仕組み: 文章の中に特定の「悪い」単語（罵倒語や性的用語など）が含まれていると、システムは文脈を見ることなく、即座にその文章を削除します。
- 問題点: これは、ある身体部位に言及しているという理由だけで、医療処置に関する本を処分したり、「性（sex）」という言葉を使っているという理由でセックスワーカーの権利に関する物語を削除したりする司書のようなものです。
- 結果: これらのシステムは、リストにある単語を見つけることには非常に長けていますが、プライバシーの漏洩、著作権の侵害、あるいは特定の禁止ワードを使わない実質的なヘイトスピーチといった「本当の害」を見抜くことは極めて苦手です。
2. 「過保護すぎる」フィルター
この研究では、これらのフィルターが特定のグループに対して過保護であることが判明しました。それはまるで、特定の帽子を被っている人に対して疑いの目を向ける門番のようなものです。
- トランスジェンダーの人々: トランスジェンダーのアイデンティティに言及する文章は、シスジェンダー（非トランスジェンダー）に言及する文章よりも、はるかに高い頻度で削除対象としてフラグが立てられました。
認識される頻度は、女性に関する言及が男性に関する言及よりも大幅に高かったです。 - 中米の人々: 中米の人々に言及するコンテンツは、ほぼ常に削除対象としてフラグが立てられましたが、西欧の人々に関するコンテンツはほとんど手が付けられませんでした。
- 比喩: 美術館のセキュリティガードが、特定の近所の人々に対しては疑いの目を向け、他の人々は通すような状況を想像してください。そのガードは意地悪をしようとしているのではなく、単に「あの近所の人はリスクが高い」という欠陥のあるルールに従っているだけです。その結果、AI（美術館）はその地域の文化について学ぶことができなくなります。
3. ロボット vs 人間
研究者たちは、ロボットがフラグを立てた文章を人間（ボランティア）に見せ、「これは残すべきか、それとも削除すべきか？」と尋ねました。
- 衝撃的な統計: 事前学習フィルターが削除したがっていた文章に対し、人間は**88.5%の割合で「残すべき」と答え、ガードレールがブロックしようとした文章に対しては91.3%**の割合で「残すべき」と答えました。
- 比喩: これは、ロボットのシェフがスープを味見し、特定のハーブが入っているという理由だけで「毒が入っている」と判断して、鍋ごと捨ててしまうようなものです。一方で、人間のシェフは味を見て、「これはただのスパイシーなスープだ」と気づき、「いや、これは美味しくて安全だ」と言うのです。
- 葛藤: 自動化されたシステムは、人間が実際には価値がある、教育的である、あるいは無害であると考えているコンテンツを削除しています。これらの文章を削除することで、AIはこれらのグループやその経験を理解する能力を失ってしまうのです。
4. 「沈黙による抹消」
論文ではこれを**「認識論的な抹消（Epistemic Erasure）」**と呼んでいます。
- 意味: 「認識論的（Epistemic）」とは知識に関する言葉です。「抹消（Erasure）」とは消し去ることを意味します。
- メタファー: AIが世界の地図を描いている場面を想像してください。フィルターがトランスジェンダーの人々や中米の人々に関する文章を削除し続けるため、AIが描く地図には、それらのグループが存在すべき場所に空白の白い領域ができてしまいます。データが学習前に削り取られてしまったために、AIは文字通り、彼らが存在することや、彼らの生活がどのようなものであるかを「知らない」状態になるのです。
本論文の主張のまとめ
- システムは一致していない: 異なるフィルターやガードレールは、しばしば互いに意見が食い違います。あるものは他が見逃したものを見つけますが、それらは文脈よりも単純な単語リストに大きく依存しています。
- バイアスは構造的なものである: これは単なる一時的な不具合ではなく、一つのパターンです。異なる企業や異なる大陸のシステムが、すべて同様に、特定のマイノリティグループを過剰にフラグ立てしているようです。
- 人間の判断は異なる: 人間は一般的にこれらの文章を安全または重要だと判断しますが、機械はこれらを危険だと見なします。
- 結果: これらの自動化されたシステムに頼ることで、私たちはAIがトランスジェンダーの人々、女性、および特定の地域の人々の現実に対して盲目になるよう、積極的に形作ってしまっています。これは、デジタル世界における彼らの声を事実上、封殺することにつながります。
論文は、これを解決するためには、単なる自動化された「お仕置きリスト」に頼ることはできないと結論付けています。影響を受ける人々を意思決定プロセスに関与させ、単に「悪い言葉」を数えるのではなく、「文脈」を理解できるシステムを作る必要があるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。