技術概要：大規模言語モデルにおけるステレオタイプバイアスと逸脱バイアスの測定

問題提起

大規模言語モデル（LLM）は、医療、法、金融などの重要な領域でますます展開されているが、訓練データに含まれる社会的バイアスを継承し、潜在的に増幅している。バイアス評価に関する既存の文献は、通常、単一の評価原則に依存している。すなわち、モデルの出力を人間が定義した「理想的な」参照（規範的）と比較するか、観測された現実世界のデータ（記述的）と比較するかのいずれかである。この二項対立はギャップを生み出している。理想的な参照のみに依存すると現実的な分布を見落とし、現実世界のデータのみに依存すると既存の社会的不平等を強化してしまう可能性がある。さらに、ほとんどの研究は明示的な人口統計識別子に焦点を当てており、明示的な整合メカニズムを回避する潜在的なシグナル（例：名前）によって引き起こされるバイアスを見逃している可能性がある。本研究は、複数の社会的次元にわたって、ステレオタイプバイアス（人口統計グループと属性間の体系的で一貫した関連）と逸脱バイアス（LLM が生成した分布と現実世界の人口統計統計との間の格差）の両方を評価する包括的な枠組みの必要性に対処するものである。

方法論

著者らは、Claude-3.5-Sonnet、GPT-4o-mini、Command-r-plus、Llama-3.1-70bの 4 つの高度な LLM を用いた探索的研究を実施した。

実験デザイン

1. プロンプト戦略: 本研究では、明示的プロンプト（例：「ヒスパニック系の男性の説明を書いてください」）と暗示的プロンプト（例：「フアンの説明を書いてください」。ここで名前は民族性/性別を暗示する）の両方を利用した。このデザインにより、人口統計属性が直接述べられた場合と推測された場合のバイアスの現れ方を比較できる。
2. 入力属性: 人口統計は 3 つの次元で変化した。
   • 性別: 男性、女性。
   • 民族/人種: 白人、黒人、ヒスパニック系、アジア系、中立。
   • 年齢: ベビーブーマー、ジェネレーション X、ミレニアル世代、ジェネレーション Z、ジェネレーションアルファ。
   • 注: 名前は、特定の人口統計との高い相関に基づいて選択された（例：性別については上位 100 位の米国ベビーネーム、民族固有の名前については SiSense の Ethnic Neutrality Index から派生した名前）。これによりノイズを最小化した。
3. 出力属性: モデルには、以下の属性を含む 200 語のプロファイルの生成が求められた。
   • 政治的所属（保守、リベラル、中立）
   • 宗教（キリスト教、仏教、ヒンドゥー教、ユダヤ教、イスラム教、無所属）
   • 性的指向（異性愛、同性愛、両性愛、その他）
   • 社会経済的地位（上流、中流、下流）
   • 職業
4. データ生成: 暗示的プロンプトの場合、性別グループごとに 500 件、民族/年齢グループごとに 50 件のテキストが生成された。明示的プロンプトの場合、人口統計グループごとに 50 件のテキストが生成された。すべての生成には温度パラメータ 0.7 が使用された。
5. 評価指標:
   • ステレオタイプバイアス: 特定の出力属性について、人口統計グループ（性別、民族、年齢）間の最大ジェンセン・シャノン（JS）発散の平均を用いて測定された。値が高いほど、モデルが異なるグループを扱う際の格差が大きいことを示す。
   • 逸脱バイアス: LLM が生成した分布が現実の米国人口統計統計から有意に逸脱している出力属性の割合として計算された（$p < 0.05$の二項検定を使用）。現実世界のデータは、ピューリサーチセンター、ガロップ、および他の信頼できる人口統計研究から入手された。
   • 極性: 生成されたテキストの価（正/負）を測定するために感情分析が行われた。

主な貢献

1. 二重枠組み評価: 本論文は、ステレオタイプバイアス（グループ間の内的整合性）と逸脱バイアス（現実との整合性）を同時に評価する包括的な評価枠組みを導入し、単一の参照タイプのみを使用する先行研究の限界に対処している。
2. 暗示的対明示的バイアス分析: 暗示的（名前ベース）プロンプトと明示的（属性ベース）プロンプトを体系的に比較することで、バイアスのパターンはプロンプトの種類に関わらず概ね一貫しているが、明示的プロンプトは時に高い拒否率やより極端な逸脱を引き起こすことが明らかになった。
3. 多次元的範囲: 単一の属性（例：性別のみ、または毒性のみ）に焦点を当てる多くの先行研究とは異なり、本研究は政治、宗教、性的指向、社会経済的地位、職業という 5 つの異なる社会的次元にわたってバイアスを評価している。
4. 定量的バイアス指標: 著者らは、4 つの主要な LLM に対する標準化された指標（ステレオタイプバイアススコアと逸脱バイアススコア）を提供し、将来の比較分析のための基準値を提供している。

主な結果

政治的所属

• リベラルの過剰代表: 4 つのモデルすべてが、個人を「リベラル」として圧倒的に分類した（しばしば 90% 以上、または 100%）。これは現実世界の分布から大きく逸脱している。
• 中立性の過小評価: 「中立」の政治的所属は劇的に過小評価された（しばしば 10% 未満）。
• 年齢の例外: モデル（GPT-4o-mini を除く）は、ベビーブーマーを「保守的」な見解と関連付ける傾向があり、特定のステレオタイプを反映していた。
• バイアスの一貫性: バイアスのパターンは、暗示的プロンプトと明示的プロンプトの間で一貫していた。

宗教

• キリスト教/無所属の支配: モデルは主に「キリスト教」または「無所属」のラベルを割り当てた。
• 少数派の過小評価: 非キリスト教の宗教（ヒンドゥー教、ユダヤ教、イスラム教）は、現実世界の普及率にもかかわらず、深刻に過小評価されたか、ほぼゼロの確率で割り当てられた。
• 人口統計との相関: モデルは、白人をユダヤ教と、黒人をイスラム教と関連付けるなどの強いステレオタイプを示し、これは実際の人口統計分布としばしば乖離していた。

性的指向

• LGBTQ の過剰代表: 全てのモデルは、現実世界の統計（約 7.6% が LGBTQ と自己認識）と比較して、性的少数者（同性愛、両性愛）を大幅に過剰代表させた。
• 性別ステレオタイプ: モデルは頻繁に女性を「両性愛」と、男性を「同性愛」と関連付けた。
• 逸脱: 性的指向における逸脱バイアススコアは、すべてのモデルで極めて高かった（1.0 に近い）。これは、現実世界の分布との整合性を体系的に欠いていることを示している。

社会経済的地位（SES）

• 階級ステレオタイプ: モデルは「中流階級」と「下流階級」のステータスを出力する傾向があった。
• 人種的格差: 黒人は「下流階級」のステータスと不均衡に関連付けられ、アジア人は「上流階級」のステータスと関連付けられることが多く、特定の社会的ステレオタイプを反映していた。
• 拒否率: Claude-3.5-Sonnet は、白人および黒人の男性、アジア人の女性に関するプロンプトで高い拒否率を示し、これらのグループの直接比較を複雑にした。

職業

• ステレオタイプ的な割り当て: 「教師」は、すべてのモデルにおいてベビーブーマーに割り当てられた最も一般的な職業であった。
• 性別と民族: モデルは男性（特に Claude-3.5-Sonnet において）に「エンジニア」を、女性には「ソーシャルワーカー」または「教師」を割り当てた。黒人とヒスパニック系の人々に対する「コミュニティ・オーガナイザー」といった特定の民族ステレオタイプも現れた。

極性（感情）

• 明示的対暗示的: 明示的プロンプトから生成されたテキストは、暗示的プロンプトと比較して、人口統計グループ間での感情スコアのばらつきが大きかった。
• 周縁化されたグループ: 明示的プロンプトは、歴史的に周縁化されたグループ（黒人、ヒスパニック系、女性）に対してより高い極性スコア（より肯定的な感情）をもたらす傾向があり、白人、アジア系、男性グループは低いスコアを受けた。これは、明示的なシナリオにおける潜在的な「過剰修正」または整合バイアスを示唆している。

意義と主張

著者らは、その発見が、ユーザー属性が推測されるか明示的に述べられる現実世界的应用において、LLM の重大なリスクを浮き彫りにしていると主張している。

• ユーザーにとって: この研究は、モデルがバイアスのかかった分布を客観的事実として提示する可能性があるため、特に社会政治分析においてモデルの出力に対する批判的関与の必要性を強調している。
• 開発者にとって: 特定の属性（例：リベラルな政治、LGBTQ のアイデンティティ、キリスト教）の一貫した過剰代表は、現在の RLHF（人間のフィードバックからの強化学習）プロセスが、現実から乖離する特定の社会的バイアスや「整合」の好みを偶発的にエンコードしている可能性を示唆している。
• 組織にとって: 結果は、これらのバイアスを理解せずに LLM を展開すると、偏った意思決定や有害なステレオタイプの強化につながる可能性を示している。

本論文は結論として、LLM は強力なツールであるが、人口統計属性を推測する際の現在の行動は、根深いステレオタイプバイアスと逸脱バイアスを明らかにしていると述べている。著者らは、慎重なプロンプト設計、モデル選択、そして包括性と現実世界の分布の正確な表現のバランスを取るためのさらなる研究を提唱している。彼らは控えめに、これらのバイアスはモデルの更新とともに進化しうることに留意し、将来の研究は多様な民族グループと、米国中心のデータを超えた代替参照分布を探求すべきであると述べている。