GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

技術的サマリー：GKnow：性差バイアスと事実的性の絡み合いの測定

問題提起
近年の機械的解釈可能性研究は、バイアスのある出力を引き起こす特定のコンポーネントを分析することで、大規模言語モデル（LLM）における性差バイアスの特定と軽減に焦点を当ててきた。しかし、現在の手法には 2 つの主要な限界がある：(i) 性別代名詞の予測など、非常に特定のタスクを対象とすることが多く、(ii) 事実的性（名詞とその性別との正しい意味的関連、例：「woman」→「she」）とステレオタイプ的性（社会的ステレオタイプに基づく出力、例：「nurse」→「she」）を区別できていない。

この区別の欠如は、バイアス除去努力において重大な副作用をもたらす。すなわち、モデルの事実的性の知識の劣化である。既存の研究は、性差バイアスと事実的性のシグナルがモデル内部表現内で絡み合っていることを示唆しているが、回路レベルおよびニューロンレベルにおけるこの絡み合いの機械的な物語は、依然としてほとんど解明されていない。その結果、ニューロンアブレーションのような単純なバイアス除去技術は、バイアスベンチマークでの成功を主張しながらも、事実的性を正しく予測するモデルの能力を誤って奪う可能性がある。

手法
これらのギャップに対処するため、著者らは、データセットのキュレーション、回路分析、ニューロンアブレーション実験を組み合わせる多面的なアプローチを提案し、2 つのデコーダ専用トランスフォーマーモデル（Llama-3.1-8bおよびOlmo-7b）で検証を行った。

1. データセットのキュレーション（GKnow）：
   著者らは、多様な予測タイプにわたる性の知識とバイアスを評価するために設計されたベンチマークGKnowを導入した。GKnow は、仮定（主語）と期待される出力によってプロンプトを分類する。データセットには以下が含まれる：

   • 事実的サブセット： 語彙的に性別が示される名詞（例：「woman」）、名前、明示的な性別指標に基づくもの。
   • ステレオタイプ的サブセット： ステレオタイプ的に性別が示される職業（例：「nurse」）または特性（例：「nurturing」）に基づくもの。
   • 予測タイプ： 性別代名詞の予測、性別の特定、名前の予測。
     GKnow により、タスクを「ステレオタイプ的（バイアスを受けやすい）」と「事実的（知識に基づく）」のカテゴリに分離し、絡み合いを測定することが可能となる。

2. 回路分析：
   EAP-IG（Integrated Gradients を用いたエッジ帰属パッチング）を用いて、性別に基づく予測に責任を持つ最小忠実な回路を特定する。以下を分析する：

   • 交差率（Intersection over Union, IoU）： 異なるタスクの回路間のエッジとノードの重なりを測定する。
   • タスク間忠実性： あるタスク（例：ステレオタイプ的予測）に対して特定された回路が、異なるタスク（例：事実的予測）の振る舞いを忠実に再現できるかどうかを評価する。

3. ニューロンレベルの分析とアブレーション：
   著者らはIntegrated Gradientsを用いて、タスクに関連するニューロン（特にステレオタイプ的予測に関連するもの。これらは典型的なバイアス除去の標的である）を特定する。特定された上位 10 個および 50 個のニューロンに対してニューロンアブレーション（活性化をゼロに設定）を行う。

   • 評価： アブレーションの影響を GKnow、StereoSet、およびDiFair（性の知識とバイアスの分離評価のためのベンチマーク）で測定する。
   • 指標： 本研究では、$P_{exp}$（期待トークンの確率）、$P_{opp}$（反対性別トークン）、$P_{other}$、および男性性と女性性の出力間の確率ギャップ（$\Delta$）を追跡する。

主要な結果

• 回路レベルの絡み合い：

  • ステレオタイプ的および事実的な性別予測に責任を持つ回路は、高い重なりと低い分離性を示す。
  • タスク間忠実性は高い：ステレオタイプ的タスクに対して特定された回路は、事実的タスクのパフォーマンスを回復できる（その逆も同様）。例えば、gender_prediction_based_on_stereo 回路を gender_prediction_based_on_pronoun サブセットに適用したところ、忠実度は 1.0 となった。
  • これは、事実的性とステレオタイプ的性が回路レベルで重度に絡み合っていることを示している。

• ニューロンレベルの絡み合いとアブレーション効果：

  • ステレオタイプ的プロンプトを通じて特定されたニューロンをアブレーションすると、モデルの事実的性を予測する能力が著しく低下する。
  • GKnow 事実的サブセットにおいて、上位ニューロンのアブレーションは $P_{exp}$ の急激な減少（例：Llama において 50 個のニューロンで 91.49% から 79.86% へ低下）および $P_{opp}$ と $P_{other}$ の増加をもたらした。
  • 決定的なことに、アブレーションはしばしばステレオタイプ的ベンチマーク（例：StereoSet におけるステレオタイプ的予測の $P_{exp}$ 低下）の指標を改善するが、これらの「肯定的」な結果は、事実的性能力の同時的な崩壊を隠蔽している。
  • 男性性と女性性の出力間の確率ギャップ（$\Delta$）は著しく減少し、事実的およびステレオタイプ的サブセットの両方において、性別に基づく予測に対する自信の喪失を示している。

• 人間の解釈可能性：

  • Logit Lens技術を用いて、著者らは異なる性別タスクに共有されるニューロンが人間に解釈可能であることを発見した。例えば、Olmo および Llama の特定のニューロンは、事実的およびステレオタイプ的文脈の両方において、特定の性別トークン（例：「she」のような代名詞や「Mary」のような名前）を抑制または促進することが判明した。

主要な貢献

1. GKnow ベンチマーク： 英語における各種タスクタイプにわたる性差バイアスと事実的性の知識の絡み合いを評価するための既存リソースのギャップを埋める GKnow のキュレーション。
2. 回路レベルの証拠： EAP-IG による実証により、ステレオタイプ的および事実的性のシグナルが同じ計算回路内で絡み合っていることを示し、それらが容易に分離できるという仮定に挑戦する。
3. ニューロンアブレーション分析： 特定のベンチマークにおけるステレオタイプ的バイアスの軽減に効果的である可能性のある単純なニューロンアブレーションが、事実的性の知識を著しく損なうという実証的発見。これは、アブレーションがバイアス除去のための信頼できる単独手法ではないことを示唆する。

意義と主張
本論文は、性差バイアスと事実的性の絡み合いが、回路レベルおよびニューロンレベルの両方で観察可能な、現在の LLM アーキテクチャの根本的な性質であると論じている。著者らは以下を主張する：

• 現在のバイアス除去手法は欠陥がある： 「バイアスニューロン」を標的とするニューロンアブレーションなどの手法は、基盤となるメカニズムが共有されているため、事実的知識を誤って破壊する。
• 評価ベンチマークは不十分である： 事実的性を考慮しないベンチマーク（StereoSet など）は、バイアス除去の試みによって引き起こされる言語能力の劣化を隠蔽する可能性がある。
• 将来の研究には堅牢な評価が必要である： バイアス軽減と並行して事実的性の知識の保持を明示的に測定する、性差バイアス評価データセットの緊急の必要性がある。

著者らは、性別バイアス除去の唯一の手法として「フィルタリングされていないニューロンアブレーション」を行うことへの警告で結論付けており、GKnow のような堅牢なベンチマークがなければ、基礎的な言語理解の犠牲の上にバイアス指標を改善するリスクがあることを強調している。本論文は限界を認めており、発見は現在、英語および比較的小規模なモデルに特化したものであり、性差バイアスは職業や形容詞に基づくステレオタイプでカバーされていない形態で現れる可能性があることを指摘している。