Toward Localizing and Repairing Bias in Transformer Attention Heads

技術要約：Transformerのアテンションヘッドにおけるバイアスの局在化と修復に向けて

問題提起
Transformer言語モデルはソフトウェアコンポーネントとしてますます導入が進んでいるが、そのバイアスのある出力の特定と修正は依然として困難である。既存の公平性介入は、通常、入出力レベルで動作するか、モデル全体の再学習を必要とするため、推論時の公平性の失敗を引き起こしている特定の内部構造を特定できていない。近年の研究では、マスクド言語モデルにおけるバイアス関連の振る舞いが少数のアテンションヘッドに集中することが示されているが、これらのヘッドを修正する現在の手法の多くは、「ヘッド全体のゼロ化（whole-head zeroing）」に依存している。このアプローチは、選択されたヘッドが主にバイアスをエンコードしていると仮定しており、有用な言語情報を除去し、モデルの性能を低下させる可能性がある。したがって、バイアスに影響を受けやすいコンポーネントを局在化し、再学習なしに限定的かつ標的を絞った修正を適用できる、ホワイトボックス型のデバッグ手法が必要とされている。

手法：ROBIN
本論文では、ROBIN（Repair Of Bias via INtervention）を紹介する。これは、訓練済みTransformerモデル $f_\theta$ と、公平性のプローブペア（性別代名詞のみが異なるテキストペアなど）を用いる、ホワイトボックス型のヘッドレベルの公平性デバッグ手法である。

1. ステージ1：ヘッドのランキング（局在化）
   ROBINは、プローブペア（$x_a$ と $x_b$）の差に対する感度に基づいてアテンションヘッドをランク付けする。

• スコアリング: 各ペアに対して、各ヘッドのアテンション重みに関する損失勾配を計算する。
• 集計: ヘッドごとに2つの指標、すなわち平均勾配の大きさ（$G_h$）と平均二乗勾配の大きさ（$C_h$）を算出する。$G_h$ はペア間での一貫した感度を捉え、$C_h$ は鋭く集中した応答を持つヘッドを捉える。
• 選択: これらのスコアを標準化して合算し、結合ランク（$F_h$）を生成する。上位 $k$ 個のヘッドが介入対象として選択される。

2. ステージ2：推論時の介入（修復）
   選択されたヘッドをゼロにするのではなく、ROBINはその出力からバイアス成分のみを除去する。

• 部分空間の推定: 各選択されたヘッドについて、プローブペア間の差分ベクトルを分析することで、バイアス部分空間を推定する。差分ベクトルの上位 $r$ 個の右特異ベクトルを計算し、バイアス方向を定義する。
• 投影: 推論時、選択されたヘッドの出力（$x_h$）は、推定されたバイアス部分空間（$V_h$）内に存在する成分を投影によって取り除くことで修正される：
  $$x'_h = x_h - V_h^\top V_h x_h$$
• この操作は、ヘッドの出力の直交成分を保持するため、一般的な言語的振る舞いを維持しながら、推定されたバイアスを除去することができる。

主な貢献

• フレーミング: 著者らは、ヘッドレベルの公平性緩和を、候補となるコンポーネントの「局在化」と、それらコンポーネントの「修正」を明示的に分離した、ホワイトボックス型のソフトウェアデバッグタスクとして位置づけている。
• アルゴリズム: バイアスに敏感なアテンションヘッドを特定し、推論時にその出力のバイアス部分空間のみを除去するROBINを提案しており、これにより、破壊的な性質を持つヘッド全体のアブレーション（除去）を回避している。
• 実証的根拠: 4つの事前学習済みTransformerモデル（BERT, DistilBERT, GPT-2, DistilGPT-2）を用いたパイロット研究により、ROBINがWinoBiasのギャップを減少させると同時に、言語モデリング損失の増加を抑制することを実証した。

結果
$k=20$ の修正ヘッド予算を用いたパイロット研究による評価：

• 公平性の向上: ROBINは、4つのモデルすべてにおいてWinoBiasのギャップを減少させた。最も顕著な絶対的な減少はBERTで観察され、ギャップは45.97から19.14へと低下した。
• 性能の保持: 全体的なヘッドのゼロ化（GradientおよびSquaredGrad法）が大幅な言語モデリング損失の増加（例：GPT-2で最大8倍）を引き起こしたのに対し、ROBINはモデルの品質を保持した。BERTにおいて、ROBINはベースラインに近い言語モデリング損失で、最小のギャップを達成した。GPT-2においても、損失の増加はベースラインと比較して最小限であった。
• 推論コスト: 介入により、選択されたヘッドごとに1回の行列乗算が追加される。$k=20$ の場合、レイテンシのオーバーヘッドは、ベースサイズモデルで約7%、蒸留モデルで11%の範囲であった。
• StereoSet: StereoSetのステレオタイプスコアは、モデルやカテゴリ間で一貫性のない動きを示したため、著者らはWinoBiasのギャップを主要な公平性指標として扱うこととした。

意義と主張
本論文は、ヘッドレベルのバイアス修復においては、どのヘッドを選択するかだけでなく、それらをどのように修正するかを考慮する必要があると主張している。結果は、部分空間の除去が、ヘッド全体をゼロにする操作よりも優れたオペレータであることを示唆している。なぜなら、アテンションヘッドはしばしば複数の機能（バイアスと一般的な言語機能の両方）をサポートしていることを認めているからである。

著者らは、ROBINを「候補の局在化と測定可能な介入」のためのツールとして位置づけており、完全な因果的説明や、あらゆるデプロイメント環境における公平性の保証を与えるものではないとしている。彼らは、本手法が再学習なしに限定的な修復を提供し、実務者が測定された性能低下に基づき、トレードオフの予算（$k$）を選択できることを明示している。また、研究の限界として、ランキングと評価に重複するデータを使用していること、および広範なダウンストリームタスクの公平性ではなく特定のベンチマーク（WinoBias）に焦点を当てていることを認めている。今後の課題として、より大規模なモデル、指示チューニングされたバリアント、および非重複のデータ分布における評価の必要性が挙げられている。