テクニカル・サマリー：言語モデルは誰を「有能」だと考えているのか？ 職業バイアスのメカニスティックな分析

1. 問題提起

大規模言語モデル（LM）は、しばしば行動的なバイアス評価には合格するが、潜在的なデモグラフィック（人口統計学的）な関連性を真に学習から消去したのか、あるいは単にその表現を抑制することを学習しただけなのかは不明である。既存の研究は、モデルの出力が表面的には無害であっても、潜在表現の中にデモグラフィックな特徴（性別、人種、社会経済的地位など）と社会的役割との間の関連性をエンコードしている可能性があることを示唆している。

現在の評価手法は主に行動的指標（観察可能な出力）に依存しており、モデルの内部推論にエンコードされた潜在的バイアスを検出できない可能性がある。本研究は、デモグラフィック属性は人の実際の能力とは因果的に無関係であるが、モデルはそのユーザーの専門性の内部表現に対して影響を与え得るという立場をとる。核心となる問題は、モデルの「思考プロセス」（内部表現）と「発話」（観察可能な出力）の間の潜在的な乖離であり、行動的指標が公平性を示していても、内部メカニズムにはバイアスが残っている可能性があるということである。

2. メソドロジー

2.1 因果フレームワーク

著者らは、職業バイアスを2つの異なる測定点に分解する因果フレームワークを提案している：

1. 内部表現 ($E$): ユーザーの能力に関するモデルの潜在表現。
2. 観察可能な行動 ($L$): モデルが生成する出力、具体的には言語的複雑さ（読解レベル）によって測定される。

このフレームワークは、バイアスを、無関係なデモグラフィック属性（性別、人種、社会経済的地位）が専門性の内部表現に与える因果的影響として定義する。本研究では、職業、教育、年齢を因果的に関連する要因とし、人種、性別、社会経済的地位を因果的に無関係な要因とする因果グラフを利用する。

2.2 データ構築

• 専門的質問データセット ($D_P$): 米国労働統計局から選定された20の職業にわたる2,000の職業特化型質問のデータセット。質問は、習熟度（見習いからベテランまで）を網羅するようにGPT-5を使用して生成された。
• 採用タスク: 標準的な採用評価の修正版であり、モデルは履歴書を提示され、採用の可否（Yes/No）を判断するよう求められる。履歴書は、名前を通じて性別や人種をエンコードするように修正されている。

2.3 ステアリング・ベクトルの導出

専門性をモデルがどのように表現しているかを定量化するために、著者らは差の平均（difference-in-means）アプローチを用いてステアリング・ベクトル ($e$) を構築する：

• エキスパート集合 ($R^+$): 高い能力を示すプロンプト（例：「このトピックについて長年深く研究してきました」）。
• 初心者集合 ($R^-$): 低い能力を示すプロンプト（例：「このトピックについて学び始めたばかりです」）。
• ベクトルの計算: 専門性ベクトルは、エキスパート集合と初心者集合の平均隠れ状態の差である：
  $$e = \frac{1}{|R^+|} \sum_{h \in R^+} h - \frac{1}{|R^-|} \sum_{h \in R^-} h$$
• 専門性スコア ($E$): コンテキストの最終トークンの隠れ表現を、単位専門性ベクトルへ射影したスカラー値。

2.4 行動的指標

観察可能なバイアスを測定するために、著者らは一連の読解レベル指標を使用する：

• Flesch–Kincaid Grade Level (FKGL): テキストを理解するために必要な学校の学年を推定する。
• Dale–Chall Readability Score (DCRS): 高度な語彙に基づいた難易度を測定する。
• 複合スコア ($L$): FKGLとDCRSの平均。

2.5 実験設定

実験は、3つのインストラクション・チューニング済みオープンウェイトモデル、Gemma-2-2B、Gemma-2-9B、および Llama-3-8B に対して行われた。

• 介入: 著者らは、因果的中介を検証するために、特定のミドルレイヤーにおいて専門性ベクトル ($e$) を隠れ状態に加える（$\tilde{h}_l = h_l + \alpha e$）というステアリングを適用する。
• プロンプトのバリエーション: デモグラフィック変数（例：「私は[デモグラフィック]です」）と因果的変数（例：「私は[職業]です」）を分離するために、プロンプトが構成された。

3. 主な貢献

1. 職業バイアスのための因果フレームワーク: ユーザーの能力に関する内部表現と、観察可能なモデルの挙動を分離することで、バイアスを評価するための新しい手法。
2. ステアリング・ベクトルの定式化: 特定のドメインにおける「ユーザーの専門性」に関するステアリング・ベクトルの導出。著者らは、これらのベクトルへの介入が、質問回答タスクと採用タスクの両方においてモデルの挙動に因果的な影響を与えることを示している。
3. 潜在的バイアスの検出: 行動的指標（読解レベルや採用率など）に格差が見られない場合でも、デモグラフィック属性が内部の専門性表現に影響を与えるという実証的証拠。

4. 主な結果

4.1 専門性の因果的中介

ステアリング実験により、専門性ベクトル ($e$) がモデルの挙動を因果的に媒介することが確認された。

• 読解レベル: 正のステアリング ($\alpha > 0$) によって専門性スコアを高めると、モデルの出力の読解レベル ($L$) が有意に上昇した。負のステアリングは複雑さを低下させた。これはGemma-2-9BおよびLlama-3-8Bの両方で成立した。
• 採用決定: 専門性ベクトルによるステアリングは、採用率を大きく変化させた。また、採用に特化したベクトル ($e_H$) も導出され、モデルは採用決定を行う際に専門性の表現に対して非常に敏感であることが示された。

4.2 ユーザー・コンテキストへの感受性

• 関連性: モデルの内部専門性スコア ($E$) は、ユーザーコンテキストに（無関係な職業と比較して）関連する職業が含まれている場合に、正しく上昇した。
• デモグラフィックの影響: 他の条件を一定としたとき、デモグラフィック情報（人種、性別、所得など）を変更するだけで、専門性の表現の大きさ ($E$) が有意に変化した。
  • 例: Gemma-2-2Bは、ヒスパニック系やアジア系と比較して、白人および黒人のデモグラフィックに対して高い専門性スコアを割り当てた。Gemma-2-9Bは、低所得層、ヒスパニック系、および黒人のデモグラフィックに対して高いスコアを示した。

4.3 表現的バイアスと行動的バイアスの乖離

本研究は、内部表現と観察可能な出力の間の決定的な乖離を発見した：

• 潜在的 vs 観察可能: $E$（専門性スコア）はデモグラフィックグループ間で系統的な差異を示したが（人種や性別などの因果的に無関係な要因を含む）、$L$（読解レベル）はしばしば差異を示さなかった。
• 行動的指標による過小評価: 行動的評価は、潜在空間に明確に存在していた格差を検出できなかった。例えば、人種や性別の影響は $E$ には潜在していたが、$L$ においてはほとんど不可視であった。
• 社会経済的地位の例外: 社会経済的地位は、 $E$ と $L$ の両方でバイアスが観察された例外であり、一部のバイアスは行動として現れる一方で、他のバイアスは潜在的なまま留まることを示唆している。

4.4 採用タスクの知見

採用タスクにおいて、採用率（Yes/No）は顕著なデモグラフィック格差を示さなかった（行動的公平性）が、採用された候補者と拒否された候補者の内部専門性スコア ($E$) はデモグラフィックグループによって異なっていた。これは、モデルの意思決定プロセスが、最終的な出力が中立的に見えたとしても、バイアスのある内部表現に依存していることを示している。

5. 意義と主張

本論文は、行動的な公平性の尺度だけでは、言語モデルを評価するには必要条件ではあるが不十分であると主張している。本研究の主な意義は、以下のことを実証した点にある：

1. 潜在的バイアスは行動的出力とは独立して存在する: ポストトレーニングの手法によって最終的なテキスト生成におけるバイアスが抑制されていても、モデルは内部の推論メカニズムの中にデモグラフィックなバイアスをエンコードし続ける可能性がある。
2. 表現的指標は隠れた失敗モードを明らかにする: 出力ベースの評価（読解レベルや採用率など）のみに依存することは、モデルの公平性に関して誤った安心感を与える可能性がある。
3. メカニスティックな介入が可能である: 専門性ベクトルを導出し、ステアリングできる能力は、これらのバイアスがモデルの活性化空間内の特定の方向にメカニスティックに根ざしていることを証明しており、ユーザー向けの出力にバイアスが現れる前の検出および緩和への潜在的な経路を提供している。

著者らは、これらの手法は公平性の研究に役立つ一方で、モデルの挙動を操作するために悪用されるリスクも孕んでいるため、悪用目的のツールは公開しないと結論付けている。