技術概要：ステアリングベクトルを用いたホワイトボックス感度監査

問題定義

大規模言語モデル（LLM）に対する現在のアルゴリズム監査は、主にブラックボックス評価に依存しており、入力と出力のテストのみを通じてモデルの動作を評価する。これらの手法は以下の 3 つの重大な限界に直面している：

1. 表面レベルの制約：これらは入力空間で構築されたテストに限定され、しばしばヒューリスティックによって生成されるため、プロンプトの感度に左右されやすく、結果が一貫しない。
2. 抽象的概念の難しさ：性別や人種的バイアスなど、多くの社会的に関連する性質は抽象的概念を含んでおり、テキスト入力のみを用いて正確に封じ込めたり操作したりすることが困難である。モデルは明示的な保護属性が攪乱された際にはバイアスがないように見えるが、依然として暗黙の代理変数を通じてバイアスを示す可能性がある。
3. グートハート法のリスク：ベンダーは根本的な課題を解決することなく、特定のブラックボックステストに合格するようにモデルを最適化する可能性があり、これにより評価の信頼性が損なわれる。

ホワイトボックスアクセス（重み、活性化、勾配）は内部的メカニズムを理解する上で理論的には優れているが、これまでの研究では、実際的にそのような監査を行うための具体的な技術的アプローチは提供されていなかった。

手法

著者らは、活性化ステアリングを活用して内部モデル表現を操作し、特定概念に対する感度を評価するホワイトボックス感度監査フレームワークを提案する。このフレームワークは、Kim ら（2018）の事後解釈可能性手法を適応させ、ベクトル抽出には教師なしの加重平均差（WMD）法（Cyberey ら、2025）を利用する。

監査プロセスは以下の 6 段階のフレームワークに従う：

1. コンテキストと要件：展開設定とシステム要件を定義する（例：与信審査における性別への不変性）。
2. テスト構築：意図された用途に沿った代表的なテストテンプレートを設計する。
3. ステアリングベクトル抽出：
   • 対象概念 $C$（例：性別化された言語や方言の違い）の程度が異なるデータセット $D_C$ を使用する。
   • WMD 法は、入力活性化を対照概念間の出力確率の差（乖離スコア）で重み付けることで、ステアリングベクトル $v_C$ を計算する。
   • 無関係な情報をフィルタリングするために中立オフセットを適用し、層の選択は線形分離可能性に基づいて行われる。
4. 感度テスト：
   • テスト入力セット $D$ に対して、保護属性の明示的マーカーを中立化または除去する。
   • 入力 $x$ の内部表現 $h_x$ を以下のように攪乱する：$h'_x = h_x + \lambda v_C$。ここで、$\lambda \in [-1, 1]$ はステアリング係数である。
   • モデルは様々な $\lambda$ 値に対してステアリングされた出力 $y'$ を生成する。
5. 適合性評価：
   • **感度指標（$S_C$）**は、ステアリング係数 $\lambda$ と出力 $y'$ の間に線形回帰を当てはめることで計算される。この傾きは、概念 $C$ に対するモデルの平均依存性を表す。
   • 不変性要件：$|S_C| \le \epsilon$（無視できる感度）の場合、モデルは要件を満たす。
   • 依存性要件：$|S_C| \ge \epsilon$（有意で予測可能な感度）の場合、モデルは要件を満たす。

主要な貢献

1. 具体的なホワイトボックスフレームワーク：本論文は、表面レベルの入力攪乱ではなくモデル内部に対する標的介入を用いた、実用的なエンドツーエンドの監査手法を導入する。
2. 新規評価指標：活性化ステアリングを適用して方向微分を通じてモデルの感度を測定し、バイアスなどのモデル特性を二値の合格/不合格ではなく、段階的なスケールで微細に評価することを可能にする。
3. 汎用性：この手法は、性別化された言語などの一般データセットから抽出されたステアリングベクトルが、抽出データとは無関係なタスク固有の入力（例：ローン申請）における概念の操作に適用可能であることを示している。
4. 頑健性：このアプローチは、ブラックボックス攪乱戦略で観察される変動に比べ、異なるベクトルソース間でもより一貫した評価結果をもたらす。

実験結果

この手法は、Llama-3.1、Ministral、Qwen2.5、およびドメイン固有のバリアントを含むモデルを用いて、司法裁判、与信審査、大学入試、医療診断という 4 つの重要度が高い意思決定タスクで評価された。

• ブラックボックスとの不一致：与信審査および司法タスクにおいて、ホワイトボックス手法は、標準的なブラックボックス評価がほとんどバイアスがないと示唆した場所で、しばしば保護属性への依存という実質的なバイアスを検出した。例えば、司法タスクでは、Saul-7B モデルはブラックボックステストを通じて有罪判決率で約 2.5% のバイアスを示したが、ホワイトボックス手法は人種グループ間で 20% の感度差を明らかにした。
• 隠れたバイアスの検証：与信審査において、ブラックボックス手法を明示的な性別ラベルではなく、名前攪乱（暗黙の性別の手がかり）を使用するように変更したところ、測定されたバイアスは増加し、ホワイトボックス推定値と一致した。これは、ホワイトボックス手法が、明示的なブラックボックス攪乱が見逃す実際のバイアスリスクを捉えていることを示唆している。
• 変数の分離：ソボル指数を用いて、著者らはホワイトボックスステアリングが非保護のタスク変数（例：信用履歴、雇用期間）に最小限の影響しか与えないことを示したが、名前を追加するなどしたブラックボックス入力攪乱は、これらの変数のモデルによる分解を時として変更した。
• 頑健性：ステアリングベクトルが異なるデータセット（方言対人種的アイデンティティ）から導出された場合でも、ホワイトボックスの結果は一貫していたが、ブラックボックスの結果は、人種が明示的に攪乱されたか暗黙的に攪乱されたかに基づいて著しく変動した。

意義と主張

本論文は、バイアスなどの抽象的なモデル特性を評価する上で、表面レベルのブラックボックス評価は不十分であると主張する。内部表現を直接探ることで、提案されたホワイトボックス手法は以下の点を実現する：

• 隠れた依存性の解明：従来の入力 - 出力テストでは見逃される、保護属性への実質的な依存性を特定する。
• 信頼性の向上：テストプロンプトの具体的な構築に左右されにくい、より一貫した監査結果を提供する。
• 解釈性の向上：監査担当者がモデルの潜在空間内の特定概念を分離することを可能にし、モデルが意図された展開文脈において信頼性を持って動作するかどうかをより厳密に評価する。

著者らは、線形表現仮説が彼らの手法の基盤となっているが、このアプローチは、重要度が高い設定における LLM のより厳格で透明性があり、信頼性の高いアルゴリズム監査への実用的な道筋を提供すると結論付けている。