技術要約: Faithful-Patchscopes

1. 問題提起

大規模言語モデル（LLM）は、Patchscopes（Ghandeharioun et al., 2024）フレームワークを通じて、自身の内部の隠れ表現を解釈する能力を示しています。このフレームワークは、ソースとなる表現をターゲットとなるプロンプトに「パッチ（継ぎ当て）」することで、隠れ状態を人間が理解可能な説明へとデコードします。しかし、本論文はこのフレームワークにおける決定的な限界、すなわち**系統的な不誠実さ（systematic unfaithfulness）**を指摘しています。

著者らは、LLMがデコーディングの過程において、パッチされた隠れ表現にエンコードされた文脈情報ではなく、固有の言語パターン（経験的事前分布）に依存することが多いことを観察しています。例えば、ある隠れ表現が「ブロッコリー」に対して（一般的な「緑」という連想に反して）「紫」という属性をエンコードしている場合、モデルはエンコードされた「紫」を無視し、説明として「緑」を生成してしまうことが頻繁にあります。この挙動は、高頻度の連想が低頻度の文脈的属性を上書きしてしまう、学習データ内の不均衡な言語パターンによって誘発されるモデルバイアスによって引き起こされます。

本論文は、既存のデバイアス手法がPatchscopesには適していないと主張しています：

• **教師あり微調整（SFT）**は、高価なアノテーション付きデータセットを必要とし、モデルのパラメータをグローバルに変更してしまうため、Patchscopesが説明しようとしている元の隠れ表現そのものを変えてしまいます。
• プロンプトベースの手法は不安定であり、プロンプト設計に対して非常に敏感です。
• ステアリングベクトル介入は、バイアスが明確に定義された線形分離可能な方向に存在することを前提としていますが、これを信頼性高く推定することは困難です。

2. 手法

2.1. データセットと分析

この問題を体系的に研究するために、著者らは**色（Color）、性別（Gender）、文化（Culture）、年齢（Age）**の4つのタスクをカバーするデータセットを構築しました。

• バイアスありサブセット（Biased Subset）: 言語的頻度に基づく主要な属性（$a_{pri}$）に対してモデルが強い嗜好を示す名詞・属性ペア（例：ブロッコリー $\rightarrow$ 緑）を含みますが、二次的な属性（$a_{sec}$）が文脈的に提供されています（例：ブロッコリー $\rightarrow$ 紫）。
• 非バイアスありサブセット（Non-biased Subset）: 強い言語的嗜好が存在しないペアを含みます。

知見:

• 因果関係: ロジスティック回帰分析により、不均衡な言語パターン（属性間の頻度差）がモデルバイアスの有意な決定要因であることが確認されました。頻度差が1標準偏差増加すると、バイアスのオッズは約9.3倍に増加します。
• 誠実さの低下: バイアスありサブセットにおいて、バニラなPatchscopesの誠実さ（正解の属性生成率であるShow Rateで測定）は、非バイアスありサブセットと比較して平均で**18.84%**低下しました。

2.2. バイアス感受性レイヤーの特定

著者らは、バイアスがエンコードされ、ダウンストリームの計算に影響を与え始める特定のレイヤーを特定する方法を提案しています。これには2つの指標を導入しています。

1. ロジット差（Logit Difference, LD）: ロジットレンズの手法を用い、各レイヤーにおける文脈に沿った属性とバイアスのある属性の間のロジットの差を測定します。
2. 勾配類似度アライメント（Gradient Similarity Alignment, GSA）: 出力勾配と属性方向の間のアライメントを測定し、モデルがバイアスのある情報に依存しているか、文脈情報に依存しているかを判断します。

これらの指標は、介入に最適なレイヤーを特定するためのレイヤー選択スコア（$l^*$）へと統合されます。著者らは、バイアスが均一に分布しているのではなく、中間層で発生することを発見しました。

2.3. 提案手法: BALOR

本論文では、モデルのパラメータを変更することなくデコーディング時の介入を行う手法、**BALOR（Bias Alignment through Logit Recalibration）**を導入しています。

コアメカニズム:
BALORは、対照的なプロンプトのペアを利用します：

• ターゲットプロンプト（$T$）: パッチされた隠れ表現（文脈的属性をエンコードしたもの）を含みます。
• 対照プロンプト（$T^*$）: プレースホルダーを元のトークンに置き換えたもので、文脈情報を含まず、モデルの経験的なバイアス/事前分布のみを反映しています。

ロジット再校正（Logit Recalibration）:
この手法は、ソフトマックス関数を適用する前に、ターゲットプロンプトのロジットからスケーリングされた対照プロンプトのロジットを減算します：
$$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$$
ここで：

• $l_\theta(y | T)$ および $l_\theta(y | T^*)$ は、ソフトマックス前のロジットです。
• $\alpha$ は、増幅レベルを制御するハイパーパラメータです。

理論的保証:
定理4.1は、対数オッズ空間において、あるトークンが対照的な事前分布よりもパッチされた証拠によってより強く支持されている場合、$\alpha$ が増加するにつれてその相対的な優先度が単調に増加することを証明しています。これにより、バイアス成分を効果的に分離し、文脈情報を増幅させることができます。

モード:

• 共有モード（Shared Mode, Mode S）: 再校正された分布を使用して両方のプロンプトのトークンをサンプリングし、シーケンスを同期させます。
• 分割モード（Divided Mode, Mode D）: 再校正はターゲットプロンプトにのみ適用されます。対照プロンプトは元のロジットでデコードされます。

3. 主な貢献

1. データセットと分析: バイアス条件下でのPatchscopesを評価するためのデータセットを設計し、モデルバイアスが説明の誠実さを根本的に制限すること（性能を11.84%から28.47%低下させること）を実証しました。
2. BALOR: パッチされた表現を経験的事前分布と対照させることで、推論段階でバイアスを軽減するロジット再校正デコーディング手法を導入しました。
3. 実証的検証: 4つの現代的なLLM（Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b）にわたる広範な実験を行い、BALORがベースラインを一貫して上回ることを示しました。

4. 実験結果

実験は、4つのタスクにおいてゼロショットおよびフューショット設定で行われました。

• パフォーマンス: BALOR（特にMode S）は、バニラなPatchscopes、プロンプト誘導手法（Closed-Book, Internal-Evidence, Data-Bound）、SFT、およびFairSteerを含むすべてのベースラインを一貫して上回りました。
• 改善: BALORは、バニラなベースラインと比較して、Show Rate（SR）において最大33%の相対的な性能向上を達成しました。
• 安定性: Mode Sは、異なるハイパーパラメータ（$\alpha$）やサンプリング温度に対して高い安定性を示しました。Mode Dは、プロンプト間のシーケンスの乖離により、より変動が大きく、時として不安定になりました。
• 比較:
  • プロンプトベースの手法は不安定であり、しばしばバニラなベースラインを下回りました。
  • SFT手法は、微調整データが評価データと矛盾する場合、大幅に性能が低下しました。
  • FairSteerは、デバイアス方向が不正確な場合に性能が悪化しました。

5. 重要性と主張

本論文は、不均衡な言語パターンがモデルバイアスを誘発し、隠れ表現による説明の誠実さを歪めると主張しています。BALORを提案することで、著者らはモデルのパラメータや内部表現を変更することなく、隠れ表現にエンコードされた真の情報を回復するメカニズムを提供しています。

著者らは、本研究がLLMの解釈可能性の信頼性を向上させるものであることを強調しています。彼らは、本手法が誠実さを高めるものではあるものの、得られた説明をモデルの推論の決定的な証拠として扱うのではなく、補完的な評価手法と併用すべきであると述べています。本研究の目的は、LLMがどのように文脈情報をエンコードし使用しているかを研究者がより良く理解できるようにすることであり、これはこれらのモデルの信頼できる展開において極めて重要です。著者らは、本研究から直接的に生じる否定的な社会的影響はないと考えています。