技術要約：FishBack – トランスフォーマーにおける最適な活性化ステアリングのためのプルバック・フィッシャー幾何学

1. 問題提起

活性化ステアリング（Activation steering）は、パラメータの更新なしに大規模言語モデル（LLM）の振る舞いを変更する軽量な手法として台頭している。推論時に特定の線形方向に隠れ状態をずらすことで、研究者は概念（例：真実性、感情、拒絶など）を増幅または抑制することができる。しかし、既存の手法（CAA、ActAdd、ITIなど）は、顕著な脆弱性を示している。具体的には、層によって不安定であり、係数の微調整を必要とし、ターゲットとなる概念とは無関係な振る舞いまで歪めてしまうことが多い。

著者らは、これらの失敗の原因を、現在の手法が共有している基本的かつ、しばしば明文化されていない仮定に求めている。それは、中間活性化空間がユークリッド的であるという仮定である。これらの手法は、$h \leftarrow h + \alpha v$ という形式の更新を適用しており、あらゆる方向に等しいコストがかかる「平坦な」空間として扱っている。本論文は、この仮定には欠陥があることを主張している。最終的なソフトマックス層が非ユークリッド幾何学（フィッシャー・ラオ計量）を持つことは既知であるが、ステアリングが実際に適用される中間層における幾何学については、これまで検証されてこなかった。その結果、現在の手法は、サブオプティマル（最適ではない）であり、かつオフターゲットの歪みが大きい「直線」に沿ってステアリングを行っているのである。

2. 手法：FishBack フレームワーク

本論文は、データを適合させるのではなく、モデルの計算から直接、中間層のステアリングに適切な幾何学を導出するフレームワークであるFishBackを提案している。

2.1 プルバック・フィッシャー計量

核心となる洞察は、介入のコストはユークリッド的な長さではなく、「モデルの予測トークン分布をどれだけ変化させるか」であるという点にある。

• 出力計量: 最終層において、予測の変化はソフトマックスヘッドのフィッシャー情報計量 $H$ によって支配される。
• プルバック: 中間層 $\ell$ における摂動 $\delta h$ のコストを決定するために、著者らはこの計量をネットワークのヤコビアン $J$（層 $\ell$ から出力への写像の微分）を通じてプルバックする。
• 計量: 結果として得られる計量は $G = J^\top H J$ である。この行列 $G$ がプルバック・フィッシャー計量である。これは対称正定値であり、活性化 $h$ に関するモデルの負の対数尤度の一般化ガウス・ニュートン行列に対応している。

2.2 最適なステアリング方向

$G$ を用いることで、ステアリング方向を見つける問題は、制約付き最適化問題へと変換される。すなわち、ターゲットとなる概念の変化を誘発しつつ、残りの分布の移動（オフターゲットの歪み）を最小限に抑えるという問題である。

• 概念共変ベクトル: 概念方向は、共変ベクトル $q = J^\top \beta_W$ として表現される（ここで $\beta_W$ はターゲット概念のプローブである）。
• 閉形式解: 最小のオフターゲット歪み（KLダイバージェンスで測定）を伴いつつ、目標とする概念変化 $\rho$ を達成する最適な変位 $\delta h^\star$ は、以下のように与えられる：
  $$\delta h^\star = \frac{\rho}{q^\top G^\dagger q} G^\dagger q$$
  ここで $G^\dagger$ はムーア・ペンローズの疑似逆行列である。
• 非ターゲットの最適性: 分離条件（概念因子とコンテンツ因子が独立である場合）の下では、全KLダイバージェンスを最小化することは、オフターゲットのKLダイバージェンスを最小化することと同等である。したがって、この方向は無関係な振る舞いを保持するために最適である。

2.3 8Bモデルへのスケーラビリティ

$G$（サイズ $d \times d$）を明示的に形成することは、大規模モデル（例：Llama-3-8B, Qwen3-8B, $d=4096$）では計算量的に不可能である。著者らは、行列フリー近似を開発した。

1. アクションの評価: $G$ のベクトルへの作用は、有限差分によるヤコビアン・ベクトル積とバックプロパゲーションを通じて計算され、明示的な行列形成を回避する。
2. 低ランクスペクトル: $G$ のスペクトルは高度に集中している。ランダム分解（ランク50）を用いて、逆行列を計算すべき低次元部分空間を特定する。
3. 凍結されたヤコビアン: 計算量を節約するため、ヤコビアンは初期点において一度だけ計算され、ステアリングのステップ全体を通じて固定される。この際、フィッシャー情報量と共変ベクトルのみが更新される。

3. 主な貢献

1. 正しい幾何学の特定: 本論文は、中間層のステアリングを支配する計量が、モデルから直接導出されるプルバック・フィッシャー情報量（$G = J^\top H J$）であることを確立した。これは、加法的手法が想定している平坦な（ユークリッド的な）計量とは対照的である。
2. 閉形式の最適方向: ターゲットとなる概念変化に対して、オフターゲットのKLダイバージェンスを最小化するステアリング方向の閉形式の式を導出した。この方向は、生の概念共変ベクトルを、出力幾何学における「安価な」方向へと回転させる。
3. スケーラブルな近似: 8Bスケールのモデルにおいても、ケースごとに数百回の部分的なフォワードパスを行うだけで、最適な方向を復元できる行列フリーアルゴリズムを開発し、現代的なLLMへの実用性を確保した。
4. 実証的検証: GPT-2 Small、Llama-3-8B、Qwen3-8Bを用いて、3つの動詞形態論的概念（三人称単数、進行形、過去形）について評価を行った。

4. 実験結果

評価には、オフターゲットの歪み（非概念トークンに対するKLダイバージェンス）を測定するために、一致した概念変化（オンターゲットの効果を等しくする）において手法を比較するカウンターファクチュアル・プロトコルが用いられている。

• GPT-2 Small: FishBackは、個別のベースライン（CAA, ActAdd, ITI, ReFT, RepSurgery）と比較して、オフターゲットKLダイバージェンスを中央値で1.4倍から6.5倍低下させた。各ケースで最も小さなオフターゲットダイバージェンスを選択する「ベスト・パー・ケース」のオラクルに対しても、FishBackは依然として低いオフターゲットダイバージェンスを達成しており、中央値の比率は1.25（FishBackが有利）であり、勝率は64%であった。ただし、固定ベースラインと比較した時よりも差は小さくなっている。
• 8Bモデル (Llama-3-8B, Qwen3-8B): 初層および中間層において、FishBackはベースラインに対し、オフターゲットKLを中央値で1.8倍から3.6倍減少させた。
• 幾何学的アブレーション: パイプラインの残りを同一に保ったまま、プルバック計量 $G$ を単位行列（ユークリッド・アブレーション）に置き換えると、オフターゲットの歪みが大幅に増加した（比率は1.3倍から2.45倍）。これにより、この利得が幾何学的補正自体に起因することが確認された。
• 層依存性: 幾何学的な優位性は、計量が強く異方性を持つ（条件数 $\sim 10^7$）初層および中間層で最も顕著であった。深層に向かうにつれて幾何学は平坦化し、優位性は減少した。これは論文の理論的予測と一致している。

5. 意義と主張

本論文は、現在の活性化ステアリング手法の不安定性とオフターゲットの歪みは、モデルの表現空間が持つ固有の非ユークリッド幾何学を無視していることに起因すると主張している。プルバック・フィッシャー計量を通じてこの幾何学を明示的にモデル化することで、FishBackは、介入のための理論的に裏付けられた最適な方向を提供する。

• 理論的厳密性: この手法はデータへの適合に依存するのではなく、モデルのヤコビアンとソフトマックスヘッドから直接計量を導出しており、二次の近似下での最適方向を保証する。
• 実用的影響: このフレームワークは、幾何学的補正が8Bパラメータ規模のより大きく複雑なモデルにおいても優位性を維持できることを示しており、振る舞い変更の忠実度を大幅に向上させている。
• 限界: 著者らは、本手法の利点はプルバック計量の異方性に依存すると指摘している。幾何学がほぼユークリッド的（平坦）になる非常に深い層では、補正の恩恵は狭まり、これは論文内で導出された理論的境界と一致している。

要約すると、FishBackは活性化ステアリングを、モデル自身の情報幾何学によって定義される曲がった多様体をナビゲートする問題として再定義し、線形ステアリングベクトルの脆弱性に対する堅牢な解決策を提供している。