技術的サマリー：ランク 1 方向制御が安価となるのはいつか？幾何学、粒度、および予算制約付き探索

問題定義

活性化制御（アクティベーション・ステアリング）は、再学習なしに残差ストリームに介入することで大規模言語モデル（LLM）を制御する軽量なメカニズムを提供する。しかし、その有効性は異なる概念間で非常に不均一である。先行研究は、このばらつきを「表現の可行性」、すなわち活性化空間内の単一の方向では捉えられない概念が存在するという考えに帰因させることが多い。

本論文は、主要な障壁は有用なランク 1 方向の「存在」ではなく、それを「発見する最適化の難しさ」であると主張する。実用的なステアリングには、介入層（$\ell$）とステアリング係数（$\alpha$）という 2 つのハイパーパラメータの探索が含まれる。著者らは、探索の風景がしばしば高コストである理由は以下の通りであると仮定している：

1. 効果的な介入層は概念に強く依存するため、固定層の評価戦略は誤解を招く。
2. ベクトル構築に使用される対照的活性化における推定ノイズや構造的な不均一性により、「最良の」ステアリング方向が隠蔽されている可能性がある。

核心的な問題は再定義される：ランク 1 制御が安価かつ安定するのはいつか？ 本論文は、高有用性の介入を回復するために必要な探索予算を削減し、より優れた探索戦略を用いてもなお、なぜ一部の概念の制御が高コストのままなのかを診断することを目指す。

手法

1. 幾何学的事前分布としてのプロンプト境界整合性

著者らは、ランク 1 制御を予算制約付き最適化問題として形式化する。探索を導くため、ステアリング探索を開始する前に対照的活性化から計算される幾何学的統計量であるプロンプト境界整合性（$A_c(\ell)$）を導入する。

• 定義: 与えられた概念 $c$ と層 $\ell$ に対して、$A_c(\ell)$ は最終プロンプトトークンで計算された単位正規化された差分ベクトル（$v^{(p,q)}_\ell = h_\ell(x^+) - h_\ell(x^-)$）の平均的なペアワイズ・コサイン類似度である。
• 仮説: 高い整合性を示す層は、プロンプトペア間で一貫した方向的信号を示しており、効果的なステアリング介入が発生する可能性が高い場所を予測する。
• 適用: すべての層を探索する代わりに、著者らは $A_c(\ell)$ を用いて層をランク付けし、最適化アルゴリズムの探索空間を制限する（例：上位 15 層）。

2. 概念の粒度

最適化の難易度や性能の天井におけるばらつきを説明するため、著者らは概念粒度（$G_c$）を導入する。この指標は、整合性を 2 つの不均一性の源に分解する：

• 質問内合意（$\gamma_c$）: 同じ入力質問に対する異なるプロンプトペア間の合意。
• 質問間合意（$\lambda_c$）: 異なる入力質問間のプロンプトペア間の合意。
• 定義: $G_c(\ell) = \gamma_c(\ell) / A_c(\ell)$。
  • 低粒度（$G_c \approx 1$）: 方向は全体的に一貫している。プロンプトは局所的にも質問間でも合意している。
  • 高粒度（$G_c \gg 1$）: プロンプトは特定の質問内では局所的に合意するが、合意された方向は異なる質問間で体系的に回転する。
• 含意: 高粒度は、単一のグローバルベクトルが多様な文脈にとって不適切な妥協点であることを意味し、探索戦略に関わらず、発見される最良の有用性が低下し、収束が遅くなる。

3. GRACE ワークフロー

著者らは、ステアリング前に活性化統計を用いて対策を選択する診断ワークフローであるGRACE（Granularity- and Representation-Aware Concept Engineering、粒度および表現認識型概念工学）を提案する：

1. 診断: 整合性プロファイルと粒度を計算する。
2. 対策:
   • 大きさの異常値: 大きさの分散が高い場合、標準的な DiffMeans の代わりにUnit-Mean構築（平均化する前にベクトルを正規化）を使用する。
   • プロンプトペアの不均一性: プロンプトペアが明確なクラスターを形成する場合（類似性ヒートマップで検出）、最大の整合部分集合のみを平均化するためにクラスタリングを使用する。
   • 表現の断片化: プロンプト境界と応答平均化された整合性プロファイルが相関しない場合、プロンプト境界層のみに制限するのではなく、両方のバリアントから上位の層を**結合（Union）**して使用する。
3. 探索: 制限された探索空間に対して、幾何学導出のベイズ最適化（木構造パラゼン推定、TPE）を適用する。

主要な結果

探索効率

• 幾何学導出の探索: プロンプト境界整合性でランク付けされた上位 15 層に探索を制限することで、3 つのモデルファミリー（Gemma2-2B、Gemma3-27B、Llama3.3-70B）全体で、発見された最良の有用性の 95% に到達するために必要な試行回数（$T_{95}$）が平均で**39.8%**削減された。
• 性能の維持: この探索コストの削減は、最終的な有用性の損失（平均変化 +0.16）を伴わず、むしろ 58% の実行で性能が向上した。最大の改善は最大のモデル（Llama3.3-70B）で観察され、$T_{95}$ は 42.7% 低下した。

粒度と性能

• 予測力: 概念粒度は、最適化の難易度と性能の天井の両方の強力な予測因子である。
  • 難易度との相関: 高い粒度は、収束に必要な試行回数と正の相関がある（$r = 0.44$、$p < 0.001$）。
  • 有用性との相関: 高い粒度は、発見された最良のステアリング有用性と負の相関がある（$r = -0.46$、$p < 0.001$）。
• 分解: 分散分析（ANOVA）は、「質問効果」（文脈依存の方向回転）が方向的分散の約 42% を説明することを確認しており、高粒度の概念は単一ベクトルによるランク 1 制御にとって本質的に困難であることを示している。

GRACE の有効性

• 除去可能なノイズ: 診断は、推定誤差（大きさの異常値、プロンプトの不一致、断片化）が主な難易度の源である特定の（モデル、概念）ペアを成功裏に特定した。対応する対策（Unit-Mean、クラスタリング、Union 探索）を適用することで、大幅な改善が得られた（例：Gemma2-2B における golden_gate_centric に対して Unit-Mean を適用し、有用性が +6.54 向上）。
• 限界: これらの対策は、高粒度によって課される性能の天井を克服しなかった。高粒度の概念は、構築の選択に関わらず予測された天井付近に留まり、その難易度は推定誤差ではなく、本質的な文脈間回転に起因することを確認した。

意義と主張

本論文は、活性化制御研究のパラダイムシフトを主張する：

1. 「ランク 1 が失敗するのはいつか？」から「ランク 1 が安価なのはいつか？」へ: 著者らは、ランク 1 制御はしばしば可能だが、発見するのに高コストであると論じる。中心的な課題は表現の不可能性ではなく、最適化コストである。
2. 実行可能な事前分布としての幾何学: 活性化幾何学（特にプロンプト境界整合性）は、単なる記述ツールではなく、ステアリングに必要な計算予算を劇的に削減できる実用的な事前分布である。
3. 診断としての粒度: 概念粒度は、修正可能な推定ノイズのために困難な概念と、本質的な文脈間回転のために困難な概念を区別する。これにより、実践者はランク 1 制御の価値がある概念か、それともより複雑な文脈適応型手法を必要とする概念かを診断できる。
4. 実用的ワークフロー（GRACE）: 本論文は、支配的な難易度の源を診断し、それに応じて最適化努力を配分することで、特に「制御が難しい」設定において、ランク 1 制御をより信頼性が高く効率的にする具体的な学習不要のワークフローを提供する。

著者らは、高粒度の概念は将来的にトークンレベルまたは文脈適応型のステアリング手法を必要とするかもしれないが、現在のランク 1 制御の風景は、幾何学的診断を活用して探索とベクトル構築を導くことで、大幅に改善可能であると結論づけている。