技術要約：細粒度活性化ステアリング（AUSteer）

1. 問題提起

活性化ステアリング（Activation steering）は、追加の学習を行うことなく大規模言語モデル（LLM）の振る舞いを変更するための、コスト効率の高いパラダイムとして台頭しています。しかし、既存の手法は主にブロックレベル、すなわちマルチヘッドアテンション（MHA）、フィードフォワードネットワーク（FFN）、または残差ストリームの束ねられた活性化に対して介入を行うものです。

著者らは、このアプローチにおける決定的な欠陥を指摘しています。それは、ブロックレベルの活性化は本質的に不均一（heterogeneous）であるということです。単一のブロック活性化ベクトルには数百または数千の次元が含まれており、各次元は特定の異なる特徴に対応しています。ある次元は有益なトークン分布を制御する一方で、他の次元は無関係、あるいは有害なものを制御することもあります。その結果、ブロックレベルのステアリングは以下の問題を引き起こします：

1. 粗すぎる： ブロックを単一のエンティティとして扱うため、精密なターゲット指定ができません。
2. 非効率的である： 有益な信号と有害な信号の両方を同時に増幅してしまい、しばしば性能低下を招きます。
3. 過度に侵入的である： 不要な多くの次元を修正してしまうため、介入のフットプリントが増大します。

本論文は、ブロックレベルの介入から細粒度な原子単位（Atomic Unit: AU）レベルの介入へと移行することで、「より少なくステアリングすることで、より多くを達成する（steering less achieves more）」という概念を提唱しています。

2. 手法：AUSteer

提案手法であるAUSteerは、ブロック活性化を**原子単位（AU）**へと分解します。AUは、ブロックの重み行列の特定の列（スライス）に対応する、ブロック活性化の単一の次元として定義されます。AUレベルの活性化をステアリングすることは、それに関連付けられたAUをステアリングすることと同等です。

AUSteerは、主に以下の2つのコンポーネントで構成されています。

A. 活性化モメンタムによる原子単位（AU）のローカライゼーション

学習なしでどのAUがタスクに関連しているかを特定するために、著者らは**活性化モメンタム（activation momentum）**を提案しています。

• 対照サンプル： この手法は、ポジティブ（正解／高品質）なサンプルとネガティブ（不正解／低品質）なサンプルのペアを利用します。
• モメンタムの計算： 各AU $i$ とサンプルペア $j$ について、活性化モメンタム $m_i^j$ は、ポジティブなサンプルにおける活性化（$x_{i, pos}^j$）とネガティブなサンプルにおける活性化（$x_{i, neg}^j$）の差として計算されます。
  $$m_i^j = x_{i, pos}^j - x_{i, neg}^j$$
• 識別スコアリング： すべてのペアにおけるポジティブおよびネガティブなモメンタムの発生回数をカウントすることで、そのAUが目的の出力を一貫して促進するか、あるいは抑制するかを判断します。識別スコア $s_i$ は、一貫した促進または抑制の最大割合として定義されます：
  $$s_i = \max(r_{pos}^i, r_{neg}^i)$$
  ここで、$r_{pos}^i$ および $r_{neg}^i$ は、モメンタムが正または負であったペアの割合です。
• 選択： AUは識別スコアによってグローバルにランク付けされ、上位 $k$ 個のAUが介入対象として選択されます。

B. 適応型ステアリング（Adaptive Steering）

識別されたAUが特定された後、AUSteerは多様な入力やAUに対して堅牢性を確保するために、適応型ステアリングを適用します。

• 入力適応性： 定数ベクトルを加算する代わりに、現在の活性化をスケーリングします：$\hat{x}_i = x_i + \gamma_i x_i$。これにより、元の活性化の符号と方向を維持しながら、その大きさに適応させることができます。
• AU適応性： ステアリング強度 $\gamma_i$ は、各AUの識別力に合わせて調整されます。
  $$\gamma_i = \begin{cases} \alpha \cdot r_{pos}^i & \text{if } r_{pos}^i > r_{neg}^i \\ -\alpha \cdot r_{neg}^i & \text{otherwise} \end{cases}$$
  ここで、$\alpha$ はグローバルなステアリング強度因子です。識別スコアが高いAUに対して、より強いステアリングが適用されます。

3. 主な貢献

1. 不均一性の理論的・経験的分析： 著者らは、異なるAUが異なる出力トークン分布を支配しているため、ブロックレベルの活性化は不均一であることを示しました。単一のAUをステアリングすると、モデルの出力はそのAU固有の分布へとシフトしますが、ブロックレベルのステアリングでは有益な分布と有害な分布が混ざり合ってしまいます。
2. AUSteerフレームワーク： 活性化モメンタムを用いて識別的なAUを特定し、適応的かつ入力依存的なステアリング強度を適用する新しい手法。
3. 効率性と精度： 数千の活性化を修正する最先端（SOTA）の手法と比較して、著しく少ない数の活性化（最大でも100個）に介入することで、優れた性能を達成しています。

4. 実験結果

AUSteerは、複数のLLM（LLaMA2-7B-Chat, Gemma2-9B-it, Qwen3-8B、およびそれらの大型バリアント）を用い、3つのタスクカテゴリで評価されました。

• 常識推論： BoolQ, COPA, WinoGrande.
• 数学的問題解決： SVAMP, MAWPS.
• オープンエンド生成： デトックス（Detoxification: RealToxicPrompts）およびアライメント（Alignment: BPO）。

主な知見：

• 性能： AUSteerは、すべてのタスクにおいてSOTAのベースライン（ITI, CAA, SADI, STA）を一貫して上回りました。例えば、LLaMA2-7B-Chatにおいて、AUSteer-FFNは推論/数学タスクで平均61.34%の精度を達成し、SADIの数千の活性化に対して、100以下の活性化をステアリングしながらも、SADIの59.49%を上回りました。
• 生成品質： オープンエンド生成において、AUSteerはSADIよりもデトックス率を2〜3%向上させ、人間が好む振る舞いに対する勝率を4.5%から8.5%向上させました。
• スケーラビリティ： 本手法は、より大きなモデル（最大70Bパラメータ）や、多様なアーキテクチャ（スパースMoEモデルを含む）においても有効性を維持しました。
• アブレーション研究： 活性化モメンタムによるローカライゼーション、または適応型ステアリングを除去すると、大幅な性能低下が見られました。これは両方のコンポーネントの必要性を裏付けています。
• 効率性： AUSteerは、ベースラインよりも計算オーバーヘッドが少なく、介入のフットプリントも小さく、推論時間はバニラモデルと同等でした。

5. 意義と主張

本論文は、従来のブロックレベルの介入パラダイムは、活性化空間の不均一性によって根本的に制限されていると主張しています。介入を原子単位（AU）レベルに分解することで、AUSteerは、選択的で細粒度なステアリングが、広範で粗い介入よりも効果的であることを証明しました。

核心的な意義は、**「より少なくステアリングすることで、より多くを達成する」**という原則にあります。著者らは以下を示しました：

• ブロック内のすべての次元が有用なわけではなく、多くは中立的、あるいは有害です。
• 最も識別的なAUのみを特定してステアリング（活性化モメンタムを使用）することで、より高い精度が得られます。
• 入力とAUの重要性に基づいた適応的なスケーリングにより、有用な信号の歪みを防ぐことができます。

この研究は、なぜターゲットを絞った介入がグローバルな介入よりも優れているのかについての理論的な正当性を与え、LLMの振る舞いを制御するために必要な計算量と介入のフットプリントを大幅に削減する、実用的な学習不要のフレームワークを提供しています。