💬 NLP

Beyond Steering Vector: Flow-based Activation Steering for Inference-Time Intervention

本論文は、モデルのアクティベーションを輸送するために一般的な概念条件付き速度場を学習するフローベースのアクティベーション・ステアリング手法であるFLASを導入し、先行手法の制限的な仮定を克服することで、AxBenchにおいて既存のステアリング手法およびコンテキスト内プロンプトの両方を上回る性能を実現する。

原著者： Zehao Jin, Ruixuan Deng, Junran Wang, Xinjie Shen, Chao Zhang

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zehao Jin, Ruixuan Deng, Junran Wang, Xinjie Shen, Chao Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で極めて才能に恵まれたシェフを想像してください。そのシェフはすでに巨大な料理を調理済みです（モデルは学習済みで固定されています）。ある時、シェフにレシピ本を変更したり、調理方法を再学習させたりすることなく、盛り付けの最中に特定の味付けを加えてほしいと願うことがあります。

長らく、これを行う最良の方法はアクティベーション・ステアリングでした。これは、シェフの Sous-chef（副料理長）が特定のスパイス瓶を取り出し、特定の瞬間に鍋に一定量ぶち込むようなものです。

従来の方法（固定ベクトル）: 副料理長には「シェフが『礼儀正しさ』について考えているときは、ここで正確に 5 グラムの『礼儀正しさのスパイス』を加える」というルールがありました。
問題点: これは単純なことには機能しましたが、料理が複雑になると、そのスパイス瓶は適合しなくなりました。味付けが弱すぎたり、逆に料理全体を台無しにして（シェフに元の指示を忘れさせたり）しました。また、シェフがこれまで味わったことのない新しい味付けを望む場合、副料理長は新しいスパイス瓶を丸ごと購入し、ゼロから較正する必要がありました。

新しい解決策：FLAS（フローベースのアクティベーション・ステアリング）

この論文の著者であるFLASは、シェフを導くより賢い方法を提案します。静的なスパイス瓶の代わりに、彼らは動的で流れるような味の川を想像します。

以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「ジャンプ」から「流れ」へ

従来の方法: シェフの思考が平坦な床を転がるボールだと想像してください。味付けを変えるために、従来の方法はボールを一度だけ蹴り飛ばすものでした。それは単一で硬直したジャンプです。
FLAS 方法: FLAS は、複雑な思考を変えることは単一のジャンプではなく、旅であると認識します。それはボールを優しく押し出す「風」（速度場）を作り出します。この風は、ボールの位置と望む味付けに応じて、方向と強さを変化させます。ボールは曲がった経路に従い、数ステップにわたって滑らかに新しい味付けへと変化していきます。

2. 「コンパス」対「GPS」

従来の方法: 従来のステアリングは、どこにいようとも常に北を指すコンパスのようでした。森の中か都市の中かを問わず、同じ力を適用するだけでした。
FLAS 方法: FLAS はスマートな GPSのようです。それはシェフの現在の思考（ボールの位置）、望む特定の味付け（概念）、および時間ステップを照合します。そして、今まさに必要な正確な押し力を計算します。
- シェフが文の途中にいる場合、「風」は優しく押し出すかもしれません。
- シェフが文の冒頭にいる場合、風は強く押し出すかもしれません。
- 生成されている特定の単語に適応するため、「味付け」は文脈に完璧に合うよう、単語ごとにわずかに変化します。

3. 実践による学習（否定的な例は不要）

従来の方法: 副料理長に「礼儀正しさ」の付け方を教えるには、通常、失礼な文と礼儀正しい文の両方の例を示し、「失礼な思考から礼儀正しい思考へ移動させなさい」と言う必要がありました。これは、犬にご褒美と棒を見せながら訓練するようなものです。
FLAS 方法: FLAS は良い例のみを見れば十分です。礼儀正しい文を見て、「よし、ここに至るには思考はこのように流れるべきだ」と学びます。「失礼な」バージョンを見ることなく、それを修正する方法を知ることができます。それは良いものの「流れ」を直接学習します。

なぜこれが重要なのか？

この論文は、AxBenchと呼ばれる大規模な課題でこれをテストしました。これは、モデルに「数字のみを使って物語を書く」や「絵文字を使って物理学を説明する」など、数千種類もの奇妙で具体的なタスクを遂行させるものです。

結果: 従来の方法（あるいは単に「丁寧に頼む（プロンプティング）」こと）は失敗することが多く、シェフがロボットのように聞こえることがありました。
FLAS の勝利: FLAS は、一貫して「丁寧に頼む（プロンプティング）」アプローチを打ち負かした最初の学習型手法でした。それは複雑な指示を受け取り、元のレシピを壊すことなく、新しい味付けを自然に織り込むことができました。

「秘密のソース」（論文が実際に発見したもの）

著者たちが「ブラックボックス」の中を覗いて FLAS がどのように機能しているかを見たとき、彼らは驚くべきことを発見しました。

経路は曲がっている: 思考は直線的に移動しません。曲がりくねります。
ステップを踏む: 一度のquick fix ではなく、多段階のプロセスです。
個別対応: 「押し力」は文のすべての単語ごとに異なります。

まとめ

FLASを、モデルを一度に固定された力で叩く金槌から、モデルの位置と望む動作に応じてリアルタイムで動きを調整し、ステップバイステップで導く熟練したダンスインストラクターへとアップグレードすることだと考えてください。

これにより、モデルはモデル全体を再学習したり、毎回完璧なプロンプトを作成したりすることなく、より自然かつ確実に（より創造的に、より事実に基づいて、または特定のフォーマットを使用してなど）新しい行動を取り入れることができるようになります。

技術的概要：FLAS（フローベースの活性化制御）

問題提起

大規模言語モデル（LLM）は強力な能力を示していますが、推論時に特定の人間の嗜好や概念に整合するようにその行動を確実に制御することは、依然として課題です。既存の制御メカニズムには明確な限界があります：

プロンプティング： シンプルですが、コンテキスト内プロンプティングは、指示追従や流暢さを損なうことなく複雑な概念を頑健に組み込むことがよく失敗します。
ファインチューニング： LoRA や SFT などの手法は計算コストが高く、破滅的な忘却を起こしやすく、解釈性が欠如しています。
活性化制御： 現在の活性化制御手法（例：DiffMean、CAA、ReFT）は、モデルパラメータを固定したまま中間表現を変更します。しかし、AxBench での大規模評価により、これらの手法はしばしば単純なプロンプティングよりも性能が劣ることが明らかになりました。さらに、これらは開発セット上で概念ごとの強度チューニングを頻繁に必要とし、未見の概念への汎化が不十分です。

著者らは、これらの限界が先行手法間で共有されている検証されていない単純化仮定に起因すると仮説を立てています。具体的には：

固定された単一ステップ変換： 介入は、一度だけ適用される単一の移動ベクトルに制限されています。
位置不変性： 同じ介入が、シーケンス内のすべてのトークン位置に均一に適用されます。
対照的監督： 多くの手法は、トレーニングにペアリングされた正/負のデータ（対照ペア）に依存しています。

手法：FLAS

本論文は、固定された単一ステップ介入を、学習された概念条件付き速度場と置き換える**FLAS（Flow-based Activation Steering：フローベース活性化制御）**を提案します。

中核的な定式化

FLAS は、離散的なジャンプではなく、連続的なフローとして制御プロセスをモデル化します。レイヤー $\ell$ における隠れ状態 $h$ と自然言語の概念記述 $c$ を持つベース言語モデルが与えられたとき、FLAS は常微分方程式（ODE）で定義される速度場 $v_\theta(h, t, c)$ を学習します：
$\frac{d}{dt}\phi_t(h) = v_\theta(\phi_t(h), t, c)$
ここで $\phi_0(h) = h$ です。制御された活性化 $h'$ は、この速度場を時間 $t=0$ からフロー時間 $T$ まで積分することで得られます：
$h' = \phi_T(h) = h + \int_0^T v_\theta(\phi_t(h), t, c) dt$

実際には、この積分はN 段階のオイラー法を用いて近似されます：
$h_{k+1} = h_k + \frac{T}{N} v_\theta\left(h_k, \frac{kT}{N}, c\right)$
これにより、介入は活性化状態が進化するにつれて適応する、活性化空間内を走る曲線的な多段階軌道に従うことが可能になります。

アーキテクチャ（FlowBlock）

速度場 $v_\theta$ は、固定されたベースモデルの特定のレイヤーに挿入されるトランスフォーマースタイルのモジュールであるFlowBlockとして実装されます。

入力： 現在の活性化 $h_k$ 、エンコードされた概念表現 $\phi(c)$ 、および時間ステップ $t_k$ 。
メカニズム：
1. 時間条件付け： 時間は正弦波埋め込みを通じて注入されます。
2. クロスアテンション： 活性化は、ベースモデルの初期レイヤーを再利用する固定された概念エンコーダによって生成された概念エンコーディングに注意を向けます。
3. 自己アテンションと MLP： 因果的自己アテンション層とフィードフォワードネットワークが情報を処理し、トークンごとの移動を生成します。
主要な特性：
- 状態依存： 速度は現在の活性化 $h$ に依存するため、適応的な軌道が可能になります。
- トークンごと： 速度は各トークン位置に対して計算されるため、シーケンス全体で非均一な制御が可能になります。
- ゼロショット： 対照ペアを必要とせず、標準的な言語モデリング目的関数を用いて正例のみ（概念整合の応答）でトレーニングされます。

トレーニング戦略

目的関数： 制御された活性化 $h_N$ を注入した後の出力トークンにおける言語モデリングの交差エントロピーを最小化します。
多様性ペナルティ： バッチ内の異なる概念の平均プーリングされた速度間のコサイン類似性を罰する多様性損失が追加され、明確な制御方向を確保します。
強度制御： フロー時間 $T$ は連続スカラーパラメータとして機能します。トレーニング中に $T$ をランダム化（例： $T \sim \text{Uniform}[0.5, 2.0]$ ）することで、モデルは推論時に概念ごとのチューニングなしで異なる強度に外挿することを学習します。

主要な貢献

FLAS フレームワーク： 多段階オイラーステップを介して統合された概念条件付き速度場の導入。これにより、正データのみでトレーニングされた適応的、多段階、かつ位置に敏感な制御が可能になりました。
AxBench における性能： FLAS は、AxBench ベンチマークにおいてコンテキスト内プロンプティングを常に凌駕する最初の学習済み制御手法です。
- Gemma-2-2B-IT（ホールドアウト）： HMean 1.015（プロンプティング 0.762 対比）。
- Gemma-2-9B-IT（ホールドアウト）： HMean 1.113（プロンプティング 1.091 対比）。
- 重要なのは、これが単一の固定フロー時間（ $T=2$ ）と概念ごとのチューニングなしで達成されたことです。
汎化性： この手法はモデルファミリー間（Qwen3-4B 上でテスト）で汎化し、トレーニング概念の数（最大 16k）に対して単調にスケーリングし、明確な飽和は見られません。
幾何学的洞察： 学習されたフローの分析により、効果的な制御軌道は曲線的であり、解決には複数のステップが必要であり、トークン位置によって大きく異なることが明らかになりました。これは「線形表現仮説」に挑戦し、活性化空間の幾何学に関する以前の仮定が不完全であることを示唆しています。

結果と分析

頑健性： 制御強度が増加するにつれて指示追従や流暢さが劣化するベースライン（例：ReFT、DiffMean、AcT）とは異なり、FLAS は広い範囲のフロー時間（ $T \in [0.5, 4.0]$ ）にわたって高いスコアを維持します。
アブレーション研究：
- クロスアテンション： クロスアテンション（概念情報の経路）を無効化すると、性能が破滅的に低下します（ $t = -37.82$ ）。
- 多段階： 積分ステップを $N=1$ （単一の適応的移動）に減らすと性能が著しく低下し、多段階の曲線的軌道の必要性が確認されました。
- 多様性損失： 多様性ペナルティを除去すると性能が低下し、高いフロー時間において指示追従が崩壊します。
計算コスト： FlowBlock の繰り返し評価により、FLAS はトークンごとの生成オーバーヘッド（2B モデルで約 1.5 倍）をもたらしますが、これは品質の向上を考慮すれば許容範囲と見なされます。26 億パラメータ以上のハイパーネットワークを使用する HyperSteer と比較して、はるかにパラメータ効率が良いです。

意義

本論文は、FLAS が静的なベクトルではなくフローとして介入を扱うことで、活性化制御のパラダイムシフトを代表すると主張しています。

実証的証拠： 効果的な制御には非線形かつ位置に敏感な介入が必要であることを実証的に示しており、先行文献の多くを裏付ける幾何学的仮定が不完全であることを示唆しています。
実用的影響： 対照データと概念ごとのチューニングの必要性を排除することで、FLAS は LLM の行動を制御するためのよりスケーラブルで頑健な道筋を提供し、プロンプティングの柔軟性とパラメータフリー制御の効率性の間のギャップを成功裡に埋めています。
理論的洞察： 曲線的で多段階の軌道の可視化は、線形部分空間仮説を超えて LLM の内部計算を理解するための新たな視点を提供します。