技術的概要：UniSteer

問題定義

活性化ベースの制御は、推論中に内部表現に介入することでパラメータ更新を不要とし、大規模言語モデル（LLM）を誘導するための軽量かつモジュール型のパラダイムとして登場しました。しかし、既存の手法は柔軟性と組み合わせ性において重大な限界に直面しています：

• 固定された方向性: 対照的活性化追加（CAA）や表現工学（RepE）などの手法は、対照的な例から導き出された事前定義された固定された誘導方向に依存しています。
• タスク固有のモジュール: 学習された介入手法（例：LoReFT、ODESteer）は、各目標行動に対して個別のモジュールを訓練します。
• 組み合わせの失敗: これらのアプローチは、独立して学習された方向が高次元の活性化空間において互いに干渉し合うため、微細な概念や組み合わせ制約（例：「有益で、無害で、簡潔であること」）を処理することに苦労します。

核心的な課題は、各目標に対して個別のモデルを適合させることなく、自然言語を用いて任意の行動、概念、および多制約要件に向けて LLM を誘導できる統一メカニズムを開発することです。

手法：UniSteer

著者は、残差ストリーム活性化上の条件付き分布を学習するテキスト誘導型活性化フローマッチングモデルであるUniSteerを提案します。UniSteer は固定ベクトルを学習するのではなく、活性化空間における普遍的な条件付き速度場を学習します。

1. テキスト条件付き活性化フローマッチング

UniSteer は、$p_\theta(a^{(\ell)}_i | c, \ell, i)$ という条件付き分布をモデル化します。ここで、$a$ は層$\ell$とトークン$i$における残差ストリーム活性化であり、$c$ は自然言語の条件（例：「悪くあること」または「簡潔かつ無害であること」）です。

• 訓練目的: モデルはフローマッチング損失を最小化することで条件付きベクトル場 $v_\theta$ を学習します。事前のノイズ状態 $a_0 \sim \mathcal{N}(0, I)$ と目標活性化 $a_1$ の間を、線形確率パス $a_t = (1-t)a_0 + ta_1$ を用いて補間します。目標速度は $u_t = a_1 - a_0$ です。モデルは、テキスト $c$ に条件付けられてこの速度を予測するように訓練されます。
• アーキテクチャ: フローモデルは、凍結されたテキストエンコーダ（Qwen3-0.6B）へのクロスアテンションと、層およびトークン位置のための学習済み埋め込みを持つ、DiT スタイルのトランスフォーマーとして実装されています。

2. フロー反転による推論時活性化誘導

凍結された LLM を誘導するために、UniSteer はゼロからサンプリングするのではなく、フロー反転を実行します：

1. 部分的反転: 生成中に観測されたソース活性化 $a_{src}$ を、ソース条件 $c_{src}$ に条件付けられたフローに沿って後方へ輸送し、中間的なノイズ潜在状態 $a_\tau$（ここで $\tau = 1 - \lambda$、$\lambda$ は編集強度）へ到達させます。
2. 前方再生成: 潜在状態を、ターゲット条件 $c_{tgt}$ に条件付けられたフローに沿って前方へ輸送し、編集済み活性化 $\hat{a}_{edit}$ を生成します。
3. 注入: 編集済み活性化を、凍結された LLM の残差ストリームに注入し、その後の生成に影響を与えます。

3. 活性化空間分類

UniSteer は、個別のヘッドなしでも分類器として機能します。候補となるテキストラベルのセットが与えられた場合、モデルは各条件の下で入力活性化を再構成します。最も低い条件付き再構成エネルギー（$\|a - \tilde{a}(c_j)\|^2_2$）をもたらすラベルが予測として選択されます。

主要な貢献

1. 統一された定式化: 本論文は、活性化誘導をテキスト条件付き活性化輸送として定式化し、異種制御ターゲット（行動特性、微細な概念、多制約）に対して単一の速度場を学習する条件付きフローマッチングモデルを導入しています。
2. 編集のためのフロー反転: 著者は、自然言語条件に基づいて活性化を部分的に反転・再生成することで、単一モデルが単一行動と組み合わせ誘導の両方を処理できるようにするフロー反転メカニズムを提案しています。
3. 編集と分類のための統一インターフェース: 同じ条件付き活性化モデルが、フロー反転による生成誘導と、再構成エネルギーによる内部状態の分類という二重の目的を果たし、タスク固有の分類器や介入モジュールの必要性を排除しています。

実験結果

著者は、5 つの設定において 3 つの目標 LLM（Llama-3.2-1B、Qwen2.5-1.5B、Qwen2.5-7B）で UniSteer を評価しました：

• 行動制御（ペルソナ）: UniSteer は「悪」や「阿諛」などの特性において、すべてのモデルで目標特性スコアが最も高く、CAA や RepE などのベースラインを上回りました。
• 真実性誘導（TruthfulQA）: UniSteer は元のモデルに対する Truth*Info スコアを向上させ、単なるスタイルではなく事実の正確さのために誘導できることを示しました。
• 微細な概念誘導（AxBench）: UniSteer は、単一の共有モデルを使用しているにもかかわらず、「簡潔であること」などの概念誘導において、概念固有のベースラインと比較して競争力のある、あるいは優れた性能を達成しました。
• 多制約指示遂行（RECAST）: UniSteer は、複数の固定方向の干渉に苦しむベースラインを上回る性能で、5 つまたは 10 つの制約などの同時制約を正常に処理しました。
• 活性化空間分類（ToxiGen）: 再構成エネルギーを使用することで、UniSteer は有害コンテンツと無害コンテンツの分類において、最先端または同率最高の精度と AUC を達成し、条件依存の活性化分布を捉える能力を検証しました。
• トークンレベル分析: 「start_with」制約の分析により、UniSteer は位置を認識して編集を適用し、特定のトークン位置（例：応答の開始部）において制約方向と強く整合する一方で、グローバルな擾乱を適用しないことが示されました。

意義と主張

本論文は、UniSteer が LLM 誘導と分類のための統一インターフェースを提供すると主張しています。固定された方向やタスク固有のモジュールから、テキスト条件付き速度場へと移行することで、この手法は既存の手法が組み合わせることが難しい組み合わせ制約や微細な概念を自然に処理します。

著者は、このアプローチが以下を可能にすることを強調しています：

• 汎用性: 単一モデルが、テキスト条件を変更するだけで、ペルソナ、真実性、制約など多様なタスクを処理できます。
• 組み合わせ性: 多制約要件は条件テキストに直接表現され、個別の誘導ベクトルを組み合わせる際の干渉問題を回避します。
• 解釈可能性: 再構成エネルギーによる活性化の分類能力は、学習されたフローがモデルの内部状態のセマンティック構造を効果的に捉えていることを示唆しています。

著者は、長文生成、マルチターン安定性、複雑な推論タスクに関する評価の欠如などの限界を指摘しています。また、安全性への配慮を強調し、有益性を向上させるために使用される同じメカニズムが理論的には望ましくない行動を増幅するために使用される可能性があることを認め、将来の安全性フィルタと監査が必要であると述べています。