🤖 machine learning

Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

この論文は、Qwen 3.5-35B モデルの残差ストリームに学習させたスパースオートエンコーダとプローブを用いて、推論時に再学習なしで自律性などの行動特性を連続的に制御する手法を提案し、GatedDeltaNet 構造において行動コミットメントがプリフィル段階で計算されるという因果的証拠を示したものである。

原著者： Jia Qing Yap

公開日 2026-03-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jia Qing Yap

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎮 要約：AI の「性格」を遠隔操作する実験

研究者たちは、AI に「5 つの異なる性格（例：自主性、道具を使う意欲、リスクを避ける慎重さなど）」を持たせようとして実験を行いました。
しかし、驚くべき結果が得られました。

「5 つの性格を個別に操ろうとしたら、実は『1 つの巨大なレバー』を引いているだけだった」

つまり、AI は「自分で決めるか、人に聞くか」というたった 1 つの根本的なスイッチで動いており、他の細かい性格の違いは、そのスイッチの「強さ」や「使い方」の微妙な違いに過ぎなかったのです。

🛠️ 実験の仕組み：3 つのステップ

この研究では、AI の頭の中（内部のデータの流れ）を直接いじって、行動を変えました。

AI の「思考の断片」を見つける（SAE）
AI の頭の中は複雑ですが、研究者はそれを「スパース・オートエンコーダー（SAE）」というフィルターに通しました。これは、AI の膨大な思考を「意味のある小さな断片（例：『迷っている』『行動したい』という信号）」に分解する道具です。
- 例え: 巨大な図書館の全書籍を、テーマごとに分類された「目次カード」に整理するようなもの。
「性格」のスイッチを探す（プローブ）
「自主的に行動する時」と「人に聞く時」の AI の思考を比べ、その違いを数式（線形プローブ）で見つけました。
- 例え: 「元気な時」と「疲れている時」の心拍数の違いを数値化して、「元気スイッチ」の場所を特定する感じ。
スイッチを「連続的なレバー」に変える（投影）
ここが最大の工夫です。通常、AI の思考は「0 か 1」のようなデジタルなスイッチですが、研究者はそれを「0.1 刻みで調整できるアナログのレバー」に変換しました。
- 例え: 「明かりをつける（ON）」と「消す（OFF）」だけでなく、「明るさを 30%、50%、80% と滑らかに調整できる調光スイッチ」を作ったようなもの。これにより、AI の行動を細かくコントロールできました。

🔍 発見された 4 つの驚きの事実

1. 「5 つの性格」は実は「1 つの軸」だった

研究者は「自主性」「道具を使う意欲」「粘り強さ」「リスク管理」「従順さ」の 5 つを別々に操ろうとしましたが、結果はこうでした。

事実: どのレバーを引いても、AI の行動は「自分でやるか、人に聞くか」という 1 つの軸（スイッチ）だけで決まっていました。
例え: 5 種類の異なる楽器（バイオリン、トランペットなど）を弾こうとしたら、実はすべて「音量のつまみ」を回しているだけだった。音の音色（どの道具を使うか）は少し変わりますが、根本的な「大きな音か小さな音か」という決定は同じつまみで動いています。

2. 「予測できる」ことと「原因である」ことは違う

ある実験で、「リスク管理（慎重さ）」と「道具を使う意欲」の 2 つを、同じ場所（SAE）から探しました。

結果: 両方とも「AI が慎重か否か」を 80% 近く正確に予測できました。しかし、実際にレバーを引いて行動を変えようとしたところ、「道具を使う意欲」は成功しましたが、「リスク管理」は全く効果がありませんでした。
例え: 「雨が降る予報（予測）」と「雲（原因）」は似ていますが、予報を聞いても空は変わりません。この研究は、「AI の頭の中で『慎重さ』の信号が流れているからといって、それが『慎重に行動する原因』ではない」ということを証明しました。

3. 行動の「決定」は、話す前に終わっている

AI が言葉を生成している最中（トークンを出力している間）にレバーを引いても、行動は変わりませんでした。

結果: 行動の決定は、AI が入力された文章を読み終えた瞬間（プリフィル段階）にすでに下されており、その後の言葉の生成は単にその決定を「実行」しているだけでした。
例え: 料理の味を決めるのは「材料を混ぜて煮込む前（準備段階）」です。お皿に盛ってから「もっと塩味に！」と言っても、味は変わりません。AI の「性格」も、話始める前の準備段階で決まってしまうのです。

4. レバーの強さには「適量」がある

レバーを強く引けば引くほど良いというわけではありません。

結果: 「自主性」を高めるレバーは、ある程度強く引くと AI が勝手に動き出しますが、強すぎると AI がバグって何もできなくなります。一方、「従順さ」を高めるレバーは、少しだけ引かないと効果が出ず、強く引くと逆に壊れてしまいます。
例え: 薬の投与量と同じです。少量は効き目があるが、多すぎると中毒になる。AI の性格操作にも「適正な量（スウィートスポット）」が存在します。

💡 この研究が意味すること

この研究は、巨大な AI をコントロールする新しい道を開きました。

良い点: AI の「性格」を、再学習（リトレーニング）なしで、リアルタイムに調整できることが分かりました。
注意点: 「5 つの性格」を個別に操れると思っていたら、実は「1 つの大きなスイッチ」を操作しているだけでした。つまり、AI を「自主的に」させる操作をすると、同時に「危険なリスク」も取ってしまったり、「礼儀正しさ」を失ったりする可能性があります。

結論として：
AI の行動をコントロールするには、単に「スイッチ」を探すだけでなく、そのスイッチが本当に「原因」になっているか、そして「どのくらい強く引けば良いか」を慎重に見極める必要がある、というのがこの論文が教えてくれた最大の教訓です。

論文要約：35B MoE 言語モデルにおける SAE デコードプローブベクトルによる行動制御

1. 背景と課題 (Problem)

大規模言語モデル（LLM）のメカニズム的解釈性（Mechanistic Interpretability）の主要な目標は、モデルの挙動を「観測」する段階から、それを「介入・制御」する段階へ移行することです。
既存の研究では、スパースオートエンコーダー（SAE）を用いた特徴分解や、活性化エンジニアリング（Activation Steering）によるモデル出力の制御が示されてきましたが、これらは主に 70 億パラメータ以下の標準トランスフォーマーアーキテクチャで検証されてきました。

本研究が取り組む課題は以下の通りです：

大規模・ハイブリッドアーキテクチャへの適用: 350 億パラメータの MoE（Mixture-of-Experts）モデルであり、GatedDeltaNet（線形再帰層）とアテンション層を混合した非標準的なアーキテクチャを持つ「Qwen 3.5-35B-A3B」において、行動制御が可能か。
代理行動の独立性: 自律性（Autonomy）、ツール使用意欲、持続性、リスク調整、従順性という 5 つの「エージェント的行動特性」が、それぞれ独立した制御ベクトルとして存在するか、あるいは単一の支配的な軸に集約されるか。
相関と因果の乖離: 線形プローブの精度（ $R^2$ ）が高いことが、その方向性が行動制御に対して「因果的に有効」であることを保証するか。

2. 手法 (Methodology)

本研究では、SAE の潜在空間で学習された方向を、モデルのネイティブな活性化空間に連続的にマッピングする新しい手法「SAE-Decoded Probe Steering」を提案・実装しました。

2.1 モデルと SAE 学習

対象モデル: Qwen 3.5-35B-A3B（350 億パラメータ、トークンあたり約 30 億パラメータ活性）。アーキテクチャは、3 層の GatedDeltaNet に 1 層のアテンション層が続くブロックを 10 回繰り返す構造。
SAE 学習: レシデュアルストリーム（残差ストリーム）の 4 つの深さレベル（早期、中盤、後期など）と、DeltaNet/アテンションの両方のサブレイヤーを対象に、9 つのトップ- $k$ $k$ SAE を学習。
- 辞書サイズ：8,192 〜 16,384
- 学習データ：2 億トークン（UltraChat, WildChat, 合成ツール使用会話など）。

2.2 制御ベクトルの構築（プローブからベクトルへ）

対照的データ収集: 5 つの行動特性について、「特性が強く現れる HIGH パターン」と「抑制される LOW パターン」の対照的プロンプトペアを生成。
SAE 符号化: モデルの残差ストリームから SAE へ入力し、潜在特徴 $z$ を取得。
線形プローブ学習: SAE の潜在活性化 $z$ に対して、ラベル（HIGH=1, LOW=0）を予測するリッジ回帰プローブ（重み $w_{probe}$ ）を学習。
デコーダー投影（核心手法）: 学習したプローブ重みを SAE のデコーダー行列 $W_{dec}$ $W_{d ec}$ を通じて投影し、モデルのネイティブな活性化空間（2048 次元）における制御ベクトル $v_{steer}$ $v_{s t eer}$ を算出。
$v_{steer} = W_{dec}^{\top} w_{probe}$
- 利点: この手法により、SAE のトップ- $k$ 活性化関数による離散化（量子化）を回避し、連続的な微細な制御が可能になります。

2.3 評価プロトコル

タスク: 50 種類の ReAct スタイルのエージェントシナリオ（コーディング、リサーチ、コミュニケーション、データ分析）。
介入: 推論時に、特定の層の残差ストリームに $v_{steer}$ を加算（ $x' = x + \alpha \cdot v_{steer}$ ）。
適用タイミング: 全位置（プレフィル＋デコード）、プレフィルのみ、デコードのみ。
指標: 行動の代理指標（例：「ユーザーに尋ねる」呼び出しの減少、能動的なツール呼び出しの増加など）を軌跡から抽出し、Cohen's $d$ 効果量で評価。

3. 主要な結果 (Key Results)

3.1 行動制御の有効性と「支配的なエージェント軸」

自律性（Autonomy）の成功: 制御倍率 $\alpha=2$ で、ユーザーへの依存（ask_user）が 78% から大幅に減少し、能動的なコード実行や Web 検索へ移行しました（Cohen's $d = 1.01$ , $p < 0.0001$ ）。
5 つの特性は 1 つの軸に集約: 5 つの異なる特性（自律性、ツール使用、持続性、リスク調整、従順性）をターゲットに制御ベクトルを生成しましたが、すべてのベクトルが「独立して行動するか、ユーザーに従うか」という単一の支配的な「エージェント軸」を主に制御していることが判明しました。
- 特性ごとの違いは、この軸の強さではなく、「どのようなツールを使うか（コード実行 vs Web 検索）」や「用量反応曲線の形状」に現れる二次的な効果に過ぎませんでした。

3.2 相関と因果の乖離（リスク調整の逆説）

同じ SAE、同じ精度、異なる因果効果: 「リスク調整」と「ツール使用意欲」は、同じ SAE（レイヤー 21）からほぼ同じ精度（ $R^2 \approx 0.79$ ）でプローブされました。
直交性と因果不活性: しかし、両者のプローブベクトルはほぼ直交（コサイン類似度 -0.017）しており、ツール使用ベクトルは行動を制御できたのに対し、リスク調整ベクトルは行動を制御できず、単に抑制効果のみを示しました。
結論: 高いプローブ精度（相関）は、その方向性が行動に対して「因果的に有効」であることを保証しない。予測的な方向性と因果的な方向性は一致しない場合がある（エピフェノメナンの存在）。

3.3 プレフィル（Prefill）段階での行動コミットメント

デコード時の制御は無効: 生成（デコード）段階でのみ制御ベクトルを適用しても、行動変化はゼロでした（ $p > 0.35$ ）。
プレフィルでの決定: 行動の決定（「聞くか」「行動するか」）は、プロンプト処理（プレフィル）段階で計算され、GatedDeltaNet の再帰状態を通じて生成段階へ伝播していることが示されました。
従順性の制御: 従順性（Deference）の制御において、プレフィルのみでの介入が全位置介入よりも効果的でした。これは、従順性がプロンプト処理時に設定される「 dispositions（傾向）」であることを裏付けます。

3.4 用量反応の多様性

スムーズな逆 U 字型: 自律性や従順性は、制御倍率の増加に伴い効果が増大し、ある閾値で急激に崩壊する「治療的ウィンドウ」を示しました。
位相転移: ツール使用意欲は、中間倍率ではパフォーマンスが低下しますが、高い倍率（ $\alpha=3$ ）で新しい行動モード（Web 検索の強迫的増加など）へ遷移する「位相転移」を示しました。
純粋な抑制: 持続性とリスク調整は、倍率を上げても行動の転換はなく、単に既存行動が抑制されるのみでした。

4. 貢献と意義 (Contributions & Significance)

35B MoE モデルでの SAE 制御の実証: 標準トランスフォーマーを超えた、大規模なハイブリッド（再帰＋アテンション）アーキテクチャにおいて、SAE を介したプローブ制御が有効であることを初めて示しました。
「1 つの軸」の発見: エージェント的行動が 5 つの独立した特性ではなく、単一の「独立 vs 従属」の軸を中心に構成されているという、行動制御の新しい知見を提供しました。
相関と因果の明確な分離: 高い $R^2$ を持つプローブ方向が、必ずしも因果的な介入手段にならないという実証的なケーススタディを提供し、将来の解釈性研究におけるプローブ評価の限界を警告しました。
GatedDeltaNet における計算の局在: 行動決定が「プレフィル」段階でコミットされ、再帰状態を通じて伝播するという、ハイブリッドアーキテクチャ特有の計算メカニズムの解明。
実用性と安全性への示唆:
- 行動制御には特性ごとの個別の調整（スケーリングパラメータ）が必要であり、万能な倍率は存在しない。
- 安全性対策として、生成されたトークンの監視だけでなく、プレフィル段階の活性化を監視・制御することが有効である可能性を示唆。

5. 結論

本研究は、大規模 MoE モデルにおいて、SAE デコードプローブ法を用いて高精度な行動制御が可能であることを実証しました。しかし、意図した 5 つの特性は独立した制御軸ではなく、単一の「エージェント性」の軸に収束することが判明しました。また、予測精度と因果的有効性の乖離、および行動決定が生成前（プレフィル）に完了するという知見は、LLM のメカニズム的解釈性と、安全なエージェント制御の将来の方向性に重要な示唆を与えています。

コード、学習済み SAE、制御ベクトルは公開されています。