💬 NLP

Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features

本論文は、LLM の出力を誘導するためにトークンレベルで解釈可能なスパースオートエンコーダ特徴を動的に選択・増幅する方策を訓練するフレームワークである制御強化学習（CRL）を導入し、これにより各トークンの介入ログを提供するとともに、さまざまなベンチマークにおけるモデルの挙動に関する新たなメカニズム的洞察をもたらす。

原著者： Seonglae Cho, Zekun Wu, Adriano Koshiyama

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Seonglae Cho, Zekun Wu, Adriano Koshiyama

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（このチャットを動かしているものなど）を、巨大で複雑なオーケストラだと想像してみてください。このオーケストラの中には、数千もの音楽家（ニューロン）が同時に演奏しています。時には美しい交響曲を奏でますが、他の時には混乱して間違った音符を奏で、幻覚や不適切な回答につながることがあります。

長年、科学者たちはこのオーケストラを理解しようと、音楽を聴いてどの楽器が演奏されているかを推測してきました。彼らは「スパース・オートエンコーダ（SAE）」を発見しました。これはスーパーパワーを持ったサウンドエンジニアのようなものです。SAE は音楽を個別で名前が付けられたトラックに分解できます。「数学トラック」「安全性トラック」「文法トラック」などです。

問題点:
どのトラックが演奏されているかを知っているだけでは不十分です。「数学トラック」がアクティブだからといって、その音量を上げれば数学の問題が解決するとは限りません。時には、トラックの音量を上げることが事態を悪化させることもあります。従来の手法では、何が演奏されているかを教えてくれましたが、音量を変えたらどうなるかは教えてくれませんでした。

解決策：制御強化学習（CRL）
この論文は、制御強化学習（Control Reinforcement Learning: CRL） という新しい手法を導入します。CRL を、演奏中にオーケストラのすぐ隣に立つ賢い指揮者だと考えてみてください。

以下が、その仕組みをステップバイステップで説明したものです：

1. 指揮者の役割（方策）

モデルが言うつもりのすべての単語（トークン）において、この指揮者はオーケストラの現在の状態を確認します。指揮者には、SAE が特定したすべての「トラック」（特徴）に対応するボタンがついたリモコンを持っています。

決定: 指揮者は、「今、'論理的推論'トラックの音量を上げる必要がある」とか、「'感情的バイアス'トラックの音量を下げよう」と決定します。
行動: 指揮者は、その特定の単語に対して、その特定のトラックの音量を即座に調整します。

2. 実践による学習（強化学習）

指揮者は最初はルールを知りません。ゲームをプレイすることで学びます：

オーケストラが正しい回答を奏でれば、指揮者は「報酬」（ポイント）を獲得します。
オーケストラが間違った回答を奏でれば、指揮者はポイントを獲得できません。
時間とともに、指揮者は、最良の結果を得るために、どの時点でどのトラックを強化すべきかを正確に学びます。

3. 「適応的マスク」（悪い習慣の防止）

賢い指揮者でも怠けて、すべての問題に対して同じ「数学トラック」の音量を上げ続けるかもしれません。これを防ぐため、論文では適応的特徴マスク（Adaptive Feature Masking） というトリックを使用します。

指揮者に「他のものを試すまで、同じ楽器を連続して二度使ってはいけない」というルールがあると想像してください。
これにより、指揮者はオーケストラの異なる部分を探索し、一つのトリックに頼るのではなく、問題を解決する新しい方法を発見することを強いられます。

4. 「ログブック」（解釈可能性）

これがこの論文の最大の画期的な成果です。指揮者がすべての単語に対して特定の選択を行うため、演奏全体の詳細なログブックが得られます。

振り返って、「ああ、5 番目の単語で指揮者は'安全性'トラックの音量を上げ、モデルが失礼なことを言うのを防いだんだ」と言えます。
モデルが成功または失敗した理由を正確に把握できます。演奏されたすべての音符に対する指揮者の思考の書き起こしを持っているようなものです。

彼らが発見したこと

この手法を Gemma 2 というモデルに適用したところ、研究者たちはいくつかの興味深い発見をしました：

初期層と後期層: オーケストラには異なるセクションがあります。「初期」セクション（層）は、文法や構造（句読点や文の流れなど）を処理します。「後期」セクションは、深い意味や論理を処理します。論文によると、数学の問題を解決するには、言葉が形成される「初期」セクションだけでなく、論理が存在する「後期」セクションを調整する必要があることが分かりました。
「分岐点」: 時には、非常に似た 2 つの質問に対して、正しい回答を得るために全く異なる指揮者の行動が必要になることがあります。システムは、正解と不正解の間の分岐する瞬間を正確に特定できます。
安全性 vs バイアス: システムは、「バイアス（不公平さ）」を修正することと、「安全性（有害な要求の拒否）」を修正することは、異なる戦略を必要とすることを学びました。あるタスクでは、指揮者は非常に具体的である必要があり、他のタスクでは、多くの異なるトラックを探索する必要があります。

結果

この論文は、さまざまな課題でこの手法をテストしました：

数学（GSM8K）: 指揮者は、正しい論理的トラックを強化することで、モデルがより多くの数学の問題を解決するのを助けました。
安全性（HarmBench）: モデルは、過度に慎重になることなく、有害なことを拒否する能力が向上しました。
知識（MMLU）: モデルは、雑学クエスチョンに対してより正確な回答を提供しました。

まとめ:
この論文は、AI が何を考えているかを単に伝えるだけでなく、AI の思考をリアルタイムで、単語ごとに誘導するためのツールを提供します。これは、「ブラックボックス」を、正しい回答を得るためにどの内部スイッチが切り替えられたかを正確に確認できる透明な機械に変えるものです。まるで人間に AI の内部思考を導くためのリモコンを与え、それが正しい道を進むように保証するようなものです。

技術サマリー：制御強化学習（CRL）

1. 問題定義

スパースオートエンコーダ（SAE）は、言語モデルの活性化を解釈可能で人間が読み取れる特徴量に分解するための強力なツールとして登場しました。しかし、既存の分析手法は主に静的です。特定の入力に対してどの特徴量が活性化するかを特定することはできても、どの特徴量を増幅すれば実際にモデルの出力を変化させるかを明らかにすることはできません。現在の活性化工学の技術は、しばしば特徴量選択のために対照データセットに依存するか、係数最適化のために広範な活性化の保存を必要とし、生成の品質に基づいて誘導戦略を調整するための適応的フィードバック機構が欠如しています。

本論文は、静的な特徴量同定と動的かつ解釈可能な介入との間のギャップに対処します。核心的な課題は、モデルを誘導するための SAE 特徴量を選択するだけでなく、なぜその特徴量が選択され、どのように出力に影響を与えたかを説明するトークンレベルの介入ログを提供するフレームワークを開発することであり、これにより誘導を機械的解釈可能性のツールへと変容させることです。

2. 手法：制御強化学習（CRL）

著者らは、SAE 特徴量におけるトランスフォーマー表現の制御をマルコフ決定過程（MDP）として扱う**制御強化学習（CRL）**というフレームワークを提案します。

2.1. MDP 定式化

状態（ $S$ ）： 観測値は、現在のトークン位置における特定の層 $\ell$ での残差ストリーム活性化（ $x \in \mathbb{R}^d$ ）です。
行動（ $A$ ）： 1 つまたは複数の SAE 特徴量を増幅するために選択するバイナリベクトルです。方策は、解釈可能性のために通常 $k=1$ となるトップ- $k$ 特徴量を選択します。
遷移（ $P$ ）： 選択された特徴量介入が適用されたトランスフォーマーの順伝播によって支配される決定論的なものです。
報酬（ $R$ ）： 最終出力の品質に基づくタスク固有の報酬（例：MMLU における正解性、安全性タスクにおける拒否）。

2.2. CRL-Token と特徴量誘導

各生成ステップ $t$ において、フレームワークはトークンレベルの介入を実行します：
$\tilde{x}_t = x_t + c \cdot a_t W_{dec}$
ここで、 $a_t$ はスパースなバイナリ選択ベクトル、 $c$ は誘導係数、 $W_{dec}$ は SAE デコーダです。方策ネットワーク $\pi_\theta$ は、残差ストリーム活性化を特徴量選択のロジットにマッピングし、2 層の MLP として実装されます。

2.3. 適応的特徴量マスキング（AFM）

方策が頻繁に活性化される特徴量の狭いセットに収束するのを防ぐため、CRL は適応的特徴量マスキングを導入します。

サンプルごとのブールマスクが特徴量選択の選択肢を制限します。
マスクは特徴量の小さな部分集合から始まり、生成が進むにつれて段階的に拡大し、以前のステップで自然に活性化された特徴量を取り込みます。
このメカニズムは、単一特徴量介入の解釈可能性を維持しつつ、多様な特徴量の発見を促進します。

2.4. 最適化

方策と状態値を推定するクリティックネットワークは、**近傍方策最適化（PPO）**を用いて訓練されます。

誘導係数（ $c$ ）： 正しく予測された訓練サンプルからの活性化の大きさを平均化することで適応的に決定され、層全体での手動調整の必要性を排除します。
クリティックネットワーク： 値関数 $V_\phi(s)$ を推定する 2 層の MLP であり、分析中に方策の限界と値推定エラーを分離することを可能にします。

3. 主要な貢献

本論文は、4 つの主要な貢献を概説します：

トークンレベルの解釈可能な介入ログ： 各トークンでどの SAE 特徴量が選択され、それが出力にどのような影響を与えたかを特定するログを生成するフレームワーク。これにより、微細な行動分析が可能になります。
診断ツール：
- 分岐点追跡： 同一の接頭辞が特徴量選択に基づいて異なる結果をもたらす重要な意思決定点を特定します。
- クリティック軌道分析： 学習された値関数を用いて、方策の失敗（特徴量選択）とクリティックの失敗（報酬推定）を区別します。
適応的特徴量マスキング（AFM）： 単一特徴量の解釈可能性を犠牲にすることなく多様な特徴量の発見を確保するために、探索と利用のバランスを取るメカニズム。
特徴量意味論の実証的特徴付け： 初期層が構文構造をエンコードし、後続の層が抽象的な意味論を捉えることを示し、異なるタスクが明確なボトルネックパターンを示すことを実証しました。

4. 実験結果

このフレームワークは、Gemma Scope および LLaMA Scope SAE を用いて、Gemma 2 2B（およびLLaMA-3.1 8B）を評価対象とし、MMLU、BBQ、GSM8K、HarmBench、XSTestの 5 つのベンチマークで評価されました。

性能向上： CRL はすべてのベンチマークで改善を達成しました。顕著な向上には以下が含まれます：
- HarmBench： +7.66 パーセントポイント（41.46% $\to$ 49.12%）。
- BBQ（曖昧）： +5.69 パーセントポイント。
- MMLU： +3.31 パーセントポイント。
- GSM8K： +1.03 パーセントポイント。
相補性： CRL は、教師あり微調整（SFT）モデルの上に適用された場合、追加的な向上をもたらします（例：MMLU の精度は、SFT + CRL で 55.2% から 56.1% に向上）。
層固有の意味論：
- 層 10： 特徴量は具体的、構文的な性質（例：「数学的表記」、「代名詞の参照」）を捉えます。
- 層 20： 特徴量は抽象的、文脈的な意味論（例：「論理的導出構造」、「数学的証明」）を捉えます。
- 最適な介入層はタスクによって異なります（例：BBQ では層 5、MMLU では層 24）。
クリティック分析：
- BBQ： 明確なサンプル識別を伴う効果的な方策 - クリティックの協調を示します。
- MMLU： 修正されたサンプルと誤ったサンプルがほぼ区別できない「クリティックボトルネック」を示し、クリティックが複雑な推論タスクの値を推定することに苦労していることを示唆します。
- HarmBench vs. XSTest： HarmBench は正解/不正解のサンプル間に明確なギャップを示すのに対し、XSTest は逆転した推定パターンを示し、報酬推定におけるタスク依存型の課題を示しています。

5. 意義と主張

本論文は、CRL を機械的解釈可能性における重要な進歩として位置づけています。その主な意義は、静的な特徴量分析（何が活性化するかを観察する）から動的な介入プローブ（何がモデルを変化させるかを観察する）へのパラダイムシフトにあります。

解釈可能性： 単一特徴量の選択と介入のログを強制することで、CRL はモデルの行動に対する「機械的」な視点を提供し、「数学的演算」のような特徴量が、語句問題において「赤ちゃん」のような量的単位に語彙的に一般化し得ることを明らかにします。
診断能力： このフレームワークは、モデルと SAE 双方の診断ツールとして機能します。AFM にもかかわらず方策が意味的に不整合な特徴量に収束する場合、それは制御手法の失敗ではなく、SAE の欠陥（欠落した概念や多義性など）を示すシグナルとなります。
実用性： CRL は低い推論オーバーヘッド（8〜9% のレイテンシ）で動作し、ベースモデルの重みの再訓練を必要としないため、軽量な事後強化メカニズムを提供します。

著者らは、強化学習と組み合わせた学習済み特徴量誘導が、静的分析を動的でタスク固有の洞察によって補完し、言語モデルの理解と制御のための実用的なツールを確立すると結論付けています。