💬 NLP

Leverage Is Not Reach: A Control-Window Law for Single-Neuron Steering in Language Models

本論文は、言語モデルにおける単一ニューロンへの介入が、出力の崩壊を引き起こすことなく拒絶のような振る舞いを一貫して制御できる時期を予測するための、予算正規化されたフレームワークを確立する「コントロール・ウィンドウ則」を導入しており、これにより、制御可能性とは単純なスカラー量の投与量ではなく、型付けされた予算化された特性であることを明らかにしている。

原著者： Hongliang Liu

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongliang Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きなアイデア：どれだけ強く押すかではなく、どこを押すかが重要である

巨大で複雑な機械（言語モデル）を想像してください。その機械は、さまざまな言語を話したり、数学を解いたり、あるいは危険な質問への回答を拒否したりすることができます。科学者たちは、この機械の中にあるたった一つの小さなスイッチ（単一ニューロン）を微調整するだけで、その挙動を変えられることがあることを発見しました。

しかし、これまでの実験は混沌としていました。ある時はそのスイッチを回すと完璧に機能しましたが、別の時には機械が狂ってしまい、支離滅裂な言葉を繰り返したりしました。大きな疑問は、**「なぜ、うまくいく時と壊れる時があるのか？」**ということでした。

この論文は、その答えは単にスイッチを「どれくらい」回すかではなく、**「コントロール・ウィンドウ（制御窓）」と呼ばれる特定の「ゴールデンゾーン（適度な領域）」**にあるのだと主張しています。

比喩：ラジオのチューニング vs スピーカーの破損

機械の内部状態を、ラジオの信号だと考えてください。

ニューロン： ラジオにある特定のつまみ。
用量（ドーズ）： そのつまみをどれだけ強く回すか。
目標： ラジオを特定の局（例：「中国語で答える」や「この要求を拒否する」）にチューニングしたい。

この論文は、つまみを回すことで、以下の3つの結果が生じると主張しています。

弱すぎる（不活性）： つまみを回しても、局は変わりません。何も起こりません。
ちょうど良い（コントロール・ウィンドウ）： つまみを正確な位置まで回します。ラジオは新しい局へと綺麗に切り替わります。音楽はクリアで、挙動は意図した通りに変化します。
強すぎる（崩壊）： つまみを回しすぎます。信号がオーバーロードし、スピーカーが破裂し、ラジオはノイズを撒き散らしたり、同じ言葉を繰り返したりし始めます。機械が「崩壊」するのです。

法則： この論文は、あらゆる単一ニューロンにおいて、「弱すぎる」と「強すぎる」の間にある特定の「ウィンドウ」が存在することを証明しています。もしそのウィンドウを見つけることができれば、挙動を制御できます。もし（「強すぎる」地点が「変化」の地点に到達する前に来てしまうため）ウィンドウが存在しない場合は、そのニューロンでその挙動を制御することはできません。

シンプルに解説する主要概念

1. レバレッジ（梃子の原理）はリーチではない

この論文は、**レバレッジ（Leverage）とリーチ（Reach）**を明確に区別しています。

レバレッジ： スイッチを押したときに、機械の内部的な数学的状態がどれだけ変化するか。
リーチ： その変化が、実際に有用で一貫した挙動の変化をもたらすかどうか。

比喩： 重いドアを押す場面を想像してください。

高レバレッジ、低リーチ： あなたは全力でドアを押します（高レバレッジ）。しかし、間違った方向に押してしまいます。ドアは開きません。代わりに、蝶番が外れてドアが脱落してしまいます（崩壊）。
低レバレッジ、高リーチ： あなたは正しい場所を優しく押します。ドアはスムーズに開きます。

この論文は、「最も賢い」ニューロン（実際に挙動を制御するニューロン）は、しばしばレバレッジが低いということを発見しました。それらは非常に繊細です。標準的な「勾配（グラディエント）」ツール（どれだけ強く押すべきかを測定するもの）を使って機械を観察すると、これらの繊細なニューロンは目立たず、重要ではないように見えます。しかし、これこそが実際に機能するニューロンなのです。

2. 「予算（バジェット）」と「天井（シーリング）」

この論文は、ランダムな数値ではなく、機械自身のサイズに基づいた「用量（どれだけ押すか）」を測定する方法を導入しています。

予算（バジェット）： これは、その瞬間の機械の「エネルギー容量」と考えてください。
天井（シーリング）： これは、機械が壊れる地点です。論文では、機械に触れる前に、機械の設計図（重み）を見るだけで、この天井を予測できることを示しています。

予測： 挙動を変えるために必要な「トリガー」が、機械が壊れる「天井」よりも低い場合、そこにはコントロール・ウィンドウが存在します。もしトリガーが天井よりも高い場合、ウィンドウは閉じており、そのニューロンで制御することはできません。

3. 「バイパス」 vs 「真の害」

「拒否（AIに『それはできません』と言わせる）」に関するテストにおいて、この論文は驚くべき分岐点を発見しました。

一貫性のあるバイパス（Coherent Bypass）： AIは「それはできません」と言うのをやめ、そのトピックについて流暢に話し始めます。
実行可能なリーチ（Actionable Reach）： AIは実際に、危険な指示や有害なコンテンツを提供します。

比喩： 銀行の警備員を想像してください。

バイパス： あなたは警備員を騙して脇へ退かせます。彼はあなたを通り過ぎることを許しますが、あなたはただそこで壁を見つめているだけです。警備員は突破しましたが、何も盗んでいません。
実行可能なリーチ： 警備員を通り抜け、実際に金庫を開けます。

この論文は、あるニューロンにおいては、「バイパス（警備員が脇へ退く）」は容易に達成できるが、「実行可能なリーチ（金庫が開く）」には決して到達できないということを発見しました。AIは危険なトピックについて流暢に話すことはできても、実際の具体的な手順を出すことは拒否する場合があります。つまり、単に「『いいえ』と言ったかどうか」をテストするだけでは不十分であり、実際に「悪いことをしたか」を確認しなければならないということです。

この分野にとっての意味

予測可能である： 推測する必要はありません。機械の数学的構造を見て、「天井」を計算すれば、そのニューロンが「コントローラー（制御器）」なのか「ブレイカー（破壊器）」なのかを事前に知ることができます。
古いツールは間違っていた： 最も「声が大きい（勾配が大きい）」ニューロンを探す標準的な手法は、実は機械を壊しやすいニューロンを見つけてしまっていました。真のコントローラーは、静かで繊細なものなのです。
安全性チェック： これは、モデルの作成者に新しいテスト方法を提供します。単に「壊せるか？」と問うのではなく、「壊れるまでのウィンドウはどれくらい広いか？」を測定できます。もしウィンドウが極めて小さい、あるいは存在しないのであれば、そのモデルは堅牢（ロバスト）であると言えます。

まとめ

この論文は、「単一のニューロンを微調整してAIの挙動を変える」という謎を、精密な科学へと変えました。それはこう言っています：「ただ強く押すのではない。」 「何も起きない」状態と「機械を壊す」状態の間に位置する、予算に基づいた特定の「押し」を見つけなさい。もしその地点が存在するなら、制御が可能になります。存在しないなら、不可能です。そして、AIが以前とは違う話し方をしたとしても、それがあなたの望むことを実際に実行しているとは限らないのです。

技術要約：レバレッジはリーチではない：言語モデルにおける単一ニューロン・ステアリングのためのコントロール・ウィンドウの法則

1. 問題提起

アラインメントされた言語モデルは、重要な振る舞い（拒絶、言語ルーティング、算術演算子の選択など）を疎なフィードフォワード（FFN）ニューロンを通じて制御しているが、単一のニューロンへの介入が、モデルの出力を退廃的なテキストへと崩壊させるのではなく、いかにして一貫した振る舞いを制御できるかを予測する理論的枠組みは現在存在しない。

現在、文献には2つの根本的なギャップが存在する：

属性と介入の不一致（Attribution-Intervention Disagreement）: 局所的な勾配属性によって重要度が高いとランク付けされたニューロンが、因果的に振る舞いを制御できないことがよくある。一方で、真のコントローラーは勾配からは不可視であることが多い。高い「レバレッジ」（用量がモデルの状態を動かす能力）は、「リーチ（到達力）」（一貫した行動的効果）を予測しない。
予測理論の欠如: なぜ特定の介入がある振る舞いを一貫して反転させ、別の振る舞いを崩壊させるのかを説明する既存の原理は存在しない。固定された大きさの用量による介入は、選択された任意の用量に応じて矛盾する判定を下すため、単一ニューロンによる制御を予測可能で反証可能な現象にすることを妨げている。

2. 手法：予算正規化コントロール・ウィンドウ・フレームワーク

著者らは、単一ニューロンへの介入を、薬理学における用量反応関係と同様に扱うフレームワークを提案している。核心となる革新は、介入の用量を固定された大きさではなく、モデルの内部幾何学に対して正規化することである。

コントロール座標

単一ニューロンへの介入は、FFNニューロンの書き込み方向 $v$ （ダウンプロジェクションの列）のスカラ倍 $t$ を残差ストリーム $r_L$ に加える：
$r(t) = r_L + t v$
残差ストリームは正規化を経由するため、摂動を受けたストリームの「方向」のみが重要となる。この効果は、単一のコントロール座標、すなわち摂動を受けた残差と書き込み方向との間のアライメント、 $\cos \theta_v$ に集約される：
$\cos \theta_v = \frac{g}{\sqrt{1 + g^2}}$
ここで、 $g = t/B$ は無次元の結合係数であり、用量が $B$ （コヒーレンス・バジェット）によって正規化される。この曲線は、用量が増加するにつれて残差が書き込み方向へと回転していく様子を記述している。

コヒーレンス・バジェットとユニバーサル・ドライブ

用量は、残差ノルムと書き込み方向ノルムの比として定義されるコヒーレンス・バジェット $B$ によって正規化される：
$B = \frac{\|r_L\|}{\|v\|}$
この無次元の結合 $g = t/B$ は、ユニバーサルな飽和曲線に従ってコントロール座標を駆動する。

コントロール・ウィンドウの法則

一貫した制御は、振る舞いのトリガー閾値（ $\cos \theta_{trig}^v$ ）が崩壊天井（ $\cos \theta_{coll}^v$ ）を下回る場合にのみ存在する：
$\text{一貫した制御} \iff \cos \theta_{trig}^v(\tau) < \cos \theta_{coll}^v$

トリガー: 振る舞いが反転する、振る舞いに依存した閾値。これは振る舞いのクラス（例：言語ルーティングでは $\approx 0.3$ 、拒絶では $\approx 0.45$ ）によって異なる。
天井: 出力が崩壊する、幾何学に依存した閾値。これはモデルの重みと単一のフォワードパスから、崩壊係数 $m^*$ （残差の参加比率に関連）によって予測される。

3. 主な貢献

単一の座標によるコントロール・ウィンドウの法則: 本論文は、あらゆる用量の効果が単一の座標 $\cos \theta_v$ に集約され、ユニバーサルな駆動曲線に従うことを確立した。一貫した制御は、トリガー（振る舞いに依存）と天井（幾何学に依存）によって厳密に制限される。
将来的な天井予測: 崩壊天井は、重みと一つの汎用的なフォワードパスのみを使用して、介入前に予測可能である。15個の保持されたニューロンにおいて、予測された天井の平均絶対誤差（MAE）は0.14（バルク層では0.07）であった。
ウィンドウが閉じる3つのメカニメント: ニューロンが振る舞いの制御に失敗する3つの理由を特定した：
- 幾何学的閉鎖（Geometric Close）: 崩壊天井がトリガーよりも低い（Gemmaモデルで観察）。
- ドライブ上限閉鎖（Drive-Capped Close）: ポストFFN正規化により、ニューロンのリーチがトリガーを下回るようにキャップされる（Gemmaで観察）。
- デカップル閉鎖（Decoupled Close）: 書き込みがネットワークの深さにおいて出力生成前に伝播するには遅すぎる。
振る舞いに対する汎用性: この法則は、良性のモード切り替え（言語ルーティング、演算子選択）と安全性の振る舞い（拒絶）の両方を支配する。トリガー値は振る舞いのクラスによって異なるが、基礎となる幾何学は一貫している。
レバー vs リーチ（勾配の盲目性）: 局所的な勾配属性が制御を反予測することを実証した。真のコントローラーは「オフアクシス（軸外）」に書き込み、即時のリードアウトに対して垂直であるため、一次の勾配はほぼゼロであるが、有意な二次曲率を持つ。その結果、勾配によってランク付けされたニューロンはしばしば崩壊しやすい一方で、最も効果的なコントローラーは標準的な属性分析からは不可視となる。
型付けされた結果: 介入の成功はスカラーではなく「型」を持つ。ニューロンは、一貫したバイパス（流暢なテキスト内で拒絶を反転させる）を達成できても、厳密な実行可能リーチ（有害または操作的な内容を提供する）を達成できない場合がある。これら二つは、特に拒絶のシナリオにおいてデカップル（分離）している。

4. 結果と検証

予測精度: 本フレームワークは、15個の保持されたニューロンのうち11個について、「オープン」か「クローズ」かの判定を予測することに成功した。4つの「ミス」は法則への違反ではなく、情報価値のあるエッジケース（幾何学的閉鎖、ドライブ上限閉鎖、または弱いオープンなど）であった。
崩壊係数: 崩壊係数 $m^*$ はアーキテクチャ依存であることが判明した。QwenおよびLlamaファミリーでは $\approx 1.4\text{--}1.7$ であるが、Gemma-3では $0.31$ まで低下し、これは残差の参加比率（集中度）と相関している。
発見効率: フォワードのみのコントラスティブ・スクリーンとコントロール・ウィンドウの法則を組み合わせることで、勾配ランキングが見逃した既知のコントローラー4/4を回収した（勾配ランキングは0/4）。コントラスティブ・スクリーンは再現率（Recall）を提供し、ウィンドウの法則は適合率（Precision）を提供する。
拒絶監査: 拒絶ニューロンのコホートに対する調査により、多くのニューロンが流暢なテキストで拒絶をバイパスできる一方で、そのうちのサブセット（監査されたLlamaピボット6個中3個）のみが、真に実行可能な有害な内容を生成できることが示された。さらに、実行可能な内容は、トークンのロールアウト後半（ $\approx 96\text{--}128$ トークン後）にコミットされることが多く、初期トークンのバイパスとは区別される。
二次元ウィンドウ: コントロール・ウィンドウは、用量とロールアウト時間の関数としての「面」として示される。言語ルーティングのような振る舞いはトークン局所的であるが、演算子の切り替えのような振る舞いは、発現するためにロールアウトのホライゾンを必要とする。

5. 意義と主張

本論文は、単一ニューロンのステアリングを、一連の逸話的な現象から、ディープラーニングのメカニズムにおける予測可能で反証可能な法則へと変貌させると主張している。

統一: 制御、崩壊、および不可視性の間の明白な矛盾を解決することで、スーパーウェイト、拒絶ニューロン、算術メカニズムなどの先行研究を同一のコントロール・ウィンドウ上に配置し、それらを統一する。
防御的有用性: 「二軸の安全性診断」（一貫したバイパスの余裕 vs 厳密な実行可能ポテンシー）を提供することで、モデルの堅牢性を監査することを可能にする。モデルは、広いバイパス・ウィンドウを持ちながら実行可能なリーチがゼロである場合もあれば、ウィンドウ自体が完全に閉じている場合もある。
方法論的転換: 介入の新しい標準を規定する：予算正規化された投与を、振る舞いのロールアウトホライゾンで読み取る。これにより、固定された大きさのオーバーシュートによって破壊的であるとラベル付けられてきたニューロンに関する記録を修正する。
理論的洞察: 「レバーはリーチではない」ことを明確にする。真のコントローラーは、下流の回路が増幅するオフアクシスな摂動をシードすることで動作し、そのために一次の勾配分析からは不可視となる。

著者らは、崩壊天井は幾何学から予測可能であるが、トリガー値は振る舞いのクラスと深さに依存して測定される量であり、完全な第一原理からの理論における主要な未解決問題であることを結論づけている。本研究は、振る舞いのルーティングと能力のリーチを分離する測定規律を確立しており、モデルの制御可能性を監査するための厳格なツールを提供している。