🤖 machine learning

Distributed Sparse Interventions in Language Models

本論文は、従来の線形なステアリング手法では捉えきれない非線形な効果や相互作用を捉えることにより、言語モデルにおけるタスク行動を効果的に活性化させるために、層を横断してスパースなニューロンの集合を特定する新しい手法であるDistributed Sparse Interventions (DSI) を導入するものである。

原著者： Maximilian S. Ernst (Max Planck School of Cognition, Center for Lifespan Psychology Max Planck Institute for Human Development, Machine Learning Group Technische Universität Berlin), Lorenz Linhardt (

公開日 2026-07-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Maximilian S. Ernst (Max Planck School of Cognition, Center for Lifespan Psychology Max Planck Institute for Human Development, Machine Learning Group Technische Universität Berlin), Lorenz Linhardt (Machine Learning Group Technische Universität Berlin, Berlin Institute for the Foundations of Learning and Data), Aaron Peikert (Center for Lifespan Psychology Max Planck Institute for Human Development), Oliver Eberle (Machine Learning Group Technische Universität Berlin, Berlin Institute for the Foundations of Learning and Data)

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（チャットボットを動かしているものなど）を、何百万もの小さな労働者（ニューロン）がさまざまな建物（レイヤー）に集まる、巨大で賑やかな都市だと想像してみてください。あなたがモデルに特定のタスク、例えば文章の翻訳や動詞の過去形への変換を依頼するとき、ほとんどの人は、タスクに合わせて都市全体がギアを切り替えたり、あるいはそのために動かすための巨大な「スイッチ」が一つあると考えています。

この論文**「Distributed Sparse Interventions（分散スパース介入）」は、その仮定が間違っていると主張しています。都市全体を動かしたり、巨大なスイッチを切り替えたりする代わりに、著者らは、ほんの一握りの特定の労働者を「つつく（nudge）」だけで、複雑なタスクを誘発できることを見出しました。その数は、総人口のわずか0.01%**に過ぎないこともあります。

以下に、簡単な比喩を用いた彼らの発見の解説をまとめます。

1. 旧来の手法：「グローバル・ボリューム・ノブ」

これまでの研究は、モデルをステレオシステムのように扱っていました。音楽の「ムード」（タスク）を変えたい場合、部屋全体のボリュームノブを回したり、フェーダーをスライドさせたりしていました。これは、タスクが単純な直線的な関係であるという前提に基づいています。つまり、ノブを少し上げれば、音楽が少し大きくなるという考え方です。

問題点： 著者らは、モデルは単純なステレオではないことを発見しました。それはむしろ、複雑なオーケストラのようなものです。部屋全体のボリュームを上げるだけでは、ただのノイズになってしまいます。真の魔法は、特定の演奏家たちが、まさに正しいタイミングで、特定の音を奏でる瞬間に起こるのです。これらの労働者の関係性は直線的ではなく、絡み合ったウェブ（網）のような構造になっています。

2. 新しい手法：「分散スパース介入（DSI）」

著者らは、DSIと呼ばれる手法を開発しました。これは、オーケストラ全体に「もっと大きく演奏しろ」と命じるのではなく、非常に熟練した指揮者のようなものです。指揮者は次のように動きます：

聴く（Listen）： オーケストラが曲を知っている場合（10ショットの例示がある場合）と、知らない場合（0ショットの場合）で、演奏がどのように異なるかを比較します。
特定する（Identify）： 優れた演奏と不十分な演奏の差を生んでいる、極めて限定的で特定のグループの演奏家を見つけ出します。
つつく（Nudge）： 彼らが自分の役割を果たすように、その数少ないメンバーを優しくつつきます。

結果： 数万個のニューロンのうち、わずか8個から64個に介入するだけで、モデルに明示的に教えられていないタスクを実行させることができ、多くの場合、10個の例示を与えて学習させたときと同等のパフォーマンスを実現できました。

3. 「非線形」の驚き

この論文は、これらのニューロンが単純なスイッチのように機能しないことを強調しています。

比喩： ケーキを焼こうとしている場面を想像してください。もし線形（リニア）だと仮定するなら、「卵をもう一個足せば、ケーキは2倍美味しくなる」と考えるかもしれません。しかし実際には、卵を一つ足すと生地がふやけてしまい、二つ足すと完璧になり、三つ足すと台無しになる、ということが起こり得ます。
発見： 著者らは、ニューロンを「つつく」効果は、他のニューロンが何をしているかに大きく依存することを発見しました。単に「最高の」ニューロンを選んでつつけばよいわけではありません。正しい組み合わせのニューロンを見つけ出し、適切な強さでつつかなければならないのです。彼らの手法であるDSIは、一度推測して祈るのではなく、最適なレシピを見つけ出すために、これらの「つつき」を反復的に調整していきます。

4. 「タスク」の解明（コピー vs 変形の比喩）

この論文の中で最も興味深い部分の一つは、彼らがこの手法を用いて、モデルが「どのように考えているか」を理解しようとしたプロセスです。彼らは「run」を「ran」に変える（時制の切り替え）といったタスクに着目しました。

彼らは、モデルが実際にこの作業を二つのステップに分解していることを発見しました。

コピー（Copying）： モデルはまず「run」という単語をコピーします。
変形（Transforming）： 次に「run」を「ran」へと変化させます。

DSIを用いることで、彼らは「コピー」の部分を担当するニューロンと、「変化」の部分を担当するニューロンを分離することができました。

実験： 「コピー」を担当するニューロンだけを活性化させると、モデルは入力された単語を何度も繰り返すだけになります（壊れたレコードのように）。一方で、「変化」を担当するニューロンを活性化させると、モデルは時制を変えようと試みますが、途中で行き詰まったり、同じことを繰り返したりすることがあります。
洞察： これは、複雑なタスクが、より小さな、再利用可能な「レゴブロック」のようなニューロンの集合体によって構築されていることを証明しています。モデルには一つの巨大な「過去形脳」があるのではなく、「コピー脳」と「変化脳」が連携して動いているのです。

まとめ

この論文は、言語モデルが単一の塊（モノリス）のような知能ではないことを示しています。それらは、スパース（疎）で分散した回路によって構成されています。新しいタスクを行わせるために、モデル全体を再学習させたり、膨大なデータを使用したりする必要はありません。ただ、そのタスクの「鍵」を握っている、ごく一部の特定のニューロンを見つけ出し、優しくつつくだけでよいのです。

要約すると： 都市全体に向かって大声で指示を出す代わりに、著者らは、特定の数人の人々にささやく方法を見つけました。すると、都市全体が突然、新しい言葉を話し始めるのです。

技術要約：言語モデルにおける分散スパース介入（Distributed Sparse Interventions）

問題提起

現代の言語モデル（LLM）は、インコンテキスト学習（ICL）を通じて複数のタスクを適応的に組み合わせ、実行するという柔軟なタスク解決能力を示します。しかし、モデルがどのようにタスクを表現し、構成しているのかという根底にあるメカニズムは依然として解明されていません。モデルのステアリングに関する従来の研究は、主に**活性化空間におけるグローバルな方向（global directions）**に依拠しており、以下の3つの主要な仮定に基づいています：

効果的な介入には、特定のレイヤーやアテンションヘッド内のすべてのニューロンの活性化を変更する必要がある。
タスクは、加法的に結合可能な活性化空間内の線形な方向として表現される。
ローカルな一次近似（first-order approximation）による効果の推定で、比例的な行動変化を誘発する介入を特定するには十分である。

著者らは、これらの仮定が実用においてはしばしば崩れると主張しています。タスクに関連する計算はモデルの構成要素全体に分散しており、介入はニューロン間の非線形な相互作用効果を示すことが多く、一様な一次近似では捉えきれません。その結果、既存のステアリング手法は、他の計算を妨害することなく特定のタスク計算を分離する粒度に欠け、最適ではないか、あるいは侵襲的すぎる可能性があります。

手法：分散スパース介入（DSI）

これらの限界に対処するため、本論文では、レイヤーやアテンションヘッドに分散した、小さくスパースなニューロンのサブセットを特定し、介入を行う手法である**分散スパース介入（DSI）**を導入します。DSIは、グローバルな表現方向ではなく、ニューロン基底（neuron basis）に対して直接作用します。

DSIの手順は、以下の4つのステップに従います：

活性化差分の抽出（Activation Difference Extraction）: $k$ -shot（例：10-shot）プロンプトと0-shotプロンプトの間のニューロンごとの活性化差分を計算します。これにより、タスク固有のモデル応答を分離し、介入強度のための情報豊かな初期化を提供します。
頑健化された勾配推定（Robustified Gradient Estimation）: 勾配の不安定性（例：勾配の破砕/gradient shattering）を軽減するため、DSIは**レイヤー別再帰的関連性伝播（Layer-wise Relevance Propagation: LRP）**を用いて頑健化された勾配を計算します。これには、非線形活性化関数、ゲート付きMLP、およびアテンションモジュールに対して、特定のルール（Identity, Half, LayerNorm）を適用し、介入下でのモデル出力の期待される変化をより正確に推定することが含まれます。
初期スパース選択（Initial Sparse Selection）: 頑健化された勾配と平均活性化差分の積に基づき、初期の $n$ 個のニューロンを選択し、最も影響力の大きいニューロンのみを保持します。
反復的な精緻化（Iterative Refinement）: 一次テイラー近似は非線形性や相互作用効果を無視することを認識し、DSIは反復的な最適化手順を採用します。ZeroFPRアルゴックリズムを用い、正しいトークンのログットを最大化するように介入のスケーリング係数を反復的に更新します。このステップは、ニューロン間の相互作用を考慮し、一様なスケーリング係数を適用するのではなく、各特定のニューロンに対する介入強度を精緻化します。

主な貢献

本論文は、主に4つの貢献を行っています：

手法的なフレームワーク: グローバルな方向ベースのステアリングを超え、モデル内に分散した特徴（ニューロン）のスパースな集合を特定して介入することを可能にするDSIを導入しました。
非線形性の実証: ニューロン介入における複雑な非線形依存関係を示す経験的証拠を提示しました。著者は、一次近似では正の効果を持つニューロンを確実に特定できないこと、および最適な介入強度がニューロン間で大きく異なることを示し、反復的なニューロンレベルの手法が必要であることを証明しました。
経験的検証: 3つのインストラクションチューニング済みモデル（Qwen 3, Gemma 3, Llama 3.2）における12のタスク（抽出型および抽象型）にわたる包括的な研究を実施しました。結果として、わずか8〜64個のニューロン（全ニューロンの0.01%〜0.04%）への介入だけで、特定のタスクを起動させるのに十分であり、しばしば10-shot ICLの性能に匹敵、あるいはそれを上回ることが示されました。
タスク構成に関する集合ベースの視点: モデルのステアリングをニューロンの集合に結びつけることで、個々のニューロンの役割の分析を可能にしました。時制切り替え（tense-switching）と言語切り替え（language-switching）のタスクに関するケーススタディにより、タスクの振る舞いは、集合演算（積集合と差集合）を通じて分離可能な共有コンポーネント（例：入力のコピー）とタスク固有のコンポーネント（例：変換）に分解できることが明らかになりました。

実験結果

パフォーマンス: DSIは、ベースライン（介入なし）や、勾配の頑健化または反復精緻化を欠くアブレーション版と比較して、0-shotのタスク精度を大幅に向上させました。例えば、Llama 3.2 (3B)において、64個のニューロンを用いたDSIは、抽象型タスクで0.75、抽出型タスクで0.98の平均精度を達成しましたが、ベースラインは0.02〜0.28付近でした。
スパース性: 極めてスパースな介入でも高いパフォーマンスが達成可能です。8個のニューロンへの介入でも意味のある利得が得られることが多く、性能は一般に32〜64個のニューロンのセットでプラトーに達するか、ピークに達しました。
分布: 特定されたニューロンは、アテンションヘッドやレイヤー全体に広く分散しており、特に中間層から後半のレイヤーに多く見られました。これは、変更を特定のレイヤーに限定するアプローチとは対照的です。
分解: ケーススタディにおいて、「コピー」タスクと「変換」タスク（例：現在形から過去形への変換）のニューロン集合の積集合は、コピーの振る舞いをうまく分離できました。逆に、タスク固有のニューロン（積集合を除いたもの）は、コピーのアーティファクトを減少させつつ変換を誘発することに成功しましたが、共有コンポーネントなしではタスクを完全に起動させるのに苦戦する場合もありました。

意義と主張

本論文は、DSIがディープラーニングモデルにおけるタスク表現を解明、制御、理解するための原理的な手法を提供すると主張しています。高密度な表現空間における線形的かつ加法的なタスクベクトルの仮定から脱却することで、DSIはより微細な粒度でのモデルステアリングを提供します。

著者らは、彼らの知見が、タスクの構成がハイレベルな表現だけでなく、基礎となるニューロンレベルの構造にも反映されていることを示唆していると強調しています。タスクを共有ニューロンセットと固有ニューロンセットに分解できる能力は、モデルがどのように振る舞いを組み合わせるかについての新しい視点を提供し、より標的を絞った、侵襲性の低い介入を可能にする可能性があります。

著者らは、以下のような限界についても謙虚な姿勢を維持しています：

評価はクリーンな数ショットプロンプトとシングルトークン予測に依存しており、完全な自己回帰生成における介入の進化は未解決の課題です。
パフォーマンスはモデルやタスクによって異なり、表現の違いと手法的な限界の両方が影響していることを示唆しています。
フレームワークは機能的なプリミティブ（例：「コピー」ニューロン）を分離できますが、派生したサブタスク介入が必ずしも関連する振る舞いを完全に起動させるわけではなく、より高度な分解戦略の必要性を示しています。

最終的に、本研究は、精密で局所的な行動制御のためのツールを提供することにより、タスク構成の理解を深め、言語モデルのセーフガードを向上させることを目的としています。