💻 computer science

Head Pursuit: Probing Attention Specialization in Multimodal Transformers

本論文は、マルチモーダル・トランスフォーマーにおける特化したアテンション・ヘッドを特定し、ランク付けするための信号処理ベースのプロービング手法を導入しており、これらのヘッドのうちわずか1%を編集するだけで、モデルの出力における特定の意味的または視覚的概念を効果的に制御できることを示している。

原著者： Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

公開日 2026-01-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で超スマートなロボットの脳（「Transformer」モデル）を想像してみてください。この脳は、物語を書いたり、質問に答えたり、画像を説明したりすることができます。長い間、科学者たちは、この脳はあらゆる部分が少しずつすべてに貢献している、巨大でぼやけたスープのようなものだと考えてきました。

「Head Pursuit」と題されたこの論文は、この脳は実際には高度に組織化されたオーケストラのようなものであると主張しています。たとえ演奏者たち（「アテンション・ヘッド」と呼ばれます）が共に演奏していたとしても、多くの者は実はスペシャリストなのです。数字が得意なドラム担当もいれば、感情が得意なバイオリン担当もいれば、色が得意な金管楽器担当もいます。

研究者たちが何を行い、何を発見したのか、以下に簡単に解説します。

1. 問題点：スペシャリストを見つけること

研究者たちは、*「ロボットの脳内のどの特定の『演奏者』が、特定のアイデアを司っているのか？」*を知りたいと考えました。
以前は、このスペシャリストを見つけようとすることは、部屋全体の音を一度に聴きながら、オーケストラの中の一つのバイオリンの音を聞き取ろうとするようなものでした。それは混沌としており、汎用性を持たせるのが困難でした。

2. 解決策：「Head Pursuit」（探偵ツール）

著者らは、Head Pursuitと呼ばれる新しいツールを作成しました。これはスマートなフィルター、あるいは信号検出器のようなものです。

仕組み: 彼らは脳が奏でている「音符」（内部データ）を取り出し、「同時直交マッチング・パースート（SOMP）」と呼ばれる数学的プロセスに通しました。
比喩: あなたが混ざり合ったレゴブロックの袋を持っていると想像してください。あなたは「赤色」という概念（赤いブロック）を見つけたいと考えています。袋全体を探す代わりに、あなたのツールは素早く山を仕分け、「ああ、この特定の10個のブロックが赤いものだ」と教えてくれます。
辞書: これを行うために、ツールは既知の言葉の「辞書」（国名や色のリストなど）を使用します。そして、脳の「光るパターン」がそれらの言葉とどのように一致するかをチェックします。

3. 発見：専門化は実在する

結果を見たとき、彼らは驚くべき発見をしました。脳には本当にスペシャリストが存在するのです。

テキストモデルにおいて、彼らは「国名」だけに注目するヘッドや、「月」だけに注目するヘッド、あるいは「数字」だけに注目するヘッドがあることを見つけました。
ビジョン・ランゲージ・モデル（画像を見て話すロボット）においては、「数字」や「質感」を認識することに特化したヘッドを見つけました。
「1%ルール」: 最も驚くべき発見は、脳全体を作り変える必要はなかったということです。数千あるヘッドのうち、これら特化したヘッドのわずか1%（上位16個または32個）を微調整するだけで、ロボットの出力を劇的に変えることができました。

4. マジック・トリック：ボリュームを上げたり下げたりする

一度スペシャリストのヘッドを見つければ、音響エンジニアがトラックのミキシングをするように、ロボットの出力をコントロールできるようになります。

ノイズを消す（抑制）:
- シナリオ: ロボットに有害な言葉や不適切な言葉を使わせたくない場合。
- アクション: 彼らは「有害な」ヘッドを見つけ出し、その信号を反転させました（ボリュームをマイナスにしました）。
- 結果: ロボットは突然、不適切なコンテンツを生成しなくなりましたが、普通の文章を書くことは依然として可能でした。それは、音楽を止めることなく、特定の楽器だけを静かにさせるようなものでした。
- シナリオ: ロボットに色の名前を出させたくない場合。
- 結果: 彼らが「赤い車」を単なる「車」と描写させたとき、文章の他の部分は完璧なまま、色の単語だけが取り除かれました。
信号をブーストする（強化）:
- シナリオ: ロボットにもっと感情的になったり、描写豊かになったりしてほしい場合。
- アクション: 彼らは「感情」のヘッドを見つけ、そのボリュームを上げました（信号を掛け合わせました）。
- 結果: 画像を説明するとき、たとえ画像が中立的なものであっても、ロボットは「幸せ」「悲しい」「笑顔」といった言葉をより頻繁に加えるようになりました。これにより、ロボットを再学習させることなく、ロボットを「より感情豊か」にすることができました。

5. なぜこれが重要なのか

この論文は、これらの巨大なAIモデルが単なるブラックボックスではないことを示しています。これらには、特定のタスクを処理する特定のパーツが存在するという、隠された、組織化された構造があります。

再学習が不要: ロボットに新しい話し方を教え込む必要はありません。ただ適切な「つまみ」（特定のヘッド）を見つけて、それを回せばよいのです。
精密さ: ロボットの脳の他の部分を壊すことなく、特定の問題（有害性など）を解決したり、特定の機能（色の描写など）を追加したりすることができます。

まとめ

この論文は、巨大で複雑な機械に、ラベルの付いたスイッチを備えたコントロールパネルがあることを発見したようなものです。機械をより安全にしたり、よりクリエイティブにしたりするために、機械を再構築しようとするのではなく、研究者たちは、望む結果を得るためにどのスイッチを切り替えればよいかを正確に示したのです。彼らは、機械の内部パーツのごく一部を見つけ出し、調整することで、ロボットが何を言い、どのように振る舞うかを確実に制御できることを証明しました。

テクニカル・サマリー：Head Pursuit（ヘッド・パースート）：マルチモーダル・トランスフォーマーにおける注意の専門化の探索

問題提起

大規模な生成モデル（大規模言語モデル（LLM）およびマルチモーダル視覚言語モデル（VLM）の両方を含む）は、多様なタスクにおいて顕著な性能を達成している。しかし、その内部メカニズムは部分的にしか理解されていない。Logit Lensのような従来の解釈可能性ツールは、中間状態に意味的な情報を明らかにしてきたが、これらは個別の例に対してヒューリスティックに適用されることが多く、発見事項を一般化したり、特定のコンポーネント（注意ヘッドなど）がモデルの出力形成に果たす重要性を定量化したりすることを困難にしている。特定の注意ヘッドが特定の意味的または視覚的属性に特化しているかどうかを特定し、追加の学習なしにこれらのヘッドを操作することでモデルの振る舞いを標的とした制御が可能かどうかを判断するための、原理的な手法が必要とされている。

手法

著者らは、中間活性化のプロービング（探索）という慣習を、疎な信号処理の観点から再解釈したHead Pursuitと呼ばれるフレームワークを提案する。コアとなる手法は以下のステップで構成される：

SOMPによる疎な分解: 著者らは、高次元の信号を基底要素の疎な線形結合で近似するための強欲アルゴлоリズムである**同時直交マッチング・パースート（Simultaneous Orthogonal Matching Pursuit: SOMP）**を採用している。
- 入力: 与えられた層 $l$ における注意ヘッド $h$ の活性化行列 $H_{h,l}$ （ $n$ 個のサンプルを表す）を分析する。
- 辞書: 活性化から辞書を学習する代わりに、本手法ではモデルのアンエンベディング行列（unembedding matrix） $D$ を固定された辞書として使用する。 $D$ の各行は語彙内のトークンに対応しており、人間が解釈可能な意味的概念への直接的なリンクを提供する。
- プロセス: SOMPは、データセット全体の全サンプルにわたって、ヘッドの残差と最大限に相関する辞書原子（トークン）を反復的に選択する。これにより、 $H \approx W^*D$ となる疎な係数行列 $W^*$ が得られる。
- 一般化: 単一の残差ベクトルを投影するLogit Lensとは異なり、SOMPは複数のサンプルを同時に操作し、複数の辞書方向を選択することで、ヘッドの機能的な役割を堅牢かつデータセットレベルで特徴付ける。
ヘッドの選択とランキング:
- 特定のターゲット概念（例：「色」、「毒性」、「数字」）に関連するヘッドを特定するために、アンエンベディング辞書をその概念に関連するトークンに制限する。
- この概念固有の辞書に対してSOMPを適用する。
- ヘッドは、SOMPによる再構成によって説明される活性化の分散の割合に基づいてランク付けされる。高い分散説明率は、その概念に対する強い専門化を示している。
介入:
- 特定された上位 $k$ 個の専門化されたヘッドを特定した後、著者らはそれらの残差ストリームへの寄与を再スケーリングすることで介入を行う。
- 抑制的介入（Inhibitory Intervention）: ヘッドの表現の符号を反転させ（ $\alpha = -1$ ）、ターゲットとなる属性を抑制する。
- 強化的介入（Enhancing Intervention）: ヘッドの表現を増幅させ（ $\alpha > 1$ ）、ターゲットとなる属性の生成を促進する。
- この介入は、モデルの重みを更新することなく、フォワードパス中に実行される。

主な貢献

理論的枠組み: 本論文は、マッチング・パースート（MP）とその多サンプル版であるSOMPを生成モデルの解釈可能性の文脈の中に位置づけ、複数のサンプルや複数の意味的方向を同時に扱うために一般化することで、Logit Lensのような標準的なツールとの正式な接続を確立した。
専門化の発見: 本手法は、単峰型（Mistral-7B）およびマルチモーダル（LLaVA-NeXT, Gemma3, Qwen2.5-VL）のトランスフォーマーの両方において、一貫したヘッドの専門化パターンを明らかにしている。特定のヘッドが、意味的に一貫したトークンのグループ（例：国名、月、数字、感情）を確実に生成することが判明した。
制御可能性: 専門化されたヘッド（全ヘッドのわずか1%程度）に介入することで、ターゲットとなる概念を確実に抑制または強化できることを著者らは示している。これは、注意層が高度に解釈可能で操作可能な線形構造を含んでいることを示唆している。

結果

著者らは、いくつかのタスクを用いて自身のアプローチを検証した：

質問回答（TriviaQA）: 「国名」に特化したわずか8つのヘッド（モデルの0.8%）の符号を反転させると、国に関する質問に対する性能は大幅に低下したが、他の質問への影響は最小限であった。ランダムなヘッド選択やLogit Lensに基づく選択では、このような標的を絞った効果は見られなかった。
毒性の緩和: 毒性のあるキーワードのリストを使用してヘッドを選択することで、著者らはRealToxicityPrompts (RTP) および Thoroughly Engineered Toxicity (TET) データセットにおける毒性のある生成の頻度を減少させることに成功した。32個の専門化されたヘッドを反転させることで、ベースラインと比較して毒性のある生成を約30〜50%減少させたが、ランダムな介入はしばしば毒性を増加させた。
画像分類（LLaVA）: 特定のデータセット（例：MNIST, SVHN）に対してSOMPを通じて選択された上位32個のヘッドを反転させると、分類精度が著しく低下した。研究の結果、関連する意味を持つデータセット（例：数字認識タスク）は、専門化されたヘッドの集合を共有していることが分かり、ドメインを越えた機能的な重複が確認された。
画像キャプション生成（Flickr30k）:
- 抑制: 「色」、「感情」、「数量」などの属性に対する16個の専門化されたヘッドを反転させると、キャプションの質（CIDErスコア）を高く維持したまま、これらのキーワードをほぼ完全に除去できた。
- 強化: これらのヘッドを増幅（ $\alpha=5$ ）させると、キャプションの質をわずかに低下させるだけで、ターゲットとなる概念の存在を60%以上増加させた。

意義と主張

本論文は、大規模生成モデルの注意層が、構造化され、概念に整合した線形部分空間を保持していると主張している。この発見は、高次の概念が近似的に線形な残差部分空間に表現されているという仮説を支持するものである。

本研究の意義は、大規模モデルを理解し編集するための、シンプルで学習を必要としないツールを提供している点にある。少数のユニットが広範な意味的制御を行使できることを特定することで、著者らは、ヒューリスティックなプロンプトベースの介入やファインチューニングに代わる、原理的な代替案を提示している。このアプローチにより、以下が可能になる：

解釈可能性: モデルの振る舞いを、少数の解釈可能な要素に分解する。
制御: 一般的なモデルの能力への影響を最小限に抑えつつ、特定の属性（例：毒性、特定の視覚的概念）を標的とした抑制または強化を行う。

著者らは限界についても謙虚に述べており、本手法は線形性を前提としていること（これにより非線形構造をすべて捉えきれない可能性がある）、意味的辞書の質に依存すること、そして微細なステアリングではなく単純なグローバル・リスケーリングを使用していることを指摘している。今後の課題として、位置特異的な介入の探索や、画像生成タスクへの適用などが挙げられている。