💻 computer science

Interpretability Transfer from Language to Vision via Sparse Autoencoders

本論文は、視覚言語モデルにおいて既存のラベル付きテキストスパースオートエンコーダ空間と視覚トークンを整合させることで言語からの解釈性を視覚へ転移するフレームワーク「VISTA」を提案し、これにより専用の視覚 SAE を学習することなく、精密な視覚概念の局在化と効果的なクロスモーダル介入を可能にする。

原著者： Alexey Kravets, Da Li, Chuan Li, Da Chen, Vinay P. Namboodiri

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexey Kravets, Da Li, Chuan Li, Da Chen, Vinay P. Namboodiri

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢く、画像を見てそれについて話せるロボットがいると想像してください。このロボットには、言葉を理解することに驚くほど優れている「脳」（大規模言語モデル）がありますが、それが実際にどのようにして世界を「見て」いるのかは、少し謎めいています。通常、このロボットの脳を覗き込み、画像について何を考えているのかを見ようとしても、それはまだ誰も話していない言語で書かれた本を読もうとするようなものです。

この論文は、この問題を解決するための新しい手法「VISTA（SAE 転移アライメントによる視覚的解釈可能性）」を紹介しています。その仕組みを簡単に説明します。

1. 問題点：「辞書」の不一致

ロボットの脳には、「犬」「走る」「幸せ」といった概念の巨大で事前に書かれた辞書があると想像してください。この辞書は数百万冊の本を読んで作られ、非常に整理されています。しかし、ロボットが画像を見ると、目から入ってくる信号（視覚データ）は、この辞書にある単語と一致しません。これらはまるで異なる 2 つの言語のようです。

ロボットが何を見ているかを理解するために、科学者たちは通常、画像専用の「新しい辞書」を作ろうとします。しかし、視覚的な概念にラベルを付けることは混乱を招くため、これは困難です。「犬」という特徴は、単に犬を指すのか、特定の犬種を指すのか、それとも走っている犬を指すのか？それは曖昧であり、ラベル付けには多くの作業が必要です。

2. 解決策：VISTA（汎用アダプター）

画像用の新しい辞書を作る代わりに、VISTA は汎用翻訳アダプターのように機能します。

セットアップ: ロボットには、既存のラベル付き辞書を持つ凍結された「脳」（言語モデル）と、世界を見る「カメラ」（視覚エンコーダー）があります。
トリック: VISTA は、カメラと脳の間に、小さくシンプルな接続部（プロジェクター）を訓練します。
目標: 目標は、カメラの信号を脳の既存の辞書に完璧に適合させることです。研究者たちは、訓練中に「脳に送る画像信号は、脳自身の単語辞書を使って再構成可能でなければならない」という特別なルールを追加することでこれを行います。

これは、新しい四角い穴を作るのではなく、四角い杭（画像）を形変えて丸い穴（単語辞書）に適合させるようなものです。

3. 結果：見ることは理解すること

VISTA によって画像信号が単語辞書と整列するため、私たちはロボットがすでに知っている言葉を使って、ロボットが何を見ているかを「読む」ことができるようになりました。

「Neuronpedia」への接続: この論文では、ロボットの脳の凡例として機能する公共データベース「Neuronpedia」を使用しています。これにより、特定の信号が「猫」や「クッキー」を意味することがわかります。
画期的な成果: VISTA を使えば、ロボットが猫の画像を見ると、脳に送られる信号が、誰かが「猫」という単語をタイプしたのと同じように、辞書内の正確な「猫」という概念を点灯させます。これは、何かを再ラベル付けしたり、新しい辞書を訓練したりする必要なく行われます。

4. カメラの重要性：DINOv2 と CLIP

この論文では、この翻訳機と最も相性が良い「カメラ」（視覚エンコーダー）を調べるために、異なるカメラもテストされました。

CLIP（全体思考者）: 画像全体を見て「これは猫がいるシーンだ」と言うカメラだと想像してください。これは全体像には優れていますが、細部には弱いです。猫の正確な位置を指し示すよう求めると、混乱して背景を指してしまうかもしれません。
DINOv2（局所探偵）: このカメラは、画像の小さなパッチを見て回る探偵のようです。猫の耳が含まれている正確なピクセルの小さな正方形と、尾が含まれている正方形を正確に知っています。
発見: VISTA はDINOv2と最もよく機能します。DINOv2 は物体の位置を正確に保持するため、VISTA はロボットの視覚に対して「手術」を行うことができます。

5. 魔法のトリック：視覚的操縦

画像信号が単語辞書と完璧に整列したため、研究者たちは「視覚的操縦」を行うことができます。これは数学を使ってロボットの現実認識を編集するようなものです。

実験: 「チョコレートクッキーを食べている少女」の画像を取りました。
行動: 「チョコレート」の特定の信号を見つけ、それを減算するか、「パン」の信号を追加しました。
結果: ロボットの記述は「チョコレートクッキーを食べている」から「サンドイッチを食べている」または「パンを食べている」へと変わりましたが、画像のその特定の部分のみでの変化でした。少女や椅子など、残りのシーンは全く同じままでした。

VISTA（特に DINOv2 カメラ）がなければ、ロボットは物体の変更ができなかったり、どこを変更すべきか正確に特定できないため、突然現れる人物など奇妙な幻覚を見せたりしていました。

まとめ

要約すると、この論文は、ロボットの視覚を理解するために新しい言語を教える必要はないことを示しています。代わりに、ロボットの「目」に「脳」と同じ言語を話させることができます。特定の種類のカメラ（DINOv2）と巧妙な訓練のトリックを使用することで、ロボットの視覚を非常に明確で精密なものにできます。これにより、ロボットが何を見ているかを理解するだけでなく、画像内の特定の物体の認識を編集しつつ、世界の残りの部分はそのままに保つことが可能になります。

技術的サマリー：スパースオートエンコーダを介した言語から視覚への解釈可能性の転移

1. 問題提起

大規模マルチモーダルモデル（LMM）の解釈可能性は、依然として重大な課題です。スパースオートエンコーダ（SAE）は、大規模言語モデル（LLM）内で多義的な言語特徴を単義的で解釈可能な概念に分解することに成功しましたが、この成功を視覚ドメインに応用する際には、以下の 2 つの主要な制限によって妨げられています：

ラベリングの曖昧性: 視覚エンコーダ上でドメイン固有の SAE を訓練すると単義的な視覚特徴が得られますが、これらの特徴にラベルを付けることは困難です。ある特徴が特定の物体、品種、あるいは動作を表しているかを区別することは曖昧です。さらに、視覚専用の SAE は、視覚特徴が LLM の残差ストリームに入った後にどのように解釈されるかを明らかにしません。
計算コスト: 既存の LLM ベースの SAE を視覚情報を取り込むように微調整することは、極めて高価です。例えば、Gemma Scope のようなモデルを適応させるには、シフトした潜在空間を考慮するために、莫大な計算リソースと広範なラベリング作業（例：数十万回の LLM 要求）が必要です。

ここで扱われる中心的な問いは、「新しい視覚固有の SAE を訓練することなく、言語スパースオートエンコーダを再利用して視覚概念を解釈できるか？」というものです。

2. 手法：VISTA フレームワーク

著者らは、LLaVA 風の視覚言語モデル内で言語から視覚へ解釈可能性を転移させるために設計された VISTA（SAE 転移アライメントによる視覚解釈可能性）を提案します。中核的な革新は、視覚プロジェクタを制約し、視覚トークンを LLM の既存のラベル付きテキスト SAE 空間に直接マッピングさせることです。

アーキテクチャと訓練目的

セットアップ: このフレームワークは、凍結された視覚エンコーダ（例：DINOv2、CLIP）と凍結された LLM を利用します。学習可能な線形プロジェクタ（ $P_\theta$ ）が、視覚トークン（ $v$ ）を LLM の埋め込み空間（ $e_v$ ）にマッピングします。
損失関数: 対象テキスト上のクロスエントロピー（ $L_{CE}$ $L_{C E}$ ）のみを最小化する標準的な訓練とは異なり、VISTA は補助的な SAE 再構成損失（ $L_{SAE}$ $L_{S A E}$ ）を導入します。
- テキストデータのみを使用して LLM の残差ストリーム上で訓練された事前学習済みの SAE が、制約として使用されます。
- この損失は、投影された視覚トークンと、テキスト SAE によるその再構成との間の平均二乗誤差を最小化します： $L_{SAE} = \frac{1}{|M|} \sum_{l \in M} ||SAE_l(e^l_v) - e^l_v||^2_2$ 。
- 全体の目的関数は $L_{total} = L_{CE} + L_{SAE}$ です。
メカニズム: これにより、視覚トークンはテキスト SAE によって定義された多様体上に存在するように強制されます。その結果、視覚入力は、追加の計算コストをほとんどかけずに、事前ラベル付けされた言語的 SAE 概念を介して解釈可能となり、視覚固有の SAE 訓練の必要性を回避します。

微細な制御

アライメントが完了すると、視覚的な操作は言語的多様体内での算術操作となります。このフレームワークは、テキスト SAE のデコーダ方向（概念）を特定の視覚トークン位置（ $v_{source}$ ）に加算または減算することにより、局所的な制御を可能にします：

除去: $v_{steered} = v_{source} - \beta \cdot v_{remove}$
置換: $v_{steered} = v_{source} + \alpha \cdot v_{add}$
これにより、周囲のシーン文脈を維持しつつ、モデルの知覚から特定の物体を除去または置換することが可能になります。

3. 主要な貢献

解釈可能性の転移: 視覚トークンを LLM の SAE 特徴とアライメントさせる訓練目的の導入。これにより、視覚固有の SAE の訓練やラベリングに伴う計算負担なしに、クロスモーダルな解釈可能性の転移を可能にします。
エンコーダ分析: VISTA によって可能になった視覚エンコーダの厳密な比較により、DINOv2 が優れており、かつアーキテクチャに依存しない空間的局所化を達成することが明らかになりました。グローバルな要約を優先し、空間的混乱を招く対照モデルである CLIP とは異なり、DINOv2 の自己教師ありの局所からグローバルへの目的関数は、パッチレベルの精度に必要な微細な局所情報を保持します。
因果的検証: テキスト SAE 方向を用いた視覚トークンへの算術的介入が、モデル出力に一貫性のある局所的な変化を生み出すことの証明。これは、視覚トークンがテキスト SAE 多様体に存在しているという因果的証拠を提供します。

4. 結果と知見

アライメントと一致率

一致率: VISTA の制約により、制約のないベースラインと比較して、一致率（活性化されたテキスト概念が画像内の意味的要素に対応する精度）が 3 倍 増加しました。
遅延アライメント: この論文は、「遅延アライメント」（視覚トークンが自然にテキスト特徴とアライメントするのは深い層においてのみであるという概念）に挑戦しています。制約のない Gemma モデルではこの現象が観察されましたが、普遍的に起こるわけではありません（例：LLaMA-3.1-8B では発生しません）。VISTA の制約は、すべてのアーキテクチャと層において即座のアライメントを強制します。
再構成とスパース性: SAE 制約により、視覚トークンは再構成誤差とスパース性において即座に収束し、最初の層からのテキストトークンの分布と一致します。一方、制約のないトークンはネットワーク全体を通じて高密度で高誤差のままになる傾向があります。

空間的局所化

DINOv2 vs CLIP: DINOv2 は（Gemma-2-2B を使用して）空間的局所化精度（SLA）で 0.927 を示し、CLIP（0.201）や I-JEPA（0.702）を大幅に上回りました。
CLIP の限界: CLIP の活性化は空間的混乱を示し、関連する物体から遠く離れた場所で概念を活性化することが多く、微細な制御を不安定にします。
頑健性: DINOv2 は、異なる LLM バックボーン（Gemma-2-2B、Gemma-2-9B、LLaMA-3.1-8B）全体で高い局所化精度を維持しますが、CLIP の性能は大きく変動し、低いままです。

制御性能

定量的な向上: DINOv2 の精度を活用することで、VISTA は、最良の視覚専用ベースライン（VisionSAE および PatchSAE）に対して、物体除去タスクで 35%、物体置換タスクで 47% の改善を達成しました。
定性的な結果: DINOv2 による制御は、「走る犬」を「走る猫」に変える、またはソファから猫を除去するなど、グローバルなシーン文脈を維持しつつ精密な変更を可能にします。一方、CLIP ベースの制御は、幻覚やグローバルな文脈の変更をもたらす傾向があります。
因果的証拠: 制御された比較により、VISTA が言語生成経路を乗っ取るのではなく、モデルの特定の視覚パッチに対する知覚を修正することが確認されました。テキストのみの制御やプロンプト制御は、シーンの一貫性を維持できません。

性能への影響

小規模モデル: 小規模モデル（例：Gemma-2-2B）では、SAE 制約により一部のベンチマークでわずかな精度の低下が生じました。これは、表現能力が限られていることが原因と考えられます。
大規模モデル: 大規模アーキテクチャ（例：LLaMA-3.1-8B）では、SAE 制約は有益な正則化剤として機能し、大多数のベンチマークで性能を向上させました。
OOD 頑健性: VISTA のアライメントは、分布外（OOD）データ（DomainNet）にも一般化し、一貫した再構成、スパース性、一致率を維持します。これは、アライメントが訓練セットのアーティファクトではなく、構造的な性質であることを示しています。

5. 意義と主張

この論文は、解釈可能性はモーダルを超えて転移可能な性質であると主張しています。視覚エンコーダを LLM にアライメントする際に SAE 制約を課すことで、VISTA は視覚トークンを既存のラベル付き言語特徴空間にマッピングします。これにより、視覚固有の SAE の訓練に関連する計算コストとラベリングコストを排除します。

著者らは、局所的な解釈可能性と制御の成功が、視覚バックボーンの空間的忠実度と本質的に結びついていることを強調しています。彼らは、DINOv2 の局所目的が、この転移に必要な精度を提供し、CLIP のような対照モデルを大幅に上回ることを実証しました。この「解釈可能性の転移」というパラダイムは、複雑なマルチモーダルシステムの理解と制御のためのスケーラブルな道筋を提供し、基盤モデルの再訓練に伴う prohibitive なコストなしに、微細な因果的介入や特徴回路分析を可能にします。

この研究は、複数の LLM アーキテクチャ（Gemma、LLaMA）と視覚エンコーダ（CLIP、DINOv2、I-JEPA）全体で検証されており、マルチモーダルシステムにおけるメカニズム的解釈可能性に関するさらなる研究を支援するためにコードが公開されています。