論文「Beyond Semantics: Disentangling Information Scope in Sparse Autoencoders for CLIP」の技術的サマリー

本論文は、CLIP（Contrastive Language-Image Pre-training）のビジョンエンコーダ内部におけるスパースオートエンコーダ（SAE）の解釈可能性を、従来の「意味的意味（Semantic Meaning）」の分析を超えて拡張する新しいアプローチを提案しています。具体的には、SAE 特徴量がどの程度の空間的範囲で視覚情報を統合しているかを定量化する「情報範囲（Information Scope）」という概念を導入し、これを「文脈依存スコア（Contextual Dependency Score: CDS）」を用いて計測・分析しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

• 既存研究の限界: 従来の SAE による解釈可能性研究は、個々の特徴量が「何を意味するか（例：犬、車、テクスチャ）」という意味的アイデンティティに焦点を当てていました。しかし、同じ「犬」というラベルを持つ特徴量でも、それが物体全体からの統合された証拠に基づいているのか、局所的な毛並みのテクスチャに反応しているのかを区別することは困難でした。
• 課題: 辞書が巨大化し特徴量が細分化されるにつれ、意味的な解釈だけでは特徴量の機能的役割を一貫して記述できなくなっています。
• 核心となる疑問: 「ある特徴量がどの程度の空間的範囲（局所的か、全球的か）で証拠を統合しているか」という**情報範囲（Information Scope）**をどのように定量化し、解釈に組み込むか。

2. 提案手法：文脈依存スコア（CDS）

著者らは、SAE 特徴量の安定性を「文脈のわずかな変化に対する反応」として捉え、以下の手法を提案しました。

2.1. 外れ値トークン（Outlier Tokens）の観察

Vision Transformer（ViT）において、特定のパッチトークンが異常に高いノルムを持ち、画像全体の情報を集約する「外れ値トークン」として振る舞うことが知られています。著者らは、これらのトークンの位置が、画像のわずかなシフト（コンテキストの変化）に対して不安定に移動することを発見しました。

2.2. Shifted Context Cropping (SCC)

特徴量の空間的安定性を評価するための実験手法です。

1. 元の画像を拡大し、2 つの重なり合う領域（クリップ）$I_1$ と $I_2$ を生成します。これらは 1 パッチ分だけずれています。
2. 重なり合う領域内のパッチは画素レベルで同一ですが、絶対位置エンベディングや自己注意メカニズムにおける非重なり部分（コンテキスト）が異なります。
3. この 2 つのクリップを ViT に通し、SAE 特徴量の活性化マップの変化を比較します。

2.3. 文脈依存スコア（CDS）の定義

各 SAE 特徴量 $f_j$ に対して、SCC によって生成された画像ペアにおける活性化マップの差異を定量化する指標です。

• 計算プロセス:
  1. 特徴量 $f_j$ が強く反応する代表画像を選択。
  2. SCC を適用して 2 つのクリップを生成。
  3. 重なり領域における活性化マップを取得し、正規化。
  4. 2 つのマップ間の**地球移動距離（Earth Mover's Distance: EMD）**を計算。
  5. 複数の画像で平均化し、グリッドの対角距離で正規化して最終スコアを算出。
• 解釈:
  • 低 CDS: 文脈の変化に対して空間的に安定。→ 局所的な情報範囲（Local Scope）（特定の物体やテクスチャに特化）。
  • 高 CDS: 文脈の変化に対して空間的に不安定。→ 全球的な情報範囲（Global Scope）（画像全体の文脈や構造に依存）。

3. 主要な貢献

1. 新しい解釈軸の導入: SAE 特徴量の「意味」だけでなく、「情報範囲（どの程度の空間的広さで情報を統合するか）」を解釈の新たな次元として確立しました。
2. CDS の提案: 特徴量の空間的安定性を連続的なスカラー値として定量化するメトリクスを提案し、局所的特徴と全球的特徴を体系的に分離可能にしました。
3. 機能役割の解明: 低 CDS 特徴と高 CDS 特徴が、下流タスク（分類、セマンティックセグメンテーション、深度推定）において異なる役割を果たすことを実証しました。

4. 実験結果

4.1. 特徴量の分離と外れ値トークンの関係

• CDS の分布は二峰性（または多峰性）を示し、特徴量を「低 CDS グループ」と「高 CDS グループ」に明確に分割できます。
• 高 CDS 特徴は、ViT の**外れ値トークン（Outlier Tokens）**と強く相関しており、これらがグローバルな情報集約を担っていることを裏付けました。
• 低 CDS 特徴は、非外れ値トークンと強く相関し、局所的なパッチレベルの情報を担っています。

4.2. 特徴量除去実験（Feature-Group Removal）

SAE を用いて、CLIP の埋め込みから低 CDS 特徴または高 CDS 特徴を除去し、線形プローブ（Linear Probing）で評価しました。

• 画像分類（ImageNet）:
  • 高 CDS 除去: 全モデルで精度が向上しました。これは、線形分類器にとって高 CDS 特徴（文脈依存性が高い）がノイズとなり、低 CDS 特徴（局所的な明確なシグナル）の方が分類に有用であることを示唆しています。
  • 低 CDS 除去: 小規模モデルでは精度が低下しますが、大規模モデル（CLIP-L/14-336px）では向上する傾向が見られました。モデルスケールが大きくなるほど、高 CDS 特徴（グローバル文脈）の分類への寄与が増大する可能性があります。
• 密な予測タスク（セグメンテーション・深度推定）:
  • 低 CDS 除去: 両タスクで大幅な性能低下が発生しました。これは、ピクセルレベルの詳細な空間情報（局所的な情報範囲）が低 CDS 特徴に依存していることを示しています。
  • 高 CDS 除去: 性能への影響は限定的でした。グローバルな文脈情報は、局所的なシグナルが主体となる密な予測タスクにおいては補助的な役割しか果たしていないことが示されました。

4.3. 定性分析

• 低 CDS 特徴: 活性化マップが特定の物体や属性に局所的に強く反応し、意味的一貫性が高い。
• 高 CDS 特徴: 活性化が拡散しており、特定の領域に限定されず、画像全体の文脈に依存する。

5. 意義と結論

本論文は、SAE によるモデル解釈において、**「意味（What）」に加えて「範囲（Scope）」**という次元が不可欠であることを示しました。

• 理論的意義: ViT における「外れ値トークン」の不安定性が、実はグローバルな情報集約メカニズムの表れであることを、SAE 特徴レベルで解明しました。
• 実用的意義: 低 CDS 特徴は局所的な詳細（物体検出、セグメンテーション）に、高 CDS 特徴はグローバルな文脈（画像分類の文脈理解など）にそれぞれ特化していることが分かり、タスクに応じた特徴量の選択やモデルの設計指針を提供します。
• 汎用性: CLIP だけでなく、DINOv2 や SigLIP2 など、他の ViT アーキテクチャにおいても同様の CDS による特徴分離と機能の違いが観測され、このアプローチの普遍性が示されました。

結論として、情報範囲（Information Scope）の分析は、SAE 特徴の機能的役割をより深く理解し、モデルの内部表現をより包括的に診断するための重要な新しい軸となります。