論文要約：Do All Vision Transformers Need Registers? A Cross-Architectural Reassessment

本論文は、Darcet ら (2024) が提案した「Vision Transformer (ViT) におけるアテンションマップのアーティファクト（異常値）を解消するためのレジスタ（空のトークン）の導入」という手法について、複数のモデルアーキテクチャとサイズにわたって再現性と一般化可能性を検証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 背景と問題定義

Vision Transformer (ViT) の学習には、アテンションマップや特徴マップに「アーティファクト（異常な高ノルムを持つトークン）」が現れるという課題があります。これらは可視性の解釈性を損ない、物体発見などの下流タスクの精度を低下させます。
Darcet ら (2024) は、この現象が ViT が [CLS] トークン以上のグローバル情報を蓄積する必要があることに起因し、入力に「レジスタ（空のトークン）」を追加することで解決できると提案しました。しかし、彼らの研究は主に大規模モデル（DINOv2-G）に限定されており、以下の点が不明確でした。

• 提案された見解が他のモデル（DINO, DeiT3, OpenCLIP など）や小規模モデルに一般化できるか。
• 「アーティファクト」「アウトレイヤー（外れ値）」「高ノルムトークン」という用語の定義がモデル間で一貫しているか。
• 階層型 Vision Transformer (H-ViT) においても同様の現象が起きるか。

2. 手法と実験設定

著者らは Darcet らの実験を再現し、さらに以下の拡張を行いました。

• 対象モデル: DINO, DINOv2, OpenCLIP, DeiT3, Pyramid Vision Transformer (PVT), Swin Transformer などの多様なアーキテクチャとサイズ（Small から Giant まで）。
• 用語の明確化: 元の論文で混同されていた「アテンションマップ（アテンションスコアの可視化）」と「特徴マップ（トークンの L2 ノルムの可視化）」、および「アーティファクト」と「高ノルムトークン」の関係を厳密に定義し直しました。
• 評価タスク:
  1. 位置予測タスク: トークンが元の画像パッチ位置を予測できるか（局所情報の保持度）。
  2. パッチ再構成タスク: トークンから画像パッチを再構成できるか（局所情報の保持度）。
  3. 画像分類タスク: [CLS] トークン、通常トークン、高ノルム（アウトレイヤー）トークンのいずれを特徴量として使用した場合の分類精度（グローバル情報の保持度）。
  4. レジスタの効果検証: レジスタあり/なしでの分類精度とアテンションマップの可視化比較。

3. 主要な発見と結果

主張 1: アーティファクトと高ノルムトークンの関係

• 発見: Darcet らは「アーティファクト＝高ノルムトークン」と仮定していましたが、本論文ではこれが常に成り立つわけではないことを示しました。
• 詳細: アテンションマップにアーティファクト（異常な高スコア）が見えても、特徴マップに高ノルムが現れないケースがあります。特に DINOv2-L などでこの乖離が確認されました。モデルアーキテクチャによって、アテンションと特徴マップの関係は異なるため、用語の使い分けが必要です。

主張 2: モデルサイズと高ノルムトークンの発生

• 発見: 大規模モデル（3 億パラメータ以上）だけでなく、小規模モデル（OpenCLIP-B, DeiT3-M など）でも高ノルムトークンが発生します。
• 詳細: モデルサイズだけで発生が決定されるわけではなく、DINOv2-S のように小規模でもアーティファクト-free なモデルも存在します。したがって、サイズは主要因の一つですが、唯一の要因ではありません。

主張 3: 冗長な視覚情報領域での発生

• 発見: 大規模モデル（DINOv2-G, DeiT3-M, OpenCLIP-B）では、高ノルムトークンは視覚的に冗長な領域（類似したパッチが多い箇所）に出現する傾向が確認されました。
• 例外: DINOv2-S や階層型モデル（PVT, Swin）では、この相関が弱まったり、逆の挙動を示したりしました。

主張 4: トークンの情報内容（局所 vs グローバル）

• 局所情報: 高ノルム（アウトレイヤー）トークンは、位置予測やパッチ再構成タスクにおいて通常トークンより性能が劣ります。これは局所情報が失われていることを示唆します。
• グローバル情報: 画像分類タスクでは、高ノルムトークンが通常トークンより高い精度を示すことが多く、グローバルな文脈をエンコードしていることが確認されました。
• アーキテクチャ依存性: 階層型モデル（Swin, PVT）ではこの挙動が異なります。
  • Swin: アウトレイヤーが細かな外観情報（テクスチャ）を保持し、通常トークンが位置情報を保持する傾向。
  • PVT: アウトレイヤーが粗い位置構造を保持し、通常トークンがセマンティック情報を保持する傾向。
  • したがって、「アウトレイヤー＝グローバル情報」という結論はバニラ ViT には当てはまりますが、H-ViT には一般化できません。

主張 5: レジスタの効果

• アーティファクトの解消: レジスタを追加することで、アテンションマップのアーティファクトが効果的に除去され、可視性が向上することが確認されました。
• 性能への影響: レジスタを追加しても分類性能は低下せず、DINOv2 系列ではわずかに向上しました。
• レジスタの活用: レジスタ自体を分類タスクに活用しようとした実験では、[CLS] トークンやパッチ平均と組み合わせても性能向上は見られませんでした。これはレジスタが持つグローバル情報が [CLS] トークンと重複している可能性を示唆しています。

4. 主要な貢献

1. 再現性と一般化の検証: Darcet ら (2024) の主要な発見を再現しつつ、多様なモデル（DINO, OpenCLIP, DeiT3, PVT, Swin）とサイズにわたってその有効性と限界を明らかにしました。
2. 用語の整理と概念の明確化: 「アーティファクト」「アウトレイヤー」「高ノルムトークン」「アテンションマップ」「特徴マップ」という用語の定義を整理し、モデル間での誤解を招く可能性を排除しました。
3. アーキテクチャ依存性の発見: 高ノルムトークンの挙動（局所情報とグローバル情報の分担）が、ViT のアーキテクチャ（バニラ型 vs 階層型）によって根本的に異なることを初めて示しました。
4. 小規模モデルへの洞察: 高ノルムトークンの問題は大規模モデル特有のものではなく、小規模モデルでも発生しうることを示しました。

5. 意義と結論

本論文は、ViT におけるアーティファクト問題に対する「レジスタ」アプローチの有効性を支持しつつ、そのメカニズムがモデルのアーキテクチャに強く依存することを明らかにしました。

• レジスタはアーティファクトを解消する実用的な解決策ですが、その背後にある「なぜ高ノルムトークンが生まれるのか」という根本的な原因（冗長なパッチでの計算リソースの再割り当てなど）は、モデルの設計（ピラミッド構造、ウィンドウアテンションなど）によって異なることが示されました。
• 今後の研究では、単一の解決策を適用するのではなく、特定のアーキテクチャの帰納的バイアスを考慮した、より洗練されたトークン管理戦略が必要であることが示唆されています。

総じて、本論文は Vision Transformer の内部表現の理解を深め、解釈性の高いモデル設計に向けた重要な指針を提供しています。