技術要約：位置エンコーディングはVision Transformerにおける空間構造を固定する

問題提起

Vision Transformer（ViT）には、畳み込みニューラルネットワークに見られる局所性や並進等変性の帰納バイアスが備わっていない。その結果、モデルはトークンをその位置に基づいて区別するために、**位置エンコーディング（PEs）**を用いて空間情報を注入することに依存している。しかし、PEの機能的な役割は依然として曖昧である。先行研究では、PEを削除または劣化させてもViTは相当なパフォーマンスを維持できることが示されており、これは空間構造がパッチの内容のみから部分的に創発できることを示唆している。

これは中心的な謎を生じさせる。もし明示的な位置ガイダンスなしに空間構造が生じ得るならば、PEの具体的な役割は何なのか？既存の研究は、主にダウンストリームの性能比較やアーキテクチャのバリエーションを通じてこれに対処してきたが、内部表現の幾何学へのPEのメカニズム的な影響、および分布シフトに対する堅牢性との具体的な関係については、ほとんど未探索のままである。

手法

著者らは、幾何学的な観点から、PEがトランスフォーマーのスタック全体でどのようにトークン表現を形成するかを分析する手法を採用している。この手法は、以下の3つのコアコンポーネントに基づいている。

1. 空間的類似度距離相関（SSDT: Spatial Similarity Distance Correlation）:
   空間構造を定量化するために導入された新しい指標。SSDTは、トークン間の類似度行列（$S$）と負の空間距離行列（$D$）の間のスペアマン順位相関係数を計算する。
   $$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$$
   SSDCの値が高いほど、空間的に近接したトークン同士の表現がより類似していることを示す。著者らは、SSDCを特定のメカニズムの絶対的な尺度としてではなく、深さによる変化や介入に対する感度を追跡するための比較的なプロキシとして使用している。

2. 置換介入（Permutation Interventions）:
   インデックスベース（トークンの位置に固定されている）とコンテンツベース（視覚的パッチの内容に駆動される）の空間組織化を区別するために、著者らは2つの介入を用いる。

   • 推論時のランダム置換（RPI: Random Permutation at Inference）: 推論時にトークンの順序をシャッフルするが、位置インデックスは固定したままにする。これにより、トークンの内容と空間的位置の間のリンクを断ち切る。もし空間構造が存続すれば、それはインデックスに固定されており、もし崩壊すれば、それはコンテンツ駆動型である。
   • 学習時のランダム置換（RPT: Random Permutation Training）: 学習中の各フォワードパスにおいてトークンをシャッフルするが、PEは元のインデックスに対して固定されたままにする。これにより、モデルが一貫したインデックスと位置のマッピングを学習することを防ぎ、安定した位置参照フレームを事実上破壊する。

3. 堅牢性の評価:
   著者らは、コンテンツを撹乱する分布シフト（JPEG圧縮およびガウスぼかし）の下で、**脆弱性スコア（FS: Fragility Score）**を用いてモデルを評価する。FSは、精度の相対的な低下（$1 - A_{shift}/A_{normal}$）として定義される。

4. 位置スケーリング（Positional Scaling）:
   空間組織化と堅牢性の因果関係を調査するため、学習された絶対位置エンコーディング（APE）の大きさを、推論時に因子 $\alpha \in [0, 1]$ によってスケーリングする。これにより、再学習を行うことなく、インデックスベースの空間信号を連続的に劣化させることが可能になる。

主な貢献と結果

1. PEなしでのコンテンツ駆動型構造の創発

PEなしで訓練されたモデル（アブレーションモデル）においても、訓練中に非自明な空間構造が創発する。しかし、この構造はコンテンツ駆動型である。RPIの下では、アブレーションモデルのSSDTはすべてのレイヤーでゼロ近くまで崩壊する。これは、それらの空間組織化が完全にパッチの内容に依存しており、コンテンツと位置の対応関係が崩れると失敗することを示している。

2. PEはインデックスに固定された空間組織化を誘導する

PE（学習された絶対位置エンコーディング、正弦波、またはRoPE）を用いて訓練されたモデルは、明確なインデックスに固定された空間組織化へのシフトを示す。

• RPIの下では、これらのモデルは大幅なSSDCの回復を示し、パッチの内容が置換されても、表現が部分的にトークンインデックスに固定されていることを示している。
• 深さ方向の軌跡: すべてのPEタイプがこのシフトを誘発するが、構造がどのように発達するかは異なる：
  • APEおよび正弦波: 初期のレイヤーでSSDCの急速な増加を示し、加算的な信号を介して初期に空間構造が注入されることを示唆している。
  • RoPE: 深さに応じて構造が漸進的かつ連続的に蓄積される様子を示し、これはアテンションメカニズムへの乗法的統合と一致している。

3. 安定した参照フレームの重要性

本研究は、安定した位置参照フレームの存在こそが、特定のエンコーディングメカニズムではなく、堅牢性の決定的な要因であることを示している。

• RPTモデル: PEが存在しているにもかかわらず、RPT（インデックスと位置のマッピングが一貫しない）で訓練されたモデルは、RPIの下でSSDCを回復できず、アブレーションモデルと同様の脆弱性スコアを示す。
• 結論: PEが存在するだけでは不十分であり、モデルは堅牢性を達成するために、トークンインデックスと空間的位置の間の一貫したマッピングを学習する必要がある。

4. インデックスベースの組織化と堅牢性の相関

インデックスベースの空間組織化の安定性と、コンテンツを撹乱するシフトに対する堅牢性の間には強い相関がある：

• 脆弱性スコア: 安定したインデックス固定型の組織化を持つモデル（APE、正弦波、RoPE）は、アブレーションモデルやRPTモデル（脆弱性 $\sim 0.66$）よりも、JPEG圧縮（脆弱性 $\sim 0.30–0.43$）に対して有意に堅牢である。
• 二次的な差異: すべてのPEベースのモデルは堅牢であるが、RoPEが一貫して最も低い脆弱性を達成しており、これはエンコーディングメカニズムが（おそらく漸進的な深さ方向の統合により）二次的な役割を果たしていることを示唆している。
• スケーリング実験: APEの大きさ（$\alpha$）を減少させると、$\Delta SSDC$（空間構造の回復）が崩壊し、脆弱性が急激に上昇する。空間組織化が完全に破壊されるまで（$\alpha \le 0.4$）、脆弱性はプラトーに達する。これは、堅牢性の低下が空間構造の喪失を追跡していることを裏付けている。

意義と主張

本論文は、Vision Transformerにおける位置エンコーディングの機能に関する幾何学的説明を提供している。著者らは以下のように主張している：

1. 堅牢性は参照フレームに依存する: コンテンツを撹乱するシフトに対する堅縛性の主要な要因は、特定の数学的な形式（学習されたものか固定されたものか、加算的か乗法的か）ではなく、安定したインデックスに固定された空間組織化の確立である。
2. 介入に基づく証拠: 空間組織化と堅牢性の関係は、制御された介入（RPI、RPT、スケーリング）を通じて特定された。著者らは、証拠は強力であるが、それは関係性を特定したものであり、厳密に孤立した因果メカニズムを特定したものではないと明記している。
3. 設計への示唆: 将来のエンコーディングスキームは、一貫した位置参照フレームを確立する能力を優先すべきである。特定のエンコーディングメカニズムよりも、学習中のインデックスと位置のマッピングの安定性の方が重要である。

著者らは、これらの知見がImageNet-100でゼロから訓練されたViT-Sモデルに基づいていることを踏まえ、汎用性については慎重な姿勢を保っており、堅牢性の評価はコンテンツを撹乱する摂動に特化したものであり、敵対的なシフトや意味的な分布の変化には必ずしも拡張されない可能性があると述べている。