技術要約：Vision Transformerにおけるパッチ・グリッドの不安定性に対する位相周辺化（Phase Marginalization）

1. 問題提起：パッチ・グリッドの位相不安定性

Vision Transformer (ViT) は、画像をトークン列に変換するために固定されたパッチ化プロセスに依存している。これにより、離散的な空間的位相（spatial phase）が導入される。すなわち、画像座標系に対するパッチ・グリッドの配置（アライメント）によって、どのピクセルがどのトークンに割り当てられるかが決定される。本論文は、このパッチ・グリッドの位相（patch-grid phase）を、高密度予測タスク（セグメンテーション、深度推定、ローカルマッチングなど）において位相依存の不安定性を引き起こす「妨害変数（nuisance variable）」として特定している。

具体的には、パッチ・グリッドを数ピクセルずらす（位相オフセット $\phi$）ことで、モデルが利用できるトークンのエビデンスが変化する場合がある。これは、隣接するピクセルが異なるクラスや深度に属する意味的な境界付近で顕著である。モデルの密度予測がパッチ・グリッドのシフトによって大きく変化する場合、そのモデルは不安定性を露呈していると言える。これは、一般的な画像摂動（ノイズや回転など）とは異なり、非重複パッチ・トークナイゼーションに固有の、アーキテクチャ的な量子化アーティファクトである。

2. 手法：位相周辺化（Phase Marginalization）

本論文では、バックボーンの変更や再学習を行うことなく、この不安定性を緩和するために設計された、事後的な（post-hoc）、学習不要の推論ラッパーである**位相周辺化（Phase-Marginalization）**を提案している。

コアメカニズム

本手法は、パッチ・グリッドの位相を周辺化すべき変数として扱う。単一の標準的なグリッド（$\phi = (0,0)$）を用いた単一のフォワードパスではなく、構造化された一連の位相オフセット $\Phi_K = \{\phi_1, \dots, \phi_K\}$ の下で画像を評価する。

1. 位相シフト（Phase Shifting）: 各位相 $\phi_k$ に対して、入力画像に対して位相シフト演算子 $S_{\phi_k}$（反射パディングとクロッピングを含む）を適用し、パッチ・グリッドをシフトさせる。
2. 推論（Inference）: 固定されたViTエンコーダと高密度ヘッド（dense head）が、各位相に対してロジットマップ $z_{\phi_k}$ を生成する。
3. 逆アライメント（Inverse Alignment）: 各出力は、逆アライメント演算子 $A^{-1}_{\phi_k}$ を用いて元の画像座標系へとマッピングされる。これには、リシェイプ、バイリニア・アップサンプリング（align-corners=Falseを使用）、および元の解像度を復元するためのクロッピングが含まれる。
4. 集計（Aggregation）: アライメントされたロジットを平均化して、最終的な予測を得る：
   $$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$$

主要なバリアント：一様位相周辺化（Uniform Phase Marginalization）

中心的な貢献は、$K=4$ とした一様位相周辺化である。パッチサイズ $P$ が偶数の場合、本手法はサブパッチ位相空間の4つの標準的な象限をサンプリングする：
$$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$$
このアプローチは、計算量としては4回のフォワードパスを行うテスト時拡張（TTA）アンサンブルと同等であるが、一般的な画像変換ではなく、パッチ・グリッドのアライメントという特定の妨害変数をサンプリングしている。

二次的バリアント（監査用）

論文では、二次的な監査として、以下の学習型および適応型バリアントについても評価を行っている：

• 学習型位相特徴アテンション（Learned Phase-Feature Attention）: 局所的な分散に基づいて位相固有の特徴に重み付けを行う学習済みモジュール。
• 部分的エンコーダ・チューニング（Partial Encoder Tuning）: 位相アテンションを用いつつ、最後のエンコーダブロックの重みを解放する。
• Transformer前平均化（Pre-Transformer Averaging）: 自己注意（self-attention）の前にパッチ埋め込みを平均化する（負のデザインバリアント）。
• 深度特化型融合（Depth-Specific Fusion）: 残差補正を伴う深度推定用にカスタマイズされたバリアント。
  これらは、主要な提案手法ではなく、探索的な比較として提示されている。

3. 主な貢献

1. 現象の定義: パッチ・グリッドの位相不安定性を、CNNにおける一般的なシフト・エイリアシングとは区別される、高密度ViT予測における測定可能な妨害変数として形式的に定義した。
2. 手法の提案: 構造化されたパッチ・グリッドの位相にわたって予測を集計する、学習不要で事後的な手順である一様位相周辺化を導入した。
3. 実証的証拠: セグメンテーション、深度推定、およびローカル特徴マッチングの各タスクにおいて、標準的な $K=1$ のベースラインを一貫して上回る改善を示した。
4. 制御された比較: 計算量を一致させた比較対象として、一般的なシフトベースのTTAとの比較、および $K=4, 8, 16$ のスケーリング研究を行い、$K=4$ が実用的なコスト・精度・トレードオフであることを確立した。

4. 実験結果

本手法は、セマンティック・セグメンテーション（GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K）、深度推定（NYU Depth v2）、およびローカル特徴マッチング（HPatches）において評価された。

• 性能向上: 一様位相周辺化（$K=4$）は、測定されたすべての設定において $K=1$ のベースラインを上回った。
  • セグメンテーション: ADE20Kおよびクロスドメイン設定（例：GTA5→Cityscapesで +0.82 mIoU）において、+0.76 から +1.39 mIoU の向上を実現した。
  • 深度: NYU Depth v2 において、RMSEを 0.6506 から 0.6277 に低減した。
  • マッチング: HPatches において精度が向上した（例：DINOv2 で +3.75%）。
• TTAとの比較: 4回のフォワードパスの予算を一致させたCityscapesの制御実験において、一様位相周辺化は、一般的な行ベースのシフトTTAに対して、わずかな優位性（+0.31 mIoU）を示した。これは、パッチ・グリッドの位相を具体的にサンプリングすることが、一般的な画像のシフトよりも効果的であることを示唆している。
• スケーリング研究: $K$ を4以上に増やしても、収穫逓減が見られた。$K=8$ では実質的な変化がなく、$K=16$ では大幅なレイテンシの増加に対して精度の向上は乏しかった。これにより、$K=4$ が実用的なデフォルトであることが検証された。

5. 意義と主張

本論文は、パッチ・グリッドの位相を、アーキテクチャの再設計なしに軽減できる、ViTにおける不安定性の測定可能なソースとして位置づけている。

• 診断的有用性: 本手法は単純な診断ツールとして機能する。高い位相分散は、モデルの予測が任意のグリッド・アライメントに対して敏感であることを示す。
• 実用的なベースライン: 「単純な診断および事後的周辺化のベースライン」を提供している。
• 展開: Swin、PVT、または重複パッチといったアーキテクチャの再設計や新しい学習レジームを必要とする解決策とは異なり、位相周辺化は、凍結されたバックボーン（DINOスタイルのモデルなど）と互換性のある軽量な推論ラッパーである。

著者らは控えめなトーンを維持しており、本手法をアーキテクチャ革新の代替物としてではなく、既存の高密度予測パイプラインにおける堅牢性と汎用性を向上させるための、特定の量子化アーティファクトに対する必要な修正として位置づけている。