技術概要：放物線位置符号化（PaPE）

問題提起

ビジョン・トランスフォーマー（ViT）はコンピュータ・ビジョンにおいて支配的な地位を築いているが、その位置符号化は自然言語処理（NLP）アーキテクチャから適応されることが多い。言語は本質的に 1 次元であり、幾何学的な方向に対してほとんど無関心であるのに対し、ビジョンモダリティ（画像、動画、イベントストリーム、ポイントクラウド）は明確な空間的特性を有している。既存の位置符号化の$n$次元ビジョン構造への適応は、並進不変性、回転不変性、距離減衰、方向性、文脈認識性といった特性を十分に考慮できていないことが多い。さらに、多くの現在の手法は、訓練時に経験した解像度よりもはるかに高い解像度への効果的な外挿に苦慮しており、多解像度シナリオにおける堅牢性と適用性を制限している。

手法：放物線位置符号化（PaPE）

著者らは、5 つの要約された設計原則に基づいてビジョンモダリティ専用に設計された位置符号化「放物線位置符号化（PaPE）」を提案する：

1. 並進不変性： 符号化はトークンの絶対座標ではなく、トークン間の相対位置に依存する。
2. 回転不変性（PaPE-RI）： 符号化が回転に対して不変となる特定のインスタンス（ただし、これは方向性の犠牲を伴う）。
3. 距離減衰： トークン間の距離が増加するにつれて、アテンション強度は減衰する。
4. 方向性： 符号化はトークン間の特定の方向（上、下、対角線など）を考慮する。これはビジョンにおいて重要であるが、1 次元の言語ではあまり関連しない。
5. 文脈認識性： 距離減衰と方向性の強さは、トークン自体の内容によって調整され、モデルが局所的な相互作用と長距離相互作用に適応することを可能にする。

数学的定式化

PaPE は、相対位置 $\Delta r_{ij} = W_p(r_j - r_i)$ を、$m$個の学習可能な放物線の和における従属変数としてモデル化する。アテンションスコア $S_{ij}$ は 3 つの成分に分解される：
$$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$$
ここで：

• $\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$ は距離減衰を符号化する。係数 $a_i$ は、トークン内容 $x_i$ から学習可能な射影と softplus 活性化（負号付き）を介して導出され、$a_i < 0$ となることを保証して凹性を強制する。
• $\langle b_i, \Delta r_{ij} \rangle$ は方向性を符号化する。係数 $b_i$ も $x_i$ から導出される。
• $\langle q_i, k_j \rangle$ は標準的な意味アテンションを表す。

回転不変バリアント（PaPE-RI）

回転不変性を達成するために、PaPE-RI は以下の制約を課す：$b_i = 0$（方向性の除去）、$a_i$ はスカラー $\alpha_i < 0$、射影行列 $W_p$ はスケーリングされた単位行列である。これにより、距離項は回転不変である二乗ユークリッド距離の関数に簡略化される。

効率的カーネルとの互換性

重要な技術的貢献として、完全な $N \times N$ アテンション行列を具体化することなく PaPE を計算可能にする、独立したクエリ変換（$f_q$）とキー変換（$f_k$）の導出がある。これにより、FlashAttention などの効率的なアテンションカーネルとの互換性が保証される。これらの変換は位置情報を直接クエリベクトルとキーベクトルに注入し、ヘッド次元を $p^2 + 2p + 2$（$p$ は空間次元）増加させる。$p=2$ または $p=3$ の場合、これは中程度のオーバーヘッドである。

主な貢献

1. 新規符号化： 並進/回転不変性、距離減衰、方向性、文脈認識性の組み合わせの原則から導出された、初の位置符号化である PaPE と PaPE-RI の導入。
2. 効率性： 独立したクエリ - キー変換を介して PaPE が効率的なアテンションカーネルと互換性があることを実証し、完全なアテンション行列の具体化という計算ボトルネックを回避。
3. 外挿性： 分類タスクにおいて PaPE が卓越した外挿能力を示すという証拠。追加の訓練や補間なしに、訓練解像度を大幅に超える解像度でも性能を維持。
4. 汎用性： 動画、イベントカメラ、画像、ポイントクラウドという 4 つのビジョンモダリティにまたがる 8 つのデータセットでの PaPE の検証により、最先端のベースラインと同等かそれ以上の性能を示すことを確認。

実験結果

分類タスクにおける外挿

ImageNet-1Kにおいて、$224^2$解像度で訓練されたモデルを、再訓練や位置補間なしに$1024^2$まで評価した。

• PaPEは$1024^2$で**74.9%の精度を達成し、次点のベースライン（LookHere）を10.5%**上回った（LookHere は 64.4%）。
• 対照的に、nD-sincos や RoPE 変種などの標準的なベースラインは、高解像度で著しい性能低下を被った。
• 著者らはこの成功を、モデルが動的に位置減衰に適応することを可能にする PaPE の文脈認識的な性質に帰因している。

汎用ビジョン位置符号化

8 つのデータセット（UCF101、DvsGesture、GEN1、ImageNet-1K、COCO、ScanNet、ModelNet40、nuScenes）にわたる評価は以下の結果をもたらした：

• 平均性能： PaPE は最高平均スコア（66.3）を達成し、次点の手法（RoPE）を 1.0 ポイント上回った。
• データセット勝利： PaPE は 5 つのデータセットで最良のベースラインと同等の性能を示し、2 つのデータセット（UCF101 と GEN1）ですべてのベースラインを上回った。
• 時空間データ： PaPE は UCF101（49.5% 対 RoPE の 43.9%）と GEN1 で特に顕著な改善を示し、その方向性と文脈認識性が高速移動物体やイベントベースのデータにとって重要であることを示唆している。
• ポイントクラウド： ScanNet において、PaPE は絶対符号化（nD-sincos）と比較して性能が劣った。これは、特徴的な絶対サイズを持つ屋内シーンにおいては、絶対位置情報が有益であることを示唆する。一方、ModelNet40（孤立した物体）では、並進不変な符号化が絶対的なものを上回った。

堅牢性と効率性

• 分布外（OOD）： PaPE は ImageNetV2 および ImageNet-Renditions においてベースラインよりも性能が低下することはなく、文脈認識性が一般化を害さないことを確認した。
• パラメータ一致： ベースラインを PaPE のパラメータ数に合わせるように調整した場合でも、PaPE はその性能優位性を維持し、その利益が単にモデル容量の増加によるものではないことを示している。
• 効率性： PaPE は中程度のリソース増加（$m=50$の場合、VRAM および FLOPS で 7〜20%）をもたらすが、標準的な効率的なアテンション実装との互換性は維持されている。

意義と主張

本論文は、PaPE が言語由来の符号化とビジョンの特定の幾何学的ニーズの間のギャップを埋める汎用ビジョン位置符号化であると主張している。

• 外挿性： 著者らは PaPE が「驚異的」な外挿性を提供すると主張しており、高解像度において次点の手法に対して絶対値で最大 10.5% の改善をもたらす。これは訓練コストの削減と堅牢な多解像度推論の実現にとって重要な要因である。
• 原則的な設計： 並進不変性、距離減衰、方向性、文脈認識性に対して明示的に設計することで、PaPE は以前の適応におけるビジョン特性の「不完全な」カバレッジに対処している。
• 汎用性： 2D 画像から 3D ポイントクラウドおよび非同期イベントストリームまで多様なモダリティにわたる結果は、PaPE がビジョン・トランスフォーマーのための統合された堅牢な解決策を提供し、位置符号化研究への新たな道を開くことを示唆している。

著者らは、ハイパーパラメータ $m$ に依存するパラメータ数とリソース使用量の中程度の増加という限界について率直に認めており、今後の研究では $m$ の削減や、PaPE を効率的なカーネルにより深く統合することに焦点を当てることができると提案している。