URoPE: 幾何学的空間全体にわたる汎用的な相対位置埋め込み（技術概要）

本論文は、Transformer における相対位置埋め込みの新たな手法「URoPE (Universal Relative Position Embedding)」を提案しています。既存の手法が 1 次元シーケンスや規則的な 2D/3D グリッドといった単一の幾何学的空間に限定されていたのに対し、URoPE は異なるカメラビュー間、あるいは 2D と 3D の異なる幾何学的空間間における位置関係のエンコーディングを可能にします。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義

Transformer は多視点知覚や生成タスク（新規視点合成、3D 物体検出など）において支配的なアーキテクチャとなっていますが、異なる視点、座標系、あるいは幾何学的モダリティ（2D 画像と 3D 点）に由来するトークン間の空間関係をエンコードする際に課題がありました。

• 既存手法の限界: 従来の Rotary Position Embedding (RoPE) は、シーケンスインデックス（1D）や画像グリッド位置（2D）に基づく単一の平坦な座標空間でのみ動作します。異なるカメラビュー間では、3D 空間で近接しているピクセルが、それぞれの 2D グリッド上では遠く離れている場合があり、単純なグリッド座標では幾何学的推論が困難です。
• 既存の幾何学対応手法の課題: プリュッカー光線埋め込みや行列積を用いた手法は存在しますが、絶対位置エンコーディングであるため一般化性に欠ける、グローバル座標系に依存する、あるいはカメラ間幾何と画像内空間位置が分離して扱われているなどの問題があります。

核心となる問い: 「あるカメラの光線上のキー（Key）トークンの 3D コンテンツが、クエリ（Query）トークンの画像のどこに現れるか？」を、抽象的な光線座標ではなく、明示的な射影幾何を用いてクエリ画像平面上で直接表現することです。

2. 手法 (Methodology)

URoPE は、RoPE を拡張し、異なる幾何学的空間間の対応関係を「クエリ画像平面」上の共通座標系で表現するパラメータフリーな手法です。

2.1 基本的なフロー

1. 深度アンカーによるリフティング (Depth-Anchored Lifting):
   キー（Key）トークン（ソースビューの画像パッチ）に対応するカメラ光線に沿って、事前に定義された固定の深度アンカー（$D = \{d_h\}$）の位置に 3D 点をサンプリングします。
   $$\mathbf{p}_i^h(u, v) = \mathbf{o}_i + d^h \cdot \mathbf{r}_i(u, v)$$
   ここで、$\mathbf{o}_i$ はカメラ中心、$\mathbf{r}_i$ は光線方向です。

2. クエリビューへの射影 (Projection):
   サンプリングされた 3D 点を、相対的なカメラ変換とクエリカメラの内部パラメータ（イントリンシクス）を用いて、クエリ画像平面に射影します。これにより、ソースピクセルがクエリ画像上で対応する可能性のあるピクセル座標（エピポーラ線上の点）が得られます。
   $$(u_{i\rightarrow j}^h, v_{i\rightarrow j}^h) = \text{Project}(\mathbf{p}_i^h)$$

3. 標準 2D RoPE の適用:
   クエリ位置 $(u', v')$ と、射影されたキー位置 $(u_{i\rightarrow j}^h, v_{i\rightarrow j}^h)$ に対して、標準的な 2D RoPE を適用します。これにより、幾何学的な相対位置バイアスが生成されます。

2.2 深度アンカー付きマルチヘッドアテンション

• 深度の曖昧性の解決: クロスビュー射影は本質的に深度が曖昧（エピポーラ線上に無限の点が存在）です。これを解決するため、異なるアテンションヘッド（またはヘッドグループ）に異なる固定深度アンカーを割り当てます。
• マルチヘッドの役割: 各ヘッドが異なる深度仮説をエンコードし、マルチヘッドアテンション全体として近距離から遠距離までの対応関係を網羅します。
• 実装の互換性: 各ヘッド内でチャネルを水平・垂直軸に分割し、標準的な 2D RoPE を適用するため、FlashAttention や RoPE 最適化カーネルと完全に互換性があります。

2.3 汎用性

• 単一ビューの場合: 同一ビュー内では射影が恒等写像となり、標準的な 2D RoPE に自然に退化します。
• 2D-3D 相互作用: 画像特徴と 3D クエリ間のクロスアテンションにおいても、画像平面への射影をスキップし、3D 空間での相対距離を直接 RoPE に適用することで拡張可能です。

3. 主要な貢献 (Key Contributions)

1. 汎用的な幾何位置エンコーディング: 特定のタスクに依存せず、新規視点合成、3D 物体検出・追跡、ステレオ深度推定など、多様な幾何学的タスク（2D-2D, 2D-3D, 時系列）に適用可能な統一されたフレームワークを提案しました。
2. パラメータフリーかつ内部パラメータ依存: 学習可能なパラメータを導入せず、カメラの内部パラメータ（焦点距離など）を明示的に利用することで、グローバル座標系に不変（SE(3) 不変）でありながら、正確な幾何学的関係性を捉えます。
3. 既存インフラとの完全互換性: 標準的な Q/K/V 乗算形式を維持し、RoPE 最適化されたアテンションカーネル（FlashAttention など）とそのまま統合可能です。
4. 深さアンカー付きマルチヘッド機構: 学習なしで深度情報をエンコードする効率的なメカニズムを設計し、マルチヘッドの崩壊（Multi-head collapse）を防ぎつつ、多深度の対応関係を表現します。

4. 実験結果 (Results)

URoPE は以下の 3 つの主要タスクで、既存の位置埋め込み手法（Plücker 光線、P-RoPE、RayRoPE など）を凌駕する性能を示しました。

• 新規視点合成 (Novel View Synthesis):
  • データセット：Objaverse, RealEstate10k
  • 結果：PSNR、SSIM、LPIPS 全ての指標で最良の性能を達成。特に異なる焦点距離を持つカメラ設定や、大規模で複雑な幾何形状を持つシーンにおいて、URoPE は微細なディテールのレンダリング能力を向上させました。
• 3D 物体検出・追跡 (3D Object Detection & Tracking):
  • データセット：nuScenes
  • 結果：PETR および StreamPETR 基盤モデルにおいて、NDS（nuScenes Detection Score）と mAP、AMOTA（追跡精度）が向上。URoPE は 2D 画像特徴を 3D 空間へ明示的に対応付けることで、小型物体の検出や、高速な自己運動を含むマルチフレームシーケンスでの追跡ロバスト性を高めました。
• ステレオ深度推定 (Stereo Depth Estimation):
  • データセット：RGBD, Scenes11, SUN3D
  • 結果：UniMatch 基盤モデルにおいて、Abs Rel や RMSE などの指標で改善。単純なステレオ設定であっても、明示的な射影による幾何的制約の導入が有効であることを示しました。

追加分析:

• スケーラビリティ: 計算リソースを 50 倍に拡大した実験でも性能が向上し、URoPE のスケーラビリティが確認されました。
• 分布外汎化 (OOD): 訓練時に使用しなかった焦点距離や、異なる数のコンテキストビューに対してもロバストな性能を維持しました。
• マルチヘッドの崩壊: 深度アンカーをヘッドごとに割り当てても、アテンションスコアのエントロピーが高く保たれており、特定のヘッドのみが支配的になる「マルチヘッド崩壊」は発生しませんでした。

5. 意義と結論

URoPE は、Transformer における位置エンコーディングの課題に対し、幾何学的推論を「共通の画像座標系」に帰着させることで解決する画期的なアプローチです。

• 理論的意義: 異なる幾何空間（2D/3D、複数ビュー）間の相対位置を、学習パラメータなしで、かつ RoPE の利点（長さの外挿性、一般化性）を維持しながら表現できることを実証しました。
• 実用的意義: 既存の Transformer モデルにプラグインとして容易に導入でき、カメラ幾何を利用するあらゆるコンピュータビジョンタスクの性能向上に寄与します。
• 今後の展望: 現在、カメラパラメータの既知を前提としていますが、将来の研究ではキャリブレーションされていない（未較正）設定への拡張が有望な方向性として挙げられています。

総じて、URoPE は幾何学的推論を必要とする Transformer ベースのモデルにとって、標準的な位置エンコーディングとして機能しうる汎用的な基盤技術です。