技術要約: OneCanvas: パノラマ再投影による3Dシーン理解

問題提起

既存の視覚言語モデル（VLM）は、3Dシーン理解、特に状況に応じた推論（例：「椅子はドアからどのくらい離れていますか？」や「この視点からは何が見えますか？」など）において困難に直面しています。現在のアプローチは通常、以下の2つのカテゴリーに分類されますが、そのどちらも多大なコストを伴います：

1. アーキテクチャの複雑性: 事前学習済みの2D VLMに、専用の幾何学エンコーダー（例：ポイントクラウド・トークナイザー、深度条件付きエンコーダー）や複雑な融合モジュールを付加する手法。これらは、新しい幾何学的コンポーネントと言語バックボーンを整合させるために、大規模な共同学習を必要とします。
2. データのスケーリング: 幾何学的推論を教えるために、空間的な質疑応答のペアを含む膨大なキュレーション済みデータセットに依存する手法。

最近の監査によれば、これらの適応を行ったとしても、多くのモデルは幾何学的な入力に対して真に推論しているのではなく、質問テンプレートやシーンクラスの統計的な規則性に依存していることが示唆されています。さらに、これらの手法は統一された空間座標系を持たずにフレーム間で部分的にシーンを処理することが多く、特定の視点からの状況に応じた推論を困難にしています。

手法: OneCanvas

OneCanvasは、3Dシーン理解を、単一のパノラマ・キャンバス上での2D空間推論として再定義します。本手法は、VLMのアーキテクチャを変更したり、補助的な損失項を追加したりすることを回避します。代わりに、マルチビューRGB-Dデータを、事前学習済みのVLMが標準的な画像として取り込める表現へと変換します。

1. 特徴抽出と3Dリフティング

$K$ 個のポーズ付きRGB画像 $\{I_k\}$、メトリック深度マップ $\{D_k\}$、およびカメラ内部パラメータが与えられたとき：

• 凍結されたビジョンエンコーダー（Qwen3-VL）が、各ビューからパッチレベルの特徴 $F_k$ を抽出します。
• 各パッチ $(u, v)$ は、深度 $z$、カメラ内部パラメータ、およびカメラのワールド座標へのポーズ $T_k$ を用いて、3Dワールド座標 $p_{world}$ へと「リフトアップ」されます。
• これにより、リフトアップされたパッチの集合 $P = \{(p_i, f_i, t_i)\}$ が得られます。ここで、$p_i$ は3Dワールド座標、$f_i$ は特徴量、$t_i$ はソースフレームのインデックスです。

2. パノラマ再投影

リフトアップされたパッチは、選択された原点 $c$ と方向 $R$ によって定義される正距円筒図法（エキレクタングラー）パノラマ・キャンバス上に集約されます。

• 連続的な配置: 重複するパッチを平均化したり選択したりするラスタライズ手法とは異なり、OneCanvasは各パッチを、キャンバス上の連続的な角度位置（経度 $\theta$ および緯度 $\phi$）に配置します。同じ場所に位置するパッチも個別のトークンとして保持されます。
• 位置エンコーディング: VLM固有の3D回転位置エンコーディング（3D-RoPE）が使用されます。ここでは、空間次元は連続的な経度と緯度に対応し、時間次元はソースフレームのインデックスに対応します。
• 3D位置エンコーディング: 3D座標を角度ベースのキャンバス位置に圧縮した際に失われるメトリック深度を復元するため、各パッチの特徴に3D位置エンコーディングが追加されます。このエンコーディングは、軸方向の正弦波エンコーディング、放射状のプリミティブ、および単位方向ベクトルを用いて、キャンバスフレーム内でのメトリックオフセット $(q_x, q_y, q_z)$ を符号化します。これにより、VLMは標準的なアテンションメカニズムを通じてメトリックなスケール情報にアクセスできるようになります。

3. 2段階の学習

本手法は、幾何学をダウンストリームのQAのみから学習することの難しさを克服するために、2段階の学習パイプラインを採用しています。

• ステージ1: 空間事前学習カリキュラム: オブジェクトの特徴（実画像から抽出）を、空のキャンバス上の特定の3D座標に配置する、プロシージャルに生成されたカリキュラムを用いてモデルを訓練します。タスクには、メトリック測定、自己中心的な方向、ナビゲーション、可観測性、カウント、およびバウンディングボックスの読み取りが含まれます。このステージにより、モデルはシーン固有の事前知識やクラスのアイデンティティによるショートカットに頼ることなく、幾何学的推論を学習することを強制されます。
• ステージ2: ターゲット適応: ステージ1の重みをベースモデルにマージします。その後、ダウンストリームの空間QAデータセット（SQA3D、VSI-Bench、ViCA）に対して、より低ランクのLoRAアダプターを学習させ、幾何学的推論スキルを現実世界のシーン分布に適応させます。

主な貢献

1. パノラマ特徴再投影: 全ビューのパッチ特徴を単一の正距円筒図法パノラマ・キャンバスに集約するメカニズム。これはVLMの事前学習済み形式と一致しており、アーキテクチャの変更を必要とせず、状況に応じた推論のための柔軟なキャンバス原点をサポートします。
2. 空間事前学習カリキュラム: パノラマ表現によって可能となった新しい学習戦略。パッチ特徴を空のキャンバス上にプロシージャルに配置することで、多様な空間タスクに対するオンザフライの教師信号を生成し、回答分布を制御することで、データセットの統計的ショートカットを効果的に抑制します。

結果

OneCanvasは、競合する手法よりも大幅に少ない学習計算量を用いながら、主要な3D空間推論ベンチマークにおいて最先端の性能を達成しました。

• SQA3D: 65.3 EM@1を達成（従来最高を2.3ポイント上回る）。特に、状況に応じた推論をテストする「Which（どれ）」および「Can（できるか）」型の質問において顕著な向上が見られました。
• VSI-Bench: 平均精度70.1を達成し、ルートプランニングと部屋のサイズ推定でリードしました。
• SPBench: ゼロショット総合精度72.1を達成（次点のモデルを4.8ポイント上回る）。これは、分布外データに対する強い汎化性能を示しています。
• 効率性: 競合する強力な手法（例：SenseNova-SIの約27,648 A100相当GPU時間）と比較して、桁違いに少ない学習計算量（約290 A100相当GPU時間）を使用しています。

アブレーション研究により、パノラマ再投影と空間事前学習カリキュラムの両方が極めて重要であり、特にメトリック推論やマルチステップのナビゲーションを必要とするタスクにおいて重要であることが確認されました。

意義と限界

本論文は、入力表現がVLMの事前学習された能力と一致するように構造化されていれば、複雑な幾何学エンコーダーや大規模なキュレーション済みデータセットなしでも、高品質な3Dシーン理解が可能であることを示しています。マルチビューデータを単一の空間座標系に統合し、メトリック位置エンコーディングを明示的に注入することで、本手法はVLMがネイティブのアテンションメカニズムを使用して3D空間を推論することを可能にします。

限界:

• 深度とポーズへの依存: 本手法はメトリック深度とカメラポーズを必要とします。これは純粋なRGBのみの手法が回避している点です。フィードフォワードの再構成によってこれらを推定できますが、誤差がキャンバスの品質を低下させる可能性があります。
• グローバル・パノラマのトレードオフ: シーンを単一のグローバル・パノラマとして表現することは、微細な空間精度を犠牲にしてコンパクトさを優先することになり、非常に大規模なシーンや屋外シーンでの性能を制限する可能性があります。
• カリキュラム設計: 事前学習カリキュラムは手動で作成されています。質的に新しい空間スキルを導入するには、単にデータを増やすのではなく、新しいタスクジェネレーターを記述する必要があります。
• バックボーンの要件: 本手法は、経度と緯度を保持するために少なくとも2D位置エンコーディング（例：マルチ軸RoPE）を持つバックボンドを前提としており、これは1D位置モデルには当てはまらない可能性があります。