技術的概要：アナロジカル・トラジェクトリ転送

問題定義

本論文は、ある 3D 環境（ソースシーン）で観測された運動トラジェクトリを、別の 3D 環境（ターゲットシーン）の意味的に類似した位置へ転送することを目的とした「アナロジカル・トラジェクトリ転送」タスクを導入する。核心的な課題は、意味的に類似したシーン（例：2 つの異なるキッチン）であっても、物体の配置、スケール、レイアウトにおいて著しい変動が見られるという事実にある。単純な意味的マッチングアプローチは、幾何学的な歪みや衝突（例：テーブルを意図したトラジェクトリ上の点を、ターゲットシーンでは壁が占める位置にマッピングすること）を頻繁に引き起こす。

本問題は、以下の条件を維持するマッピングの発見を要求する：

1. 機能的意図：トラジェクトリは、新しいシーンにおいて同じ意味的動作（例：「冷蔵庫へ歩く」）を実行しなければならない。
2. 幾何学的制約：転送された経路は、ターゲットシーンの自由空間内で衝突がなく、移動可能でなければならない。
3. 空間的一貫性：トラジェクトリ点の相対的な順序と相互作用（特にマルチエージェントシナリオにおいて）は、トラジェクトリを破断することなく維持されなければならない。

著者らは、既存のアプローチ（トラジェクトリ入力から直接トラジェクトリ出力を予測するためのニューラルネットワークのトレーニングなど）は、教師信号となる真のトラジェクトリ対の欠如によって阻害されていると指摘している。さらに、多くのロボティクスおよび AR/VR アプリケーションは、応答性の高いインタラクションをサポートするために、高速かつトレーニング不要な推論を必要とする。

手法

提案される解決策は、物体と開放空間に関する豊富な文脈情報を符号化するために 3D ファウンデーションモデル特徴（具体的には Sonata 特徴 [Wu et al., 2025]）を利用する、階層的かつトレーニング不要なフレームワークである。本手法は主に 4 つの段階で動作する：

1. 物体クラスターマッチングと領域伝播

個々の点や物体を直接マッチングする代わりに、本手法はシーンを物体中心のクラスターに分割する。

• グラフ構築：シーンは、ノードが物体インスタンス（重心と平均化された 3D ファウンデーション特徴）であり、エッジがユークリッド距離を表す物体グラフとして表現される。
• クラスタリング：凝集クラスタリングが、空間的近接性に基づいて物体をクラスターにグループ化する。
• グラフマッチング：グラフマッチングアルゴリズムが、ノード特徴とエッジの互換性を比較することで、ソースシーンとターゲットシーン間のクラスターを整合させる。これにより、ソースクラスターからターゲットクラスターへのソフト割り当てが得られる。
• 伝播：クラスターラベルは、最も近いクラスター重心に割り当てられる開放空間の点を含む、完全な点群全体に伝播され、密な点ごとのラベリングが作成される。

2. クラスターごとの滑らかなマップ適合

各マッチングされたクラスターペアに対して、本手法は候補となる滑らかなマップのセットを推定する。

• 候補生成：物体の重心とバウンディングボックスの比率に基づき、剛体変換（回転、反射、並進）が列挙される。
• 非剛体 refinement：各剛体変換に対して、ソースクラスターの点をターゲットシーンにマッピングするために**スリムプレートスプライン（TPS）**が適合される。
• スコアリング：候補は、変形されたソース点の 3D ファウンデーションモデル特徴と、ターゲットクラスター内のその最近傍との間の不一致に基づいてスコア付けされる。上位 M 個のマップが保持される。

3. グローバルマップ構成

グローバルな一貫性を確保するために、本手法はクラスターごとのマップの最適な組み合わせを選択するための組み合わせ探索を行う。

• 最適化：ビーム探索が、以下のコスト関数を最小化する：
  • 特徴コスト：選択されたマップの意味的一貫性。
  • 歪みコスト：クラスター間距離の保持。
  • 移動可能性コスト：マッピングされた点がターゲットシーンの移動可能領域（開放空間）内に収まることの確保。
• グローバルマップ：選択されたクラスターごとのマップはマージされ、シーン全体をカバーする単一のグローバル滑らかなマップ（$\phi_{global}$）に適合される。

4. トラジェクトリ転送と refinement

グローバルマップがソーストラジェクトリに適用され、初期転送が生成される。

• 密な転送：完全なトラジェクトリが $\phi_{global}$ 経由で変形される。
• 経由点転送：疎な経由点のみが変形され、それらの間の経路は古典的な A* プランニングによって生成される。
• refinement：初期転送は、以下の事項をペナルティとするコスト関数を最小化するために勾配降下法によって refinement される：
  • 元のエッジ長からの逸脱（形状保持）。
  • 初期変形位置からの距離（アンカー）。
  • 障害物への近接（移動可能性）。
  • ターゲットシーンとの特徴の不一致（意味的一貫性）。

主要な貢献

1. タスク定式化：本論文は、多様な 3D 環境間で構造化されたシーン依存のアクティビティを転送する際のギャップに対処するアナロジカル・トラジェクトリ転送タスクを定義する。
2. 階層的フレームワーク：シーンを物体中心のクラスターに分割し、局所的な滑らかなマップを解き、それらをグローバルに構成するという分割統治戦略を提案する。このアプローチは、シーン間マッピングに内在する大規模な探索空間を効果的に管理する。
3. トレーニング不要の効率性：本手法は、追加のタスク固有のトレーニングなしで事前学習された 3D ファウンデーションモデルを利用し、インタラクティブなアプリケーションに適した高速な推論時間（約 0.6 秒）を達成する。
4. 頑健性：3D ファウンデーションモデル特徴を活用することで、本手法はセンサーノイズ、欠落幾何、ドメインギャップ（例：合成から実世界への転送）に対して頑健であることを示す。

実験結果

本手法は、合成データである3D-FRONTと、実世界のノイズを含むスキャンであるARKitScenes（クロスドメインペアを含む）で評価された。

• 性能：提案手法は、LLM、VLM、シーングラフ、および既存のアナロジカル推論手法に基づくベースラインを、複数の指標で上回る：
  • トラジェクトリ AED（平均ユークリッド距離）：真値と比較して低い誤差。
  • インライア比率：有効な距離閾値内のトラジェクトリ点の割合が高い。
  • 衝突比率：ベースラインと比較して障害物との衝突が著しく少ない。
  • 特徴距離：意味的文脈のより良い保持。
• 実行時間：本手法は A6000 GPU 上で約0.6 秒で動作し、LLM ベースのベースラインよりも著しく高速である。
• アブレーション研究：実験により、物体レベルまたは 2D 特徴よりもシーンレベルの 3D ファウンデーション特徴（Sonata）を使用することが優れていることが確認された。物体グラフクラスタリングまたはトラジェクトリ refinement ステップを除去すると、性能が低下する。

意義と応用

著者らは、この研究をアナロジカル空間推論の基礎的なステップとして位置づけ、機械が構造化されたアクティビティを未見の環境へ一般化することを可能にする。本論文は、以下の具体的な応用を強調している：

• シミュレーションから実世界へのロボット運動転送：合成環境からの人間の運動デモンストレーションを実世界のロボット軌道へ転送し、移動ロボットトレーニングのためのドメインギャップを埋める。
• 仮想共在：複数の異なる物理的シーンからのトラジェクトリを、単一の共有された仮想参照シーンへ転送し、別々の場所にいる参加者が共通の空間で相互作用することを可能にする。
• AR/VR コンテンツ作成：新しい仮想環境におけるマルチエージェントアクティビティの再ステージングを容易にする。
• カメラトラジェクトリ転送：自動化された家屋ツアーやスキャン計画のために、異なる環境間で類似の文脈情報を捉えるカメラ走査経路を生成する。

本論文は、現在のアプローチが静的なシーンペアと類似した意味タイプを処理するものであるが、3D 環境における複雑で順序が重要な相互作用を転送するための、スケーラブルかつトレーニング不要のパイプラインを提供すると結論付けている。