技術要約：点付着型セマンティクスを超えて

問題提起

汎用的なロボット操作には、機能的なオブジェクトパーツ（ハンドル、ツールの先端、開口部など）に関する安定した3D理解が必要です。生のポイントクラウドは幾何学的なデータを提供しますが、明示的なパーツのセマンティクス（意味論）を欠いており、サンプリングされた点は、視点やセンサー構成、オブジェクトのインスタンスによって大きく変動します。既存のアプローチは、2D特徴量をリフトアップしたり、離散的な3Dポイントごとの特徴量を予測したりすることで、ポイントクラウドにセマンティクスを付加しようと試みています。しかし、これらの手法は、結果として得られるセマンティック特徴量が観測依存のサンプルに付着しているという決定的な限界を抱えています。その結果、視点やサンプリングノイズによって生のポイント分布が変化すると、ポリシーに提示されるセマンティック表現も変化してしまい、ポリシーはデモンストレーションからタスクに関連するパーツやインスタンス間の対応関係を推論しなければならなくなります。

手法

著者らは、オブジェクトのコンディショニングとセマンティックな読み出しを分離する、オブジェクト中心の連続的なセマンティックフィールドを提案しています。観測されたセンサーポイントに特徴量を付着させる代わりに、本手法では、観測されたオブジェクトのポイントクラウドを幾何学的な条件として使用し、明示的な3D位置に対してセマンティック埋め込みをクエリします。

コアアーキテクチャ

1. サポートエンコーディング（Support Encoding）: 現在のオブジェクトインスタンスを表すサポートポイント集合（$P_{sup}$）に対し、学習済みで凍結された3Dバックボーン（Utonia）が幾何学的特徴を抽出します。これらは軽量なアダプターを介してセマンティックフィールド空間へとマッピングされます。
2. トライプレーン特徴キャッシュ（Tri-Plane Feature Cache）: 適応されたサポート特徴量は、オブジェクトごとに構築される、オブジェクト条件付きのトライプレーンキャッシュ（$T_{obj}$）へと集約されます。これは3つの2D特徴マップ（$xy, xz, yz$投影）とグローバル特徴ベクトルで構成されます。このキャッシュは各オブジェクトインスタンスに対して個別に構築されます。
3. クエリデコーディング（Query Decoding）: 明示的な3Dクエリ位置（$x$）において、モデルはクエリをトライプレーン上に投影し、バイリニア補間によって特徴量をサンプリングし、それらをグローバル特徴および正規化された座標と融合させます。デコーダネットワークは以下を出力します：
   • $L_2$正規化されたセマンティック埋め込み（$e_x$）。
   • 訓練時の教師あり学習にのみ使用されるパーツロジット（$\ell_x$）。

学習目的

このフィールドは、PartNextによるパーツ注釈付きオブジェクトモデルを用いて、安定性と整合性を確保するために以下の3つの具体的な目的関数で学習されます：

• パーツアンカリング（Part Anchoring）: 定義されたパーツラベルに予測を接地させるためのクロスエントロピー損失。
• インスタンス間パーツアライメント（Cross-Instance Part Alignment）: 同一のパーツの埋め込みを異なるオブジェクトインスタンス間で引き寄せ、異なるパーツを分離させる教師あり対照学習。これにより、一貫したパーツレベルの表現を保証します。
• 拡張安定性（Augmentation Stability）: 異なる拡張されたサポート条件下（サポートポイントの摂動）において、同一のクエリ座標に対して安定した埋め込みを強制する一貫性損失。

デプロイメント

学習後、セマンティックフィールドは凍結されます。ポリシー実行中、観測されたオブジェクトのポイントクラウドを使用してサポートキャッシュが構築されます。その後、ポリシーはオブジェクト領域から$M$個のクエリ位置を再サンプリングし、フィールドをクエリしてセマンティックポイントクラウド（$S_{obj}$）を生成します。このセマンティックポイントクラウドは、各ポイントに3D位置とその対応するセマンティック埋め込みを含んだ状態で、生のシーンポイントクラウドとともにダウンストリームポリシー（例：DP3）に、追加のモダリティとして入力されます。なお、この際、ポリシーのアクション表現や目的関数を変更することはありません。

主要な貢献

1. オブジェクト中心の連続的なセマンティックフィールド: 機能的なパーツをクエリ可能な3Dセマンティック埋め込みとして扱う新しい表現であり、生のセンサーサンプルに制限されることなく、制御されたオブジェクト位置でのセマンティックな読み出しを可能にします。
2. 安定した学習戦略: パーツアンカリング、インスタンス間アライメント、および拡張安定性を用いたカテゴリレベルの学習アプローチにより、異なるオブジェクトインスタンス間で堅牢かつ整合した埋め込みを生成します。
3. ポリシーへの統合: 学習されたフィールドをポリシー準備完了状態のセマンティックポイントクラウドとしてエクスポートする手法であり、シミュレーションおよび実世界のバイマニュアル実験におけるマルチタスクおよびクロスインスタンス操作において検証されています。

実験結果

本手法は、4つのRoboTwinシミュレーションタスクと、4つの実世界バイマニュアル操作タスク（マグの把握、ツールの接触、かき混ぜ、注ぐを含む）で評価されました。

• シミュレーション性能: 提案手法は、すべての4つのタスクにおいて最高の成功率を達成しました（例：「Hang Mug」において、生のDP3の24%に対し、提案手法は37%）。「Beat Hammer」では、生のDP3の74%に対し、84%を記録しました。2D特徴量リフトアップや離散的な3Dポイントごとの特徴量を用いたベースラインは、一貫した改善は見られず、精密な機能パーツのローカライゼーションを必要とするタスクでは性能が低下する場合もありました。
• 実世界性能: センサーノイズや部分的な視界の影響により、実世界の設定では提案手法とベースラインの差が広がりました。提案手法は、大幅に高い成功率を達成しました（例：「Grasp Mug」において、ベースラインの20回中7回に対し、提案手法は20回中17回）。
• 表現解析: PCAを用いた定性的可視化により、提案手法のフィールドは、2Dリフトアップや離散的なポイントごとの特徴量と比較して、異なるオブジェクトインスタンス間でも、対応する機能パーツ（例：マグのハンドル、ハンマーのヘッド）に対してより一貫した特徴パターンを生成することが示されました。

意義と主張

本論文は、汎用的な操作ポリシーが、観測依存のセマンティック表現によってボトルネックとなっていると主張しています。幾何学的条件（観測されたオブジェクト）とセマンティックな読み出し（明示的なクエリ位置）を分離することで、提案手法はより安定した機能パーツのキューを提供します。これにより、ポリシーは、ノイズが多く変動しやすいポイントサンプルから対応関係を推論するのではなく、整列されたパーツ認識型のセマンティクスに依存することで、学習時のオブジェクト分布を超えて動作することが可能になります。著者らは、このアプローチが特に機能パーツのローカライゼーションを必要とするタスクにおいてポリシーの性能を向上させ、基礎となるポリシーのバックボーンを変更することなく、より堅牢な汎用操作の基盤を提供すると主張しています。

限界

著者らは、本手法が剛体かつ安定した幾何学形状、およびセマンティクス的に意味のある機能的パーツを前提としていることを認めており、変形物体やトポロジーが変化する物体には適さないとしています。また、離散的な標準的パーツの教師あり学習への依存が、曖昧または連続的な機能領域への適用を制限する可能性があること、および現在のフィールドが微細な幾何学形状や物理的特性を明示的にモデル化していないことも指摘しています。