技術要約: SERF – 長期的な移動式マニピュレーションのための時空間環境およびロボット特徴マップ

1. 問題の定式化

大規模で動的な環境における長期的な移動式マニピュレーションには、ロボットが「現在の自己位置推定」「環境の変化」「タスクの進行状況」という、互いに結合した3つの問いについて継続的に推論する必要があります。Vision-Language-Action (VLA) モデルは、観測から行動へのマッピングにおいて有望な結果を示していますが、通常、現在の観測ウィンドウを超えて情報を保持するための明示的なメカニメントを欠いています。この制限は、ロボットが世界と相互作用しながら進化する長期的なコンテキストに依存して意思決定を行う移動式マニピュレーションにおいて、極めて重要です。

既存のアプローチは、大きく2つのカテゴリーに分類されますが、それぞれ異なる限界があります：

1. 構造化されたシーン表現（例：3Dシーングラフ）を用いるモジュール型システムは、連続的な視覚運動制御に必要な高密度な幾何学情報やロボットと環境の相互作用の手がかりを抽象化しすぎてしまう傾向があります。
2. **ポリシー埋め込みメモリ（例：履歴トークン、リトリーバルバッファ）**は、空間的なグラウンディングを暗黙的なものとして残してしまうため、ポリシーが関連性を推論せざるを得なくなります。さらに、既存の特徴マップ手法は通常、静的な環境のみを表現しており、ロボットが物体と相互作用する際の更新に失敗し、またメモリ表現からロボット自身の身体を省略していることがよくあります。

著者らは、ロボットの相互作用とともに進化し、ロボットとその環境の間の空間的関係を明示的に表現する、永続的で空間的にグラウンディングされたメモリを作成することで、これらのギャップに対処するソリューションを提案しています。

2. 手法

核となる貢献は、SERF（Spatiotemporal Environment and Robot Feature）マップです。これは、環境と関節を持つロボットの身体の両方を、共有された潜在空間内のニューラルポイントとして表現する4D特徴マッピングの定式化です。

A. 時空間特徴マッピング (問題1)

マップ $m_\tau$ は、3D空間におけるニューラルポイントを用いてパラメータ化されます。各ポイントは、学習可能な潜在特徴ベクトルとインスタンスラベルを保持します。

• 表現: マップは2つのポイントセットで構成されます：
  • 環境ポイント ($P^e_\tau$): DINOv3のようなVision Foundation Model (VFM) を用いてRGB-D観測からリフトアップされた3Dポイント。これらはボクセル化され、インスタンスラベルが割り当てられます。
  • ロボットポイント ($P^r_\tau$): ロボットの運動学モデル（例：URDF）からサンプリングされた表面ポイント。これらの位置は、ロボットの固有受容感覚状態に基づく順運動学を介して更新されます。
• 共有潜在空間: 両方のポイントセットは、VFMの埋め込みを再構成するために共有MLPデコーダによってデコードされます。これにより、ロボットと環境の特徴が共通の潜在空間に存在することが促進されます。
• 学習目的: システムは、デコードされた特徴をVFMの埋め込みと一致させるための再構成損失（コサイン類似度）を用いてオフラインで訓練されます。さらに、同じカテゴリ/パーツ内の特徴を整列させ、異なるカテゴリ/パーツを分離するために、対照学習損失 ($L_{inter}$ および $L_{intra}$) が使用され、意味的な構造を誘導します。
• オンライン更新: 実行中、潜在特徴とデコーダは固定されます。ポイントの座標のみが更新されます：
  • 環境: 物体の動きは、連続するフレーム間の3Dキーポイント対応関係を通じて追跡され、関連するニューラルポイントを剛体的に移動させるための物体レベルのSE(3)変換を推定します。
  • ロボット: ポイントの位置は、現在の関節状態からの順運動学を使用して更新されます。

B. マップ条件付きVLAポリシー (問題2)

著者らは、SERFマップにアクション予測を条件付けるポリシー $\pi_\phi$ を設計しました。

• マップ・トークナイザー: ニューラルポイントのサブセットがフィルタリングされ（ロボット本体とタスクに関連する物体を保持）、Point Transformerバックボーンを用いてエンコードされます。
• トークン抽出: 8つの並列ヘッドが、複数の参照フレームと空間スケールにわたってマップトークンを抽出します：
  1. ロボットベース・トークン: ローカルなコンテキストのために、増加する半径（1m, 2m, 4m）における3つのトークン。
  2. エンドエフェクタ・トークン: グラスプ推論のために、グリッパーの周囲にある2つのトークン。
  3. ロボット専用トークン: ロボットの構成を要約。
  4. 環境専用トークン: 現在の環境状態を要約。
  5. グローバル・トークン: シーンレベルの推論のためにすべてのポイントを集約。
• ポリシー・アーキテクチャ: マップトークンは投影され、画像特徴、固有受容状態トークン、およびタスク埋め込みと結合されます。この結合された入力は、アクションチャンクを予測するために条件付きフローマッチングを介して訓練されたVLAモデル（$\pi_{0.5}$ ベース）に供給されます。VLMバックボーンとビジョンエンコーダは凍結されており、LoRAレイヤーがアクションエキスパートとマップトークナイザーに挿入されて微調整されます。

3. 主な貢献

1. SERFマップ: 共有潜在空間内でロボットの身体と進化する環境を表現する時空間特徴マップであり、オンラインで更新可能な永続的メモリを可能にします。
2. マップ条件付きポリシー: アクション予測に対して、複数の参照フレーム（ロボットベース、エンドエフェクタ、グローバル）からのマップトークンを利用し、局所的およびグローバルな空間コンテキストの両方を提供するVLAポリシー設計。
3. 実証的検証: SERFポリシーが、画像のみのベースラインよりも、長期的な移動式マニピュレーションタスクにおいて、特にタスク進行、軌道効率、シーンの変化に対する堅牢性、および失敗からの回復において優れた性能を示すことを実証。

4. 実験結果

本手法は、ナビゲーションとマルチオブジェクトの再配置を含む家庭内での二腕移動式マニピュレーションのベンチマークである BEHAVIOR-1K で評価されました。

• タスク進行: 完全なSERFポリシーは、評価された3つのタスク（おもちゃの回収、靴ラックへの靴の設置、ギフトバスケットの組み立て）において最高のタスク進行度を達成し、平均進行度を画像のみのベースラインの 44.0% から 58.7% に向上させました。
• 軌道効率: SERFは、画像のみのポリシー（物体が視野から外れると停滞することが多い）と比較して、より直接的な軌道を辿り、サブゴールに到達する速度が速いことが示されました。
• シーン構成の汎化: 移動されたゴール、追加の物体、未訪問の領域を含む分布外（OOD）テストにおいて、SERFは画像のみのベースラインを大幅に上回りました。例えば、未訪問の領域では、タスク進行度が 28.0% から 51.0% に増加しました。
• 失敗からの回復: 輸送中に物体を落としたシナリオにおいて、SERFは物体を再特定し、再把握することに 95% の成功率（ベースラインは65%）を示し、平均回復時間を24.3秒から20.5秒に短縮しました。
• アブレーション研究: 時間的なマップ更新（SERF 対 静的SBP）およびロボット・ニューラルポイントの包含（SERF 対 SERF-env）の両方が、パフォーマンスに肯定的に寄与していることが確認されました。

5. 意義と主張

本論文は、長期的な移動式マニピュレーションには、現在のVLAモデルが欠いている一貫した時空間推論が必要であると主張しています。ロボットと環境の共有潜在表現を導入することで、SERFは以下の2つの形式の推論を可能にします：

1. アロセントリック（外中心的な）推論: 物体やゴールの位置をグローバルに追跡するための永続的な空間メモリの維持。
2. エゴセントリック（自己中心的な）推論: 距離、方位、および到達可能性に基づく意思決定をサポートするために、ロボットの身体を明示的に組み込むこと。

著者らは、SERFがニューラルポリシーに対して構造化されたコンテキストを提供し、画像のみのアプローチよりも効果的に失敗から回復し、新しいシーン構成に汎化することを可能にすると述べています。

6. 限界

著者らはいくつかの限界を認めています：

• シミュレーション依存性: 現在の実装は、シミュレータからの特権化されたインスタンスラベルと、実行前に学習された事前マップに依存しています。実世界への展開には、フィードフォワードエンコーダとセグメンテーション基盤モデル（例：SAM 2）が必要になります。
• 剛体運動の仮定: マップ更新は物体レベルの剛体運動（SE(3)）を想定しており、関節を持つ物体や変形する物体を扱う能力には制限があります。
• トークン化: 現在のマップトークナイザーは、タスク条件付きのセマンティック分離ではなく、手動で指定された空間的サブセットを使用しています。
• 実世界での検証: 実験は現在シミュレーションに限定されており、実世界への転移については今後の評価が必要です。