技術要約: TabletopGen

問題提起

ロボットの操作、特にテーブルトップ環境における操作は、Vision-Language-Action (VLA) モデルの学習のために、大規模かつ高品質なインタラクション・データに大きく依存している。現実世界でのデータ収集はコストが高く、スケーリングが困難であるため、シミュレーションは有望な代替案となる。しかし、既存の3Dシーン生成手法は、シミュレーションに適したテーブルトップ環境を効果的に生成できていない。

• 検索ベースの手法は、固定されたアセットライブラリに起因する多様性の不足や幾何学的な不一致に悩まされている。
• LLMベースのテキスト駆動型手法は、通常、部屋スケールのレイアウトに焦点を当てており、テーブルトップ特有の高密度で小規模なオブジェクトの機能的な配置や、強い意味論的制約を扱うことができない。
• 単一画像からの再構成手法は、単一視点によるオクルージョン（遮蔽）や物理的事前知識の欠如により、物理的に不自然なレイアウト（例：オブジェクトのめり込みや浮遊）や不完全なメッシュを生成することが多い。

その結果、これらのシーンはモーションプランニングのための物理シミュレータへ確実にインポートすることができず、自動化された操作データの合成におけるボトルネックとなっている。

手法

TabletopGenは、テキスト記述または単一の画像から、高忠実度でインスタンスレベルのインタラクティブなテーブルトップシーンを生成する、トレーニング不要の完全自動化フレームワークである。本フレームワークは、以下の3つの段階的なステージで動作する。

1. 生成的インスタンス抽出 (Generative Instance Extraction)

システムはまず、テキスト入力を詳細なプロンプトに変換し、参照画像を合成する（または提供された画像を使用する）。その後、3Dアセットを抽出および再構成する。

• セグメンテーションと補完: マルチモーダル大規模言語モデル (MLLM) がオープンボキャブラリのカテゴリ認識を行い、GroundedSAM-v2と組み合わせてインスタンス・マスキングを行う。オクルージョンに対処するため、従来のインペインティングではなく、マルチモーダル生成モデルを用いてインスタンス・マスクを補完および再描画する。
• 3D再構成と標準化: 補完された2Dインスタンスは、Image-to-3Dモデルを使用して3Dメッシュへと再構成される。極めて重要な点として、システムは各オブジェクトのローカル垂直軸を世界のZアップ方向と一致させるように回転補正を適用し、アセットが「Z-up canonicalized（Zアップ標準化）」され、直接配置可能な状態であることを保証する。

2. ポーズおよびスケールのアライメント (Pose and Scale Alignment)

これが核心的なイノベーションであり、物理的な妥当性を確保するために、回転、平行移動、スケールの推定を2つの専門化されたフェーズに分離している。

• 微分可能な回転最適化器 (Differentiable Rotation Optimizer: DRO): このフェーズでは、各インスタンスの垂直軸周りの回転 ($r_i$) を最適化する。微分可能なレンダラーを使用してテクスチャ付き画像、ソフト・シルエット、エッジマップを生成し、ターゲットのインスタンスに対して、形状の一貫性（ソフトIoUによる）、輪郭のマッチング（Chamfer損失による）、外観の類似性（DINOv2特徴量による）という3つのモードの損失を最小化する。
• トップビュー空間アライメント (Top-View Spatial Alignment: TSA): このフェーズでは、物理的な事前知識を用いて平行移動 ($t_i$) とスケール ($s_i$) を推論する。
  • スタッキング事前知識: MLLMがスタッキング関係を推論し、オブジェクトの浮遊や垂直方向のめり込みを防ぐ。
  • トップビュー合成: 生成モデルがシーンのトップビューを合成して2Dバウンディングボックスを抽出し、オブジェクトがテーブルトップの境界内に収まるようにする。
  • RMA-Score: アスペクト比の一致性とピクセル面積に基づき、信頼できるアンカーオブジェクトを選択する「比率一致および面積重み付けスコア (Ratio-Matched and Area-Weighted Score)」。このアンカーがグローバルなスケーリング係数を決定し、すべてのオブジェクトのメートル法に基づく3Dスケールと水平方向の平行移動を推論する。

3. インタラクティブ・シミュレーション (Interactive Simulation)

アライメントされたインスタンスは、物理シミュレータ（Isaac Sim）内で組み立てられる。衝突ジオメトリは凸分解（convex decomposition）を介して生成され、物理特性（重力、摩擦）が有効化される。本フレームワークは以下をサポートする。

• タスク生成: 意味論的ラベルに基づき、操作タスク（例：「カップを箱の中に入れる」）を自動生成する。
• データ合成: 衝突のない軌道を生成・実行し、マルチモーダル・データ（RGB、関節状態、アクション）を収集する。
• シーン拡張: シーン内での編集（追加、削除、置換、再配置）を行い、フルパイプラインを再実行することなく多様なシーンのバリアントを生成する。

主な貢献

1. TabletopGenフレームワーク: テキストまたは単一の画像から、シミュレーション可能なテーブルトップシーンを生成する、自動化されたトレーニング不要のエンジンであり、視覚的リアリズム、インスタンスレベルのインタラクティビティ、および物理的妥当性を同時に実現する。
2. 新しいアライメント手法: 精密な回転最適化のためのDROと、物理的に制約された平行移動およびスケール推論のためのTSAを用いる、デカップルされたポーズおよびスケールのアライメント手法であり、単一視点からの再構成の限界を克服する。
3. 包括的な検証: 視覚的忠実度において最先端の性能を発揮することを広範な実験で実証し、ゼロショットのreal-to-sim-to-realポリシー転移によって検証されている。

結果

• 定量的性能: 画像駆動型のベースライン（ACDC, Gen3DSR, MIDI）およびテキスト駆動型の手法（MesaTask, Holodeck-table）との比較において、TabletopGenは視覚的/知覚的指標（LPIPS, DINOv2, CLIP）およびGPT-4oによる評価において最高のスコアを達成した。
• 物理的妥当性: TabletopGenは衝突率を大幅に減少させた。ベースラインが67%から98%のシーンレベル衝突率（Col_S）を示したのに対し、TabletopGenはわずか7.69%のCol_Sと、0.42%のメッシュレベル衝突率（Col_O）を達成した。
• ユーザー調査: 128人の参加者を対象とした調査において、TabletopGenは83.13%のケースで選好され、視覚的忠実度、画像への整合性、および物理的妥当性の面でベースラインを大幅に上回った。
• 実世界への転移: ゼロショットのreal-to-sim-to-real実験において、TabletopGenによって生成された合成データのみで学習されたポリシーを、実機のAgileX PiPERアームに展開した。その結果、実世界での微調整なしに、高い成功率（例：マンゴーを置く動作で84%、イチゴを置く動作で80%）を達成し、生成されたシーンの物理的な正確性を証明した。

意義

本論文は、TabletopGenがロボット操作のための信頼できるデータエンジンとして機能すると主張している。物理的に妥当なインスタンスレベルのインタラクティブなシーン生成というボトルネックを解決することで、低コストでスケーラブルなマルチモーダル操作データの合成を可能にする。この能力は、汎用的なVLAモデルを学習するために不可欠であり、「sim-to-real」パラダイムをサポートし、広範な実世界データの収集なしに、シミュレーション内で複雑な操作ポリシーを学習し、それを物理世界へ効果的に転移させることを可能にする。シーン内編集を通じてシーン拡張をサポートする本フレームワークの能力は、エンボディドAIのための多様なシミュレーション環境をカバーするためのスケーラブルな経路をさらに提示している。