CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

CRISP は、単眼動画から物理的に妥当な人間運動とシミュレーション対応の環境幾何学を復元し、接触ガイダンスと強化学習を用いることで、従来の手法に比べてモーション追跡の失敗率を大幅に低減し、リアルからシミュレーションへの応用を可能にする手法です。

要約

クリスプ（CRISP）：動画から「物理的に正しい」3D 世界を作る魔法

この論文は、**「ただの動画（1 台のカメラで撮ったもの）から、ロボットやゲームが実際に動かせるような、物理法則が守られた 3D 世界を再現する」**という画期的な技術「CRISP」を紹介しています。

これを料理や建築に例えて、わかりやすく説明しましょう。

1. 従来の技術の「問題点」：壊れやすいおもちゃの城

これまでの技術（VideoMimic など）は、動画から 3D 空間を復元しようとしていましたが、結果は**「砂で作った城」**のようでした。

• ノイズだらけ： 表面がザラザラで、凹凸が不自然。
• 物理的に破綻： 床が少し傾いているだけで、ロボットが転倒したり、壁にめり込んだりしてしまいます。
• 見えない部分の欠落： 人が座っている椅子の「座面」は、人の体で隠れているため、復元されずに「空っぽ」になってしまいます。

これでは、ロボットを動かそうとしても、すぐに転んでしまい、ゲームやシミュレーションとして使えません。

2. CRISP の「解決策」：レゴブロックで組み直す

CRISP のすごいところは、**「複雑な形を、シンプルで丈夫な『平面（フラットな板）』の集まりに変換する」**という発想にあります。

• レゴブロックの魔法：
  動画から得られた「ごちゃごちゃした点の集まり（点群）」を、**「床」「壁」「階段の段」といった、きれいな「平面の板（プリミティブ）」**に整理し直します。

  • 例え話: 砂漠の砂を、整然と並べられたレンガやコンクリートの板に置き換えるようなものです。これなら、ロボットが走っても滑らず、転びません。

• 「接触」をヒントに欠けた部分を補う：
  人が椅子に座っている場合、椅子の座面は見えません。しかし、CRISP は**「人が座っている姿勢」を分析し、「あ、ここは椅子の座面があるはずだ！」と推測して、見えない部分を「接触（Contact）」**という手がかりを使って補完します。

  • 例え話: 影になっている部分を見て、「ここには影を落としている物体があるに違いない」と推理し、その物体を 3D 空間に復活させる侦探（探偵）のような働きをします。

3. 最終チェック：ロボットに走らせてテストする

ただ 3D 模型を作るだけではありません。CRISP は、**「実際にロボット（ヒューマノイド）にその世界を走らせて、物理的に正しいかどうかをテストする」**という最終チェックを行います。

• 試行錯誤（強化学習）：
  復元した世界でロボットを走らせ、もし壁にぶつかったり、床にめり込んだりしたら、「あ、ここは形がおかしい」と判断し、修正します。
• 結果：
  これにより、**「動画の動きを、物理法則に則って再現できる」**という、非常に高品質なシミュレーション環境が完成します。

4. どれくらいすごいのか？

実験結果は驚異的です。

• 失敗率の激減： 従来の技術では 55% も失敗していた動きの再現が、CRISP では**6.9%**まで劇的に減りました（8 倍の向上！）。
• 高速化： シミュレーションの処理速度も 43% 速くなりました。
• どんな動画でも OK： 街中で撮ったふとした動画や、AI が作った動画（Sora など）でも、物理的に正しい世界を再現できます。

まとめ

CRISP は、「ただの動画」を「ロボットが安心して走れる、物理的に正しい 3D 世界」に変える変換機です。

• 従来の方法： 砂で作った城 → 風で崩れる（シミュレーション失敗）。
• CRISP の方法： 丈夫なレンガで組んだ城 → どんなに走っても崩れない（シミュレーション成功）。

この技術は、ロボットが現実世界を学習するためや、AR/VR で没入感のある体験を作るために、大きな一歩となるでしょう。まるで、動画から「生き生きとした物理世界」を呼び出す魔法の杖のようなものです。

技術概要

CRISP: 単眼ビデオからの接触ガイド付きリアル・トゥ・シミュレーション（Real2Sim）の技術的サマリー

本論文は、ICLR 2026 で発表された「CRISP」と呼ばれる新しい手法を提案しています。CRISP は、単眼（モノキュラー）ビデオから、物理シミュレーションが可能な 3 次元人間運動とシーン幾何形状を復元するパイプラインです。既存の手法が抱えるノイズや物理法則の無視によるシミュレーション失敗を解決し、ロボティクスや AR/VR への応用を可能にする画期的なアプローチです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

従来の「人間とシーンの同時復元」研究には、以下の重大な課題がありました。

• 物理的不整合: 既存のデータ駆動型アプローチは、物理シミュレーションのループを含まないため、復元された幾何形状にノイズやアーティファクト（不要な構造、穴など）が含まれがちです。
• シミュレーション失敗: 物理シミュレーション（特にヒューマノイド制御）において、地面のわずかなノイズや「ゴースト表面」が存在すると、キャラクターが転倒したり、接触力が不安定になったりして、動画の動きを追従する RL（強化学習）ポリシーの学習が失敗します。
• 視覚的欠損: 人間が物体に座ったり、隠れたりする部分（例：椅子の座面）は、単眼ビデオでは直接観測できず、復元が困難です。
• 計算効率: 複雑なメッシュ形状は衝突判定に時間がかかり、リアルタイムな RL 学習のボトルネックとなります。

CRISP の目標: 物理的に妥当で、シミュレーション用に最適化された（接触を忠実に再現し、衝突判定が高速な）人間とシーンの復元を行うことです。

2. 手法 (Methodology)

CRISP は、単眼 RGB ビデオを入力とし、以下の 4 つの主要ステップで構成されるパイプラインです。

2.1 初期化：カメラ、人間、シーンの復元

• カメラと深度: MegaSAM を用いてカメラの姿勢と内パラメータを推定し、MoGe を深度推定器として用いてスケーラブルな点群を復元します。
• 人間姿勢: GVHMR を用いて SMPL メッシュを復元し、カメラ姿勢を用いて世界座標系へ変換します。
• スケール補正: 人間の平均身長という既知の情報を活用し、点群のスケールを物理的に正しいメートル単位に補正します。

2.2 平面プリミティブへの適合 (Planar Primitive Fitting)

これが CRISP の核心的な革新です。

• アプローチ: 従来の点群を TSDF や Marching Cubes でメッシュ化する代わりに、深度、法線、フローの情報をクラスタリングし、**凸な平面プリミティブ（平面の直方体など）**に分解します。
• アルゴリズム:
  1. 法線マップに対して K-means クラスタリングを行い、候補となる平面セグメントを生成。
  2. DBSCAN を用いて空間的にセグメントを分割。
  3. 時間的に類似した平面フィットを持つセグメントをマージし、一貫性のある平面領域を形成。
  4. 各領域に RANSAC で平面をフィットさせ、デフォルト厚さ 0.05m の平面プリミティブとして定義。
• 利点: 平面プリミティブは凸であるため衝突判定が高速で、ノイズに強く、シミュレーションの安定性を大幅に向上させます。

2.3 接触ガイドによるシーン補完 (Contact-Guided Scene Completion)

• 課題: 人間に隠れた部分（例：椅子の座面）の復元。
• 手法: 視覚言語モデル（InteractVLM）を用いて、人間とシーンの接触（座る、立つなど）を予測します。
• フィルタリング: 時間的な非最大値抑制（Non-Maximum Suppression）を適用し、一貫して高い確信度を持つ接触フレームのみを抽出。
• 応用: 接触が検出された領域（例：お尻の位置）に基づき、隠れていた支持面（椅子の座面など）を仮定して平面プリミティブを生成・補完します。

2.4 物理ベースの運動追跡 (Physics-Based Motion Tracking)

• RL による検証: 復元された人間とシーンを用いて、ヒューマノイド制御ポリシーを強化学習（RL）で訓練します。
• 目的: シミュレーション内で人間が動画の動きを忠実に追従できるかを確認します。物理的に不可能な復元（浮遊や貫通）は RL 学習の失敗として検出され、結果として復元の品質評価指標としても機能します。
• 報酬関数: 姿勢、位置、速度の追従、およびエネルギー最小化（滑らかな動き）を報酬として設計。

3. 主要な貢献 (Key Contributions)

1. シミュレーション対応の幾何形状復元: 単眼ビデオから、物理シミュレーションに直接投入可能な「クリーンで凸な平面プリミティブ」を生成するパイプラインを提案。これにより、ノイズによるシミュレーション失敗を劇的に減少させました。
2. 接触情報による隠れた部分の復元: 人間の姿勢と接触予測（VLM）を活用し、視覚的に隠れたシーンの構造（椅子の座面など）を論理的に補完する手法を確立。
3. 物理的妥当性の検証: 復元されたアセットを RL 制御に用いることで、物理的に妥当な相互作用を自動的に検証・改善する「Real2Sim」パイプラインを完成させました。
4. 効率性と精度の両立: 複雑なメッシュに比べ、平面プリミティブは計算コストが低く、RL 学習のスループットを向上させつつ、高い追跡精度を達成しました。

4. 実験結果 (Results)

EMDB および PROX データセットを用いた評価において、既存の最前線手法（VideoMimic など）と比較して顕著な改善が見られました。

• RL 成功率: 人間中心のビデオベンチマークにおいて、運動追跡の失敗率が 55.2% から 6.9% に低下しました（成功率は 93.1%）。
• シミュレーション効率: 高密度メッシュアプローチと比較して、RL シミュレーションのスループットが 43% 向上（23K FPS）しました。
• 幾何形状の精度: 再構成されたシーンとグランドトゥルース間のチェーファー距離（Chamfer Distance）が大幅に減少。特に、接触領域における精度（Recon→GT）が極めて高いことが確認されました。
• 人間姿勢推定: RL による微調整後、関節位置誤差（W-MPJPE100）が 70.60mm まで改善され、既存手法を凌駕しました。
• 野外動画への適用: カジュアルに撮影された動画、インターネット動画、さらには Sora によって生成された動画に対しても有効であることを実証しました。

5. 意義と結論 (Significance)

CRISP は、単なる「動画からの 3D 復元」を超え、**「物理的に動作可能なデジタルツインの自動生成」**を実現した点に大きな意義があります。

• ロボティクスと Embodied AI: 現実世界の複雑な環境（階段、椅子、ソファなど）でのロボット学習を、大規模なインターネット動画データから効率的に行うための基盤技術を提供します。
• AR/VR: 物理法則に則った自然なキャラクターアニメーションやインタラクションを、手軽な撮影デバイスから生成可能にします。
• 方法論的転換: 「データ駆動の復元」から「物理シミュレーションをループに組み込んだ検証・改善」へのパラダイムシフトを示唆しており、今後の Real2Sim 研究の新しい基準となる可能性があります。

要約すれば、CRISP は「単眼ビデオ」を「物理的に信頼性の高いシミュレーション環境」へと変換する、高精度かつ高効率な橋渡し技術です。