🤖 AI

EgoPhys: Learning Generalizable Physics Models of Deformable Objects from Egocentric Video

EgoPhysは、単一視点の一人称視点RGBビデオから、制御可能な変形デジタルツインを作成するために汎用的な物理モデルを学習し、複雑な力学のゼロショット予測を可能にし、オブジェクトごとの最適化なしに実世界のロボット計画を容易にするフレームワークである。

原著者： Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、自分の行動すべてを記録しているスマートグラスを装着していると想像してください。あなたはタオルを手に取り、振り、折りたたみ、ベッドの上に投げます。次に、その同じビデオを見ているロボットを想像してください。そのロボットは、そのタオルがどのように機能するか（重さはどれくらいか、どれくらい伸びるのか、異なる角度から引っ張ったときにどのように垂れ下がるのか）を、即座に正確に理解します。

これこそが、カリフォルニア大学サンディエゴ校の研究者によって開発された新しいシステム、「EgoPhys」の核心となるアイデアです。ここでは、日常的な例えを用いて、その仕組みを簡単に解説します。

問題点：ロボットは「柔らかいもの」を理解できない

ロボットは、箱やコップのような硬い物体を動かすことは得意です。しかし、ブランケットや生地、服のような柔らかく、ぐにゃぐにゃした物体は、彼らにとって悪夢のような存在です。これらの物体をコンピュータ上でシミュレーションするには、通常、高価な3Dスキャナー、完璧な照明、そしてあらゆる細かな詳細を測定するための膨大な時間が必要です。

既存の手法は、プロがスタジオで行っているスローモーションビデオを見て、ジャグリングの練習をするようなものです。正確ではありますが、散らかったキッチンで初心者が撮影した手ブレのあるビデオから学ぼうとすると、うまく機能しません。

解決策：「人間の遊び」から学ぶ

EgoPhysは、一人称視点ビデオ（egocentric video）、つまり（GoProを頭につけた時のように）人の視点から記録されたビデオから学習することで、ゲームチェンジャーとなります。

「魔法のメガネ」（一人称視点ビデオ）： このシステムは、人間が柔らかい物体（タオルを引っ張ったり、ぬいぐるみを押しつぶしたりするなど）で遊んでいる単純なビデオを使用します。深度センサーや特別なカメラは必要ありません。標準的なビデオフィードだけで十分です。
「ラフスケッチ」（粗い初期化）： まず、システムは物体の基本的な3Dモデルを構築し、その一般的な物理特性を推測します。これは、子供が犬のラフスケッチを描くようなものです。犬らしくは見えますが、足の部分が少しグラグラしているかもしれません。
「カンニングペーパー」（コードブック）： これがこの論文の大きな革新です。すべての新しい物体の物理をゼロから計算しようとする代わりに（これは時間がかかり困難です）、EgoPhysはコンパクトな**「カンニングペーパー」、あるいは「物理ルールのライブラリ」**を作成します。
- 例えば、「伸びるルール」や「ぐにゃぐにゃするルール」のライブラリを持っていると想像してください。
- ロボットが、まだ出会ったことのない「新しいタオル」を見たとき、物理をゼロから学び直す必要はありません。ただタオルを見て、「カンニングペーパー」を確認し、「ああ、これは私のライブラリにある『ふわふわのタオル』のエントリだ。どう曲がるべきか正確にわかるぞ」と即座に判断するのです。

実践における仕組み

研究者たちは、さまざまな柔らかい物体（タオル、ぬいぐるみ、バッグ）と人間が相互作用するデータセットを用いて、このシステムを訓練しました。彼らは、AIにこれらの相互作用の複雑な物理学を、小さくて再利用可能なコードブックへと凝縮することを教えました。

「個別のバネ」への宿題は不要： 通常、柔らかい物体をシミュレートする場合、コンピュータは物体内のあらゆる小さなバネに対して、見るたびに数学の問題を解かなければなりません。Ego-Physはこれをスキップします。「カンニングペーパー」を使用することで、新しいビデオを見るたびに重い計算を行うことなく、挙動を即座に予測します。
ゼロショット汎化（Zero-Shot Generalization）： これは、もしEgoPhysに、見たこともない新しい種類の布地で人間が遊んでいるビデオを見せたとしても、その布地がどのように動くかを依然として予測できることを意味します。それは、初めて見る種類のゼリーを見たときに、「ゼリーらしさ」の一般的なルールを理解しているために、それがどのように揺れるかを即座に理解できるようなものです。

ロボットによるテスト

チームは、このシステムが現実世界で機能することを証明するために、実際のロボットアーム（xArm6）にEgoPhysを接続しました。

彼らは、人間がタオルで遊んでいるビデオをロボットに見せました。
EgoPhysはそのタオルの「デジタルツイン」（コンピュータ内の仮想コピー）を構築しました。
次に、ロボットはそのデジタルツインを使用して、本物のタオルをどのように動かすかの計画を立てました。
結果： ロボットは、シミュレーションで作った計画に基づいて、本物のタオルを動かすことに成功しました。現実世界の実行結果はコンピュータの予測と一致しており、ロボットが人間のビデオから物理を「学習」し、それを自身の体に適用できることが証明されました。

なぜこれが重要なのか

この論文は、これが単一の、キャリブレーションされていない、ウェアラブルなビデオから、完全にインタラクティブで物理的に正確な柔らかい物体のモデルを構築する最初のシステムであると主張しています。

以前は： 柔らかい物体をシミュレートするには、ラボ、3Dスキャナー、そして何時間の計算が必要でした。
現在は： スマートカメラでビデオを撮るだけで、AIが即座にロボットが行動を計画するために使用できる物理モデルを構築できます。

要約すると、EgoPhysは、人間がその物体で遊ぶ様子を観察することによって、ロボットに世界の「柔らかさ（squishiness）」を理解させる方法を教え、単純なビデオを強力なロボット計画ツールへと変えるのです。

技術要約: EgoPhys

問題提起

変形物体（弾性材料、布など）の複雑なダイナミクスを忠実に予測することは、コンピュータビジョンおよびロボティクスにおいて依然として大きな課題である。人間は日常的な相互作用を通じて物体の物理特性を自然に推論できるが、現在の計算手法は以下の二極化に直面している：

生成ビデオモデル: 近年のビジョン事前学習の進展により、視覚的に妥当な物体のダイナミクスを含むビデオを生成できるようになったが、明示的な物理モデリングを欠いているため、解釈可能性や、未知の相互作用下でのアクション条件付きシミュレーションに限界がある。
物理ベースのシステム同定: シミュレーション可能な物体を復元する既存の手法は、通常、制御された三人称視点のキャプチャ、深度センサ、精密なキャリブレーション、またはシーンごとの最適化を必要とする。これらの要件はスケーラビリティを阻害し、人間が自然に提供する非構造的で単眼の、一人称視点（エゴセントリック）のデータから「デジタルツイン」を構築することを困難にしている。

解決すべき核心的な問題は、深度センサ、マルチビュー・キャリブレーション、または物体ごとのテスト時最適化を必要とせずに、単一のエゴセントリックなRGBのみのビデオから、制御可能な変形物理デジタルツインをどのように構築するかである。

手法

EgoPhysは、エゴセントリックな観察と物理シミュレーションの間のギャップを埋めるために、汎用的な物理的事前知識（物理プライア）を学習するフレームワークである。パイプラインは主に以下の3つのステージで構成される：

1. エゴセントリック4D再構成

システムは、単一のウェアラブルRGBビデオ（例：Meta Project Aria）から、時間的に一貫した4Dポイントクラウドを再構成する。

入力処理: フレームを抽出し、歪みを補正し、Grounded-SAM2を用いて物体と操作者（手）を分離・セグメンテーションする。CoTracker3を使用して、高密度な2D軌跡を追跡する。
3Dリフティング: RGB-Dカメラの同期を前提とする手法とは異なり、EgoPhysはVGGTを使用して、RGBのみからピクセルごとの3Dワールド座標とカメラパラメータを予測する。
フィルタリング: ポイントは信頼度マップと深度範囲に基づいてフィルタリングされる。エゴセントリックな遮蔽によって生じる欠損領域は、TRELLISを用いて補完され、地面平面は観測された最低のポイントから推論される。
出力: メトリックに一貫した、物体と手の領域が分離された4Dポイントクラウド。

2. 物体ごとの物理初期化

逆物理学（inverse physics）を用いて、各訓練シーケンスに対して粗いスプリングマスシミュレータを適合させる。

表現: 物体はスプリングマスグラフ $G=(V, E)$ としてモデル化される。力は、バネの剛性（ $k_{ij}$ ）、自然長（ $l_{ij}$ ）、および減衰（ $\gamma$ ）に基づいて計算される。
最適化: CMA-ES（共分散行列適応進化戦略）を使用し、観測された4Dポイントクラウドに対する幾何学的差異（Chamfer距離）および運動（トラッキング）の不一致を最小化することで、グラフのトポロジーと粗いグローバルな物理パラメータを推定する。
コントローラー: コントロールポイント（手）は、半径探索を介して物体ポイントに接続され、自然長は観測された手と物体の距離から初期化される。

3. コードブックに基づく物理プライア（汎用化）

新しい物体に対して、高価なスプリングごとのテスト時最適化を避けるため、EgoPhysは訓練された物体から得られた高密度な剛性解を、コンパクトで再利用可能なマテリアル・コードブックへと蒸留する。

パラメータ化: 絶対的な剛性を予測する代わりに、モデルはCMA-ESによって推定された粗いグローバル剛性（ $\bar{k}$ ）に対する対数剛性オフセット（ $\Delta_{e,t}$ ）を予測する。
特徴量エンコーディング: 各スプリングについて、以下の要素を結合した特徴ベクトル $\phi_{e,t}$ $ϕ_{e, t}$ を構築する：
- 静的特徴: 自然幾何、端点の自由度、スプリング種別のフラグ、および形状の手がかり。
- 動的特徴: ひずみ（ $\epsilon$ ）、ひずみ速度（ $\dot{\epsilon}$ ）、方位、および高さ。
非対称モデリング: 2つのプロトタイプバンク（ $C_+, C_-$ ）が、張力と圧縮を別々に扱う。軽量なMLPが特徴量をソフトなプロトタイプ割り当て（softmax経由）にマッピングし、剛性オフセットを決定するためのプロトタイプの混合を選択する。
訓練: ロールアウト損失（幾何および運動）と、逆物理初期化から導出された高密度な対数剛性ターゲットと一致させるための蒸留項を組み合わせて訓練を行う。レギュライザは、プロトタイプの多様性と決定的な割り当てを保証する。

主な貢献

エゴセントリックRGB単独による変形デジタルツイン: EgoPhysは、単一のエゴセントリックRGBビデオから変形可能な物理デジタルツインを構築する初のフレームワークとして提示されており、深度センシングや校正されたマルチビューキャプチャの必要性を排除している。
汎用的な物理プライア: 著者らは、状態条件付きのマテリアル・コードブックを提案し、高密度な物体ごとのスプリング剛性場を再利用可能な物理プリミティブへと蒸留する。これにより、システムはスプリングごとのテスト時リファインメントなしに、未知の物体に対して高密度な剛性場を予測できる。
エゴセントリック・ベンチマークとロボット検証: エゴセントリックな変形物体相互作用の新しいデータセットが作成された。フレームワークは、再構成、未来予測、およびゼロショット汎用性について評価された。さらに、単一の人間によるプレイビデオから初期化されたデジタルツインを実機のxArm6ロボットに展開し、変形物体プランニングのための内部世界表現としての有用性を実証した。

実験結果

再構成と予測: 各シーケンスのリファインメント設定において、EgoPhysは適応型ベースライン（PhysTwinおよびSpring-Gaus）を再構成と未来予測の両方で上回った。より低いChamfer距離（CD）とトラック誤差（TE）、および高いIoUを達成しており、優れた幾何学的および運動的一貫性を示した。
ゼロショット汎用性: スプリングごとのリファインメントなしで、保持された物体カテゴリおよび相互作用パターンに対して評価した際、EgoPhysはPhysTwinを大幅に上回った。学習されたプライアは未知の物体にも正常に転移し、高いシミュレーション忠実度を維持した。
アブレーション研究:
- プロトタイプ・ボトルネック（コードブック）は不可欠であることが証明された。これを直接的なMLPに置き換えると性能が悪化しており、コードブックがレギュライザとして機能していることを示唆している。
- 動的コンディショニング（運動特徴の使用）は、ロールアウトのダイナミクスにおける時間的一貫性を向上させた。
- $K=4$ のプロトタイプを持つコンパクトなコードブックが、精度と表現サイズの最適なトレードオフを提供した。
Sim-to-Real転送: xArm6ロボットを用いた実験では、EgoPhysシミュレーション（単一の人間ビデオに基づく）で計画された軌道が、実世界の実行と一致する変形パターンをもたらし、物体構成エラーを減少させることが示された。

意義と主張

本論文は、EgoPhysが変形物体におけるreal-to-simパイプラインのスケーラビリティのボトルネックに対処していると主張している。多様な人間の相互作用から学習された汎用的なプライアを活用することで、本フレームワークは、非構造的な単眼の一人称データから、インタラクティブで物理的に正確なシミュレーションの構築を可能にする。

著者らは、この研究を、物体物理学を理解するために「人間から学ぶ」ことができる自律システムのステップとして位置づけている。単一の人間によるプレイビデオからデジタルツインを初期化し、それをロボットのプランニングに使用できる能力は、高価なキャリブレーションや制御されたキャプチャセットを必要とせずに、接触の多い変形環境にロボットを配備するためのスケーラブルな道筋を強調している。本研究は、エゴセントリックな観察（カメラの動き、遮蔽、深度の欠如）特有の課題に対処しつつ、高いシミュレーション忠実度を維持することで、既存の物理ベースの手法を補完するものである。