🤖 machine learning

PhyCo: Learning Controllable Physical Priors for Generative Motion

PhyCo は、大規模なシミュレーションデータセットの活用、ControlNet を通じた物理監督ファインチューニング、および VLM による報酬最適化を駆使して、推論時にシミュレーターや幾何学的再構成を必要とせずに現実的な物理挙動を生成する、制御可能かつ物理的に整合性のある運動を動画拡散モデルに付与するフレームワークです。

原著者： Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

公開日 2026-05-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ボールが跳ねたり、箱が滑ったり、人がトランポリンで跳んだりする映画を想像してみてください。現在の多くの AI 生成動画では、これらの動きが「おかしい」ように感じられます。ボールは幽霊のように浮遊したり、エネルギー量が不適切に跳ねたり、ゴムであるべきなのに氷のように床を滑ったりするのです。AI は色や照明など、物が「見える」部分を非常にうまく表現できますが、物理法則に従って物が「どう動く」かを正確には理解していません。

PhyCoは、この問題を解決するために設計された新しいシステムです。AI に「物理のチートシート」を与えることで、現実世界で物があるべき通りに振る舞う動画を生成できるようにします。

PhyCo の仕組みを、3 つの簡単なステップに分けて説明します。

1. 訓練キャンプ（データセット）

PhyCo が AI に教える前に、まず自分自身がゲームのルールを学ぶ必要があります。研究者たちは、10 万本のシミュレーション動画からなる巨大なライブラリを構築しました。

比喩: ロボットが転落、跳躍、滑走を練習する巨大なジムを想像してください。このジムでは、研究者はあらゆる物体の「つまみ」を調整できます。ボールを極端に跳ねやすくしたり、床を極端に滑りやすくしたり、壁を極端に柔らかくしたりできます。
結果: AI はこれらの動画を視聴し、「もし『摩擦』のつまみを上げれば、物体はより少なく滑るはずだ」とか、「もし『変形』のつまみを上げれば、物体はより潰れるはずだ」ということを学びます。これにより、因果関係の巨大なデータベースが作成されます。

2. 制御パネル（ControlNet）

AI が訓練動画を視聴した後、研究者は特別な制御パネルを AI に与えます。

比喩: 画面に地図を描いてキャラクターの行く先を指示できるビデオゲームを想像してください。PhyCo では、物理特性の「地図」を描くことができます。画面の特定の場所を塗って「この領域は粘着性がある」とか「この物体は重い」と指示できます。
仕組み: AI はこれらの地図を受け取り、それを使って動画を生成します。物体の動きを単に推測するのではなく、あなたの地図を見て、「わかった、ここは摩擦が高いと言ったから、物体はゆっくり滑らせる」と判断します。これにより連続的な制御が可能になり、摩擦をオン・オフするだけでなく、滑らかに上げたり下げたりできるようになります。

3. 厳格なコーチ（VLM 報酬最適化）

制御パネルがあっても、AI はまだ小さな間違いを犯す可能性があります。これを修正するため、研究者は「厳格なコーチ」を追加しました。

比喩: AI の練習動画を見て、「そのボールは十分に高く跳んだか？」「その箱は十分に遠くまで滑ったか？」と具体的な質問をするコーチを想像してください。AI が答えを間違えれば、コーチは行動を修正するために「罰則」（数学的なペナルティ）を与えます。
魔法: このコーチは**視覚言語モデル（VLM）**です。ピクセルを見るだけでなく、物理の「概念」を理解します。動画を読み取り、動きが設定したルールと一致しているか確認します。高い跳躍を求めたのにボールが低く跳ねた場合、コーチは AI に再挑戦を指示します。時間とともに、AI はコーチを喜ばせることを学び、視覚的に美しいだけでなく、物理的に正確な動画が生まれます。

PhyCo で何ができるか

論文によると、PhyCo は以下を処理できます。

摩擦: 物が簡単に滑るようにするか、地面に張り付くようにするか。
反発係数（跳ね返り）: 物がゴムボールのように跳ねるようにするか、岩のようにドスンと落ちるようにするか。
変形: 柔らかい物体が潰れて元に戻るようにし、硬い物体は剛体のままにする。
力: 特定の方向に、特定の強さで物体を押す。

大きな勝利

最も印象的な点は、PhyCo がシミュレーション世界（「ジム」）でこれらすべてを学習しましたが、現実世界でも同様に機能するということです。トランポリンで跳ぶ人の動画を生成するように頼めば、訓練中に実際のトランポリンを見たことがなくても、トランポリンがどのように変形し、人がどのように跳ねるべきかを正確に知っています。なぜなら、物理の「原理」を学習したからです。

要約すると、PhyCo は AI に、世界の動きを推測するのをやめ、それを支配するルールを理解させることで、写真と同じくらい物理的にリアルな動画を作成できるようにします。

以下は、論文「PhyCo: Learning Controllable Physical Priors for Generative Motion」の詳細な技術的サマリーです。

1. 問題定義

現代の動画拡散モデルは、リアルなテクスチャ、照明、運動の連続性の合成において顕著な成功を収めています。しかし、物理的一貫性の点では大きな課題を抱えています。一般的な失敗例には以下が含まれます：

重力下で、物体が非現実的な速度で漂流したり落下したりする。
衝突が、現実的な反発（復元係数）を欠いている。
柔らかい物体が、材料特性に従って変形しない。
制御性の欠如：基盤モデルは膨大なデータセットで訓練されているものの、再訓練や複雑な外部ガイダンスなしに、摩擦や力の大きさなどの物理的特性における特定のバリエーションを制御可能に生成することはできません。

既存の解決策は、いずれも限界を有する 2 つのカテゴリに分類されます：

明示的シミュレーション：拡散モデルを物理ソルバ（剛体ダイナミクス、MPM など）と結合する手法は、推論時に 3D 幾何形状の再構成や事前定義された材料を必要とし、スケーラビリティと汎化性を制限します。
暗黙的事前知識：言語や軌道プロンプトを用いる手法は、意味的一貫性を向上させますが、変形、復元係数、摩擦など、多様な物理属性に対する連続的かつ微細な制御が欠けています。

2. 手法

PhyCo は、推論時にシミュレータや幾何形状の再構成を必要とせず、動画生成に対して連続的、解釈可能、かつ物理的に根拠のある制御を可能にするフレームワークを導入します。このアプローチは、以下の 3 つの中核コンポーネントで構成されます：

A. 大規模な物理的根拠を持つデータセット

規模と多様性：著者らは、Kubric フレームワーク、PyBullet（物理）、Blender（レンダリング）を用いて、10 万本以上のフォトリアリスティックなシミュレーション動画からなるデータセットを構築しました。
シナリオ：このデータセットは、剛体衝突から変形ダイナミクスまでを網羅する、6 つの制御されたシナリオ（例：すべるレンガ、跳ねるボール、柔らかい物体の衝突）をカバーしています。
注釈：以前のデータセットとは異なり、PhyCo は 4 つの主要属性に対するピクセル整合の物理特性マップを提供します：
1. 摩擦 ( $\mu_f$ )
2. 復元係数 ( $e$ )
3. 変形（Neo-Hookean パラメータ： $\mu, \lambda, \gamma$ ）
4. 印加された力（大きさと方向）
設計：シミュレーションは視覚的にクリーンですが物理的に豊かであり、モデルが視覚的外観を基礎となるダイナミクスから分離して学習することを可能にします。

B. 物理監督微調整（ステージ 1）

アーキテクチャ：著者らは、ControlNetアーキテクチャを用いて、事前学習済みの拡散バックボーン（Cosmos-Predict2-2B）を微調整します。
条件付け：ノイズ除去プロセスは、空間的に整合した物理特性マップ（ $p$ ）を条件として受け取ります。これらのマップはトークン化され、アダプタネットワークを介して投影され、DiT（Diffusion Transformer）バックボーンと一致するようにします。
訓練戦略：ControlNet レイヤーのみが微調整され、事前学習された表現を保持するため、ベースモデルとトークナイザの重みは凍結されたままです。モデルは、特定の物理的特性がダイナミクスに現れるデータセットのサブセットで訓練されます。

C. VLM 誘導報酬最適化（ステージ 2）

動機：監督微調整だけでは、強力な制御忠実度が保証されない可能性があります。これを橋渡しするため、**視覚言語モデル（VLM）**を微分可能な報酬信号として使用します。
プロセス：
1. ロールアウト：ノイズの混じった中間ステップを評価する代わりに、モデルは予測動画 $\hat{x}_0$ を生成するために $N$ ステップのノイズ除去ロールアウトを実行します。
2. 評価：微調整済みの VLM（Qwen2.5-VL-3B）が、キュレーションされた「物理質問バンク」を用いて生成された動画を分析します。クエリは二値（はい/いいえ）または回帰ベース（例：「力の大きさは 0.2 から 0.4 の間ですか？」または「運動は青いセクター内にありますか？」）です。
3. 報酬信号：VLM の正解と不正解に対するロジットは、微分可能な報酬損失（ $L_{VLM}$ ）に変換されます。
4. 最適化：ControlNet は、生成されたダイナミクスを意図された物理的特性に整合させるため、この報酬損失を用いてさらに微調整されます。

3. 主な貢献

PhyCo データセット：摩擦、復元係数、変形、力を連続的に注釈付けした、大規模（10 万本以上の動画）な新規データセット。視覚的外観を物理的ダイナミクスから分離するように設計されています。
制御された物理的条件付け：ControlNet を介して空間的に整合した物理特性マップを拡散モデルに注入する手法。複数の物理属性を同時に連続的に制御することを可能にします。
VLM 誘導アライメント：微調整された VLM が物理的一貫性に関する微分可能なフィードバックを提供する新規訓練ステージ。推論時に明示的な物理ソルバを必要とせずに、制御忠実度を大幅に向上させます。
汎化性：このフレームワークは、合成データのみで訓練されたにもかかわらず、スタイライズされたシーンや現実世界のシーン（例：トランポリンで跳ぶ人）において、物理的に一貫した運動を生成する強力な構成的汎化性を示しています。

4. 実験結果

著者らは、Physics-IQ ベンチマークおよび人間による評価研究を通じて PhyCo を評価しました。

Physics-IQ ベンチマーク：
- PhyCo は、固体力学、流体力学、光学、磁気、熱力学の 5 つの分野において、強力なベースライン（SVD-XT、LTX-Video、CogVideoX、VLIPP）を大幅に上回りました。
- スコア：完全な PhyCo モデル（ControlNet + VLM 損失）は、IQ スコア 43.6を達成しました（VLIPP は 34.6、SG-I2V は 29.7）。
- 汎化性：57 フレームの訓練データよりも長い 120 フレームのシーケンスでテストされた場合でも、モデルは優れた物理的リアリズムを維持しました。
ユーザー研究（2AFC）：
- pairwise 比較において、人間の評価者は物理的リアリズムと制御性の点で、ベースラインよりも PhyCo を好みました。
- PhyCo は、ベース Cosmos モデルに対して、摩擦で90.9%、復元係数で93.2%、変形で**91.3%**の好まれる率を示しました。
アブレーション研究：
- VLM の影響：VLM 報酬最適化を追加することで、力の方向の角度偏差は（ControlNet のみの場合の）約 38°から**22.5°**に減少しました。
- 力の方向：PhyCo は平均方向誤差**15.2°**を達成し、Force-Prompting（40.5°）よりも大幅に優れていました。
- 構成的制御：モデルは属性の組み合わせ（例：力 + 摩擦）を正常に処理し、未見の物体やシナリオにも汎化しました。

5. 意義

PhyCo は、物理的に一貫した生成ワールドモデルへのスケーラブルな道筋を表しています。その意義は以下の点にあります：

推論効率：推論時に明示的な物理ソルバや 3D 再構成を不要とするため、ハイブリッドシミュレーションアプローチよりも高速で柔軟です。
解釈可能性：明示的な物理特性マップを使用することで、制御は解釈可能であり、標準的な物理シミュレーションパラメータと整合します。
スケーラビリティ：この手法は、合成訓練データから現実世界のシナリオや多様な物体カテゴリへ汎化し、物理的事前知識を埋め込むことが、物理の法則を理解する知的な視覚モデルを構築するための有効な戦略であることを示唆しています。

要約すると、PhyCo は視覚的リアリズムと物理的妥当性の間のギャップを成功裡に埋め、連続的な属性操作を通じて物理の法則に従う動画を生成するための制御可能なフレームワークを提供します。