💻 computer science

PhysAgent: Reflective Agentic Physics Control for Physically Plausible Video Generation

PhysAgentは、一度限りの予測による限界を克服するために、物理プログラムを反復的に生成、シミュレーション、検証、および修正するリフレクティブなエージェンティック・フレームワークを導入しており、それによって、複雑な力学や相互作用を伴う、より物理的に妥当でプロンプトに忠実なビデオの作成を可能にします。

原著者： Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qirui Li, Jinkun Hao, Yibo Li, Ran Yi, Paul L. Rosin, Yu-Kun Lai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

映画の中で、ボールがテーブルから転がり落ち、コップに当たり、それを倒す場面を見ていると想像してみてください。現実の世界では、物理学という「目に見えないルールブック」が存在することで、ボールが宙に浮いたり、コップがゼリー状になったりせず、タイミングが正しく感じられるようになっています。長い間、こうした動画を作ろうとするコンピュータは、絵を描くのは得意だが数学には疎い芸術家のようなものでした。彼らはボールが転がっている「見た目」を作ることはできても、「特定の角度でコップに当てる」ことや「正しい力で跳ね返らせる」ことを求められると、しばしば失敗しました。ボールがテーブルを突き抜けたり、コップがただ転がるべきなのに粉々に砕けたりすることがあったのです。これは、コンピュータが映画が始まる前に物理法則が成立しているかどうかを「確認」することなく、シーン全体を一気に推測してしまっているために起こります。

この論文は、コンピュータにいかにして優れた「物理の演出家」になってもらうかを教える、新しい手法を導入することでこの問題に取り組んでいます。単に推測するのではなく、コンピュータは今や実験室の科学者のように振る舞います。シーンのデジタルモデルを構築し、素早いテストを実行して何が起こるかを確認し、その結果がユーザーの要求と一致しているかをチェックし、最終的な動画を作る前に間違いを修正するのです。これは、材料を鍋に投げ込んで味が良くなるのを祈るシェフと、スープを味見し、塩が足りないと気づいて、ひとつまみ塩を加え、もう一度味見をしてから、それを出品するシェフの違いのようなものです。目標は、見た目が美しいだけでなく、現実世界の動きや衝突の厳格で目に見えないルールに従った動画を作ることです。

「PhysAgent」という名の探偵

上海交通大学とカーディフ大学のチームによる著者たちは、PhysAgentと呼ばれるシステムを構築しました。PhysAgentを、非常に粘り強く、内省的なロボット監督だと考えてください。あなたが写真（例えばボウリング場）と命令（「ボールがピンを正しく打つようにして」など）を与えると、それはすぐに撮影を開始するわけではありません。代わりに、「試行、確認、修正」というループに入ります。

プロセスは以下のステップで行われます：

最初の推測： ロボットはあなたの写真と命令を見ます。そして、シーンのデジタル版を構築し、物理学の「台本」を書きます。この台本は、コンピュータに対して「ボールは速度0.5m/sで開始する」「ピンは木製である」「力がここに加えられる」といった情報を伝えます。
シミュレーション（テスト走行）： きれいな動画を作る前に、ロボットは素早く大まかなシミュレーションを実行します。これはリハーサルのようなものです。デジタル上のボールが転がり、デジタル上のピンが飛んでいく様子を見守ります。
現実チェック： ロボットはこのリハーサルを、元の命令と比較します。ボールは正しいピンに当たりましたか？カボチャが落ちたとき、スツールは壊れましたか？もし答えが「いいえ」であれば、ロボットは諦めません。探偵のように振る舞います。「なぜ失敗したのか？」と問いかけるのです。
- 例：ボールが間違ったピンに当たった場合、ロボットは「ああ、力を左に寄せすぎてしまった」と気づくかもしれません。
- 例：カボチャがスツールを壊さなかった場合、「スツールが強すぎるか、あるいはカボチャの重さが足りなかった」と判断するかもしれません。
修正： 次に、ロボットは台本を編集します。力の方向を [0.6, 1.0, 0] に変更したり、速度を 0.8m/s に上げたりするかもしれません。ロボットは映画全体を書き直すのではなく、問題が発生した特定の箇所だけを修正します。
反復： 再度テストを実行します。合格すれば成功です。そうでなければ、再び修正します。このサイクルは、シミュレーションが完璧になるまで最大10回繰り返されます。

なぜ「ワンショット」の推測は失敗するのか

この論文は、彼らが「ワンショット予測」と呼ぶ従来の手法に対して強く異を唱えています。かつて、AIモデルは一瞬ですべての物理法則を推測しようとしてきました。著者らは、このアプローチは「脆い（brittle）」、つまり簡単に壊れてしまうものだと指摘しています。

トランプの塔を作る際、すべてのカードがどこに配置されるべきかを一秒で推測しようとしている場面を想像してください。もし最初のカードを少しでも間違えれば、塔全体が崩れてしまいます。同様に、AIが最初の試行で物体の重さや押す方向を誤って推測すると、動画全体が物理的に不可能なものになってしまいます。論文では、これらの要素（重さ、速度、方向、素材）は密接に関連しているため、一つの領域での小さなミスが結果全体を台無しにすることを示しています。PhysAgentは、物理学の台本を最終的な答えではなく、テストされ修正されるべき「仮説」として扱うことで、この問題を解決しています。

魔法のツールベルト：セマンティックAPI

この修正プロセスを容易にするために、研究者たちはロボットにアクションAPIと呼ばれる特別な道具セットを与えました。ロボットに「コンクリート上の木材の摩擦係数を計算せよ」といった複雑な数学を求める代わりに、人間のような単純なコマンドを与えたのです。

これらはロボットのツールベルトのようなものです。単に「14ニュートンのベクトル力を30度の角度で加える」と言う代わりに、ロボットは次のように言えます：

「ボールの速度を0.5m/sに設定する」
「カボチャに力を加える」
「スツールを硬い状態にする」
「コップを固定する」

これにより、ロボットはより賢くなり、愚かな数学的エラーを起こしにくくなります。ロボットは生の数値に固執するのではなく、物理学の「物語」（例：「ボールが転がり落ちてコップの中に着地すべきである」）に集中できるようになります。

研究結果

チームは、風の中で花火がカーブを描いたり、リングがおもちゃに引っかかったりするような、80種類の物理現象を含む27種類の異なるシーンでPhysAgentをテストしました。彼らは自分たちの手法を、他のトップクラスのビデオ生成AIや物理ベースのAIと比較しました。

結果は明白でした：

優れた物理学： PhysAgentは、より物理的に妥当な動画を生成しました。AIが動画が理にかなっているかを判断するテストにおいて、PhysAgentは1.0満点中0.714を記録し、次に優れた物理ベースの手法であるRealWonder（スコア0.631）を上回りました。
人間の好み： 実在の人間が動画を選択するテストでは、PhysAgentの動画は、最高の汎用ビデオ生成器（Wan2.2）に対して73.4%、他の物理ベースの手法に対しては最大**93.6%**の割合で好まれました。
ループの重要性： 研究者が「修正」ループを取り除き、ロボットに一度だけの推測を行わせたところ、品質は著しく低下しました。これは、「チェックして修理する」能力こそが秘訣であることを証明しています。

結論

この論文は、リアルな動画を作る未来は、単に映像をより美しくすることではなく、コンピュータがいかにして世界の仕組みを「理解」するかにあることを示唆しています。AIにシミュレーションを実行させ、自らの仕事をチェックさせ、間違いを修正させることで、PhysAgentは物体が衝突し、壊れ、跳ね返る様子を、まさに起こるべき通りに表現することができます。それは、混沌とした動画生成のプロセスを、丁寧で段階的な実験へと変え、画面上のボールがコップに当たる様子が、まるで自分のリビングルームで実際に起きているかのように感じさせるのです。

技術要約：物理的に妥当なビデオ生成のための反射的なエージェント型物理制御

問題提起

近年のビデオ生成技術は、高い視覚的忠実度と時間的一貫性を達成しているが、物理的に妥当なダイナミクスを生み出すことには頻繁に失敗する。モデルは、物体が接触せずに滑ったり、力が誤った方向に作用したり、あるいは材料依存の挙動（例：剛体の破壊や軟体オブジェクトの変形）を無視したりするビデオを生成することが多い。この問題は、単一の入力画像からユーザー指定の物理イベントに基づく妥当な未来へと変換する必要がある**画像からビデオへの生成（image-to-video generation）**において特に顕著である。

核心となる課題は、物理ダイナミクスに対するきめ細かな制御にある。既存の物理に基づいた手法は、視覚言語モデル（VLM）を用いて、構造化されたシミュレータ仕様（シーンの状態とイベントパラメータ）を**一回限りのパス（single pass）**で推論することで、生成をガイドしようと試みている。しかし、このアプローチは本質的に脆弱である。その理由は以下の通りである：

密結合した要因： 仕様には、多くの相互依存する要因（オブジェクトの接地、材料特性、力の大きさ、タイミングなど）が含まれる。ある要因を単独で見れば妥当に見えるパラメータであっても、他の要因と組み合わせた際にシミュレーション全体を失敗させる可能性がある。
実行を考慮しない予測： 正当性は仕様のみから判断することはできず、実行を通じて評価されなければならない。一回限りの予測には、ビデオ合成の前にシミュレーションの失敗を検出し、修復するメカニズムが欠けている。

手法：PhysAgent

著者らは、物理シミュレーションの制御を、一回限りの予測ではなく、クローズドループの実行認識プロセスとして扱う反射的なエージェントフレームワークであるPhysAgentを提案する。このフレームワークは、実行可能な物理制御プログラムを構築し、それをシミュレートし、結果を検証し、失敗を反復的に修復することで動作する。

1. フレームワークのアーキテクチャ

PhysAgentは、ループ内で動作する3つの主要なコンポーネントで構成される：

プログラム生成器 ( $G$ ): 入力画像 $I$ $I$ とイベントプロンプト $p$ $p$ から、初期の物理制御プログラム $P = (S, E)$ $P = (S, E)$ を構築する。
- シーン状態 ( $S$ ): 接地されたオブジェクト、材料タイプ、密度、支持幾何学、およびカメラパラメータを定義する。
- イベントプログラム ( $E$ ): 対象となるオブジェクト、初期速度、力、トルク、およびタイミングを定義する。
検証器 ( $V$ ): エラーを特定するために、段階的な進行型バリデーションを実行する：
1. シーン再構成バリデーション： 3Dシーン（幾何学、オブジェクトの位置、カメラ）が入力画像と一致しているかを確認する。これが失敗した場合、シミュレータは呼び出されない。
2. 物理シミュレーション・バリデーション： イベントプログラムを物理エンジン内で実行し、短い診断用ビデオを生成する。検証器は、プロンプトに対する軌道の正確性、接触のタイミング、力の方向、および材料の反応をチェックする。
プランナー ( $P$ ): 検証が失敗した場合、プランナーは診断結果と過去のラウンドのメモリを分析し、ターゲットを絞ったフィードバック ( $F$ ) を生成する。このフィードバックは、プログラム全体を再生成するのではなく、特定の編集（例：「初期速度を上げる」「力の方向を変える」「材料を変更する」）を提案する。

2. セマンティック物理制御API

VLMが低レベルのシミュレータコマンドを直接予測することによる構文上のオーバーヘッドと脆弱性を軽減するため、著者らは一連のセマンティックなアクションAPIを設計した。イベントプログラムは、高レベルのオペレータのシーケンスとして表現される：

状態初期化： SetVelocity（速度設定）、SetAngularVelocity（角速度設定）。
駆動： ApplyForce（力の適用）、ApplyTorque（トルクの適用）、ApplyAngledForce（傾斜力の適用）。
摂動： ApplyDisturbance（風などの乱れ）。
制約： SetPosition（位置設定）、SetOrientation（方向設定）、FixObject（オブジェクトの固定）。

これらのAPIにより、エージェントは運動や相互作用のレベルで物理イベントを推論することができ、実行時にのみこれらを具体的なシミュレータ操作へとコンパイルすることができる。

3. 反射ループ

プロセスは以下の反復的な洗練スケジュールに従う：

生成： 初期プログラムを作成する。
検証： シーン再構成をチェックする。通過した場合、短い診断シミュレーションを実行する。
診断： 検証器が特定の失敗（例：「ボールがピンに当たる代わりにテーブルから転がり落ちる」）を特定する。
修復： プランナーが診断に基づいてプログラムを更新する（例：力ベクトルを [0.6, 1.0, 0] から [1.4, 1.0, 0] へ調整する）。
反復： 診断ロールアウトが通過するか、最大反復予算に達するまでループを継続する。最終的に検証されたロールアウトは、ビデオ生成器のための構造化されたモーションプライア（motion prior）として機能する。

主な貢献

実行認識型の定式化： 本論文は、物理的に妥当なビデオ生成を、静的なパラメータの予測ではなく、実行可能な物理プログラムを制御する問題として再定義した。これは、仕様を実行可能な仮説として扱い、テストおよび修正できるものとして扱う。
反射的エージェントフレームワーク： VLMベースの生成、物理シミュレーション、反射的検証、およびターゲットを絞ったプログラム修復を統合したクローズドループシステムを導入した。これにより、複雑な軌道や多段階の相互作用を段階的に実現することが可能になる。
セマンティック制御インターフェース： 低レベルの数値コマンドを表現力豊かで構成的なプリミティブへと抽象化する物理制御APIの設計により、制御の柔軟性と洗練の効率性の両方を向上させた。
段階的バリデーション： 再構成エラーとダイナミクスエラーを分離する段階的な検証戦略により、不要なダウンストリームのロールアウトを防ぎ、ターゲットを絞った修復を可能にする。

実験結果

著者らは、27の異なるシーンと80のイベントケース（視覚的一貫性をテストするために1つのシーンにつき複数のイベントを含む）からなるカスタムベンチマークを用いてPhysAgentを評価した。

定量的指標：
- PhysReal： 物理的妥当性とプロンプトへの適合性を評価する、GPTベースの正規化スコア。PhysAgentは0.714を達成し、一般的なTI2Vモデル（例：Wan2.2の0.633）や物理に基づいたベースライン（例：PhysCtrlの0.579、PhysGen3Dの0.480）を上回った。
- 視覚的品質： PhysAgentは、多くのベースラインと比較して、Visuals (0.644)、Aesthetics (0.521)、Consistency (0.266) においても高いスコアを獲得しており、物理的制御が視覚的忠実度を損なわないことを示している。
ユーザー調査 (2AFC)： 二者択一強制選択法による調査において、PhysAgentは以下の3つの基準ですべてのベースラインよりも好まれた：
- アクションへの追従性： 優先度 70.2% – 92.4%
- 視覚的品質： 優先度 60.7% – 90.3%
- 物理的妥当性： 優先度 66.5% – 93.6%
アブレーション研究：
- 反射ループを削除（一回限りの予測）すると、PhysRealが最大級に低下（0.631）し、反復的な修復の必要性が確認された。
- セマンティックAPIを低レベルパラメータに置き換えると、性能が低下し、平均洗練ラウンド数が3.63から5.74に増加した。これは、セマンティックな抽象化が表現力と効率性の両方を向上させることを示している。

重要性と主張

本論文は、実行認識型の物理制御が、精密な接触タイミング、力の方向、材料の反応、および多段階の相互作用を必要とするプロンプトに対して、制御可能なビデオ生成の有望な方向性であることを主張している。

著者らは、彼らのアプローチが「一回限りの」VLM予測の限界を超えていることを強調している。一回限りの予測は、結合された物理的要因の複雑さゆえに、ユーザーの意図を実行可能なシミュレーションへと変換することに失敗することが多い。物理的仕様を実行可能な「仮説」として扱い、シミュレート、診断、および修復できるようにすることで、PhysAgentは既存の手法にはない堅牢性と微細な制御を実現している。シーンの状態とイベントのダイナミクスを分離し、セマンティックなインターフェースを使用することで、エージェントが視覚的一貫性を犠牲にすることなく、複雑な物理シナリオを扱えることを本フレームワークは示している。