🤖 machine learning

Training and Benchmarking Code Generation for Physics-Inspired Animations

本論文は、物理学にインスパイアされたアニメーションのための実行可能なコードの生成において、大規模言語モデルの学習および評価を行うための包括的なデータセットおよびベンチマークであるSimuSceneを導入するものであり、トップクラスのモデルであってもこのタスクには苦戦することを示すとともに、視覚的報酬を利用した新しい強化学習パイプラインを通じて大幅な改善が可能であることを実証している。

原著者： Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたのそばに、物語の本を読み、その物語の映画を作るためのコンピュータコードを即座に書き上げることができる、超スマートなロボットの友達がいるとします。あなたが「ボールが丘を転がり落ち、壁に跳ね返る」と言えば、あなたはボールが丘を転がり、壁に跳ね返る様子が見られることを期待します。これが**大規模言語モデル（LLM）**の夢です。人間の言葉を理解し、それをアクションへと変えるコンピュータのことです。しかし、ここにはトリッキーな部分があります。ロボットがコードを書けたとしても、そのコードが作る映画が、必ずしも物語通りの見た目になるとは限らないのです。コード自体は実行されるかもしれませんが、ボールが幽霊のように浮いていたり、丘を逆に登ったり、あるいは四角形に変形したりするかもしれません。この論文は、科学の特定の領域を探求しています。そこでは、「AIロボットは単に脚本を書くだけでなく、映画の物理法則を演出して、現実のように感じさせることはできるのか？」という問いを投げかけています。それは、シェフに対して、単にケーキのレシピを書くだけでなく、実際にケーキのような味のものを焼く（レンガのような味ではなく）ことを求めるようなものです。

モハメド・ビン・ザイード・人工知能大学（MBZUAI）と中山大学のチームが主導したこの研究の背後にある研究者たちは、これらのAIロボットを究極のテストにかけようと決めました。彼らはSimuSceneという新しいゲームを作り上げました。これは、重力、光、電気、流体の流れといった52種類の異なる物理テーマを持つ、巨大で自動化された遊び場のようなものです。彼らは、「滑りやすいテーブルの上を回転するディスク」や「レンズを通る光の屈折」といった何千ものユニークなシナリオを生成するシステムを構築し、AIに対してそれらをアニメーション化するためのPythonコードを書くよう求めました。しかし、ここが落とし穴です。AIは、単に実行可能なコードを書いただけで合格とはなりません。生成されたコードが、記述された物理法則通りのビデオを実際に作り出さなければならないのです。これをチェックするために、彼らは特別な「審判」（視覚言語モデル）を用いました。この審判は生成されたビデオを観察し、「ボールは跳ね返ったか？」「光は正しく屈折したか？」といった質問に答えます。もしビデオが質問に失敗すれば、AIもテストに失敗したことになります。

結果は、厳しい現実を突きつけるものでした。最新鋭の最も高度なAIモデルでさえ、非常に苦戦したのです。研究者が10種類のトップクラスのAIに対してこれらのアニメーション生成を依頼したところ、最も優れたモデルでさえ、平均して約**21.5%**のシナリオしか正解できませんでした。つまり、100回の試行のうち、AIが物理的な記述に一致するビデオを正常に作成できたのは、わずか21回程度だったということです。多くの場合、コードは実行されるものの、アニメーションは奇妙なものになります。物体が壁を通り抜けたり、逆方向に動いたり、重力を無視したりすることがあるのです。AIにコードを書かせることと、世界の動きに関する目に見えないルールを理解させ、それらを可視化させることは、全く別の難しいパズルであることが判明しました。

しかし、この論文は単に「難しい」と言うだけでは終わりません。チームはAIをより良くするための巧妙なトリックも試みました。彼らは**強化学習（Reinforcement Learning）**と呼ばれる手法を用いました。これは、犬にオヤツをあげて訓練するようなものです。テキストに基づいて単に「よくできました」や「ダメです」と言うのではなく、AIにビデオを生成させ、そのビデオを観察し、ビデオが実際に正しく見えた場合にのみ「オヤツ」（報酬）を与えるようにしました。彼らは、視覚ベースの判定器を使用してこれらの報酬を与えました。このトレーニングの後、AIモデルは大幅に改善されました。**0%の成功率からスタートした小さなモデルは、トレーニング後に11.1%の合格率に達し、より大きなモデルは18.3%から34.4%**へと跳ね上がりました。これは、AIはまだ完璧な物理エンジンではないものの、生成したビデオを実際に見て、自分の間違いから学ぶことができれば、上達できることを示唆しています。

要約すると、この論文は、私たちのAIの友達がコードを書くことには長けてきているものの、物理の優れたディレクターになるにはまだ学習の途中であることを示しています。彼らは脚本は書けますが、映画をリアルに見せることは依然として進行中の課題です。チームは、彼らを訓練するために7,600以上の物理シナリオを含む大規模なデータセットを構築しました。そして、彼らの実験は、結果（ビデオ）を観察し、そこから学ぶことが、これらのモデルを教えるための強力な方法であることを証明しています。適切なトレーニングがあれば、私たちの突飛な物理的記述を、正確で動きのある映像へと変えることができるAIが、すぐそこまで来ているかもしれません。

技術要約：SimuScene – 物理学にインスパイアされたアニメーションのための学習およびベンチマーク・コード生成

問題提起

大規模言語モデル（LLM）は、数学的推論、複雑なコーディング、科学的問題解決において強力な能力を示しているが、物理的なシナリオとその定性的なダイナミクスを視覚的に描写する実行可能なコードを生成する能力については、まだ十分に探求されていない。既存のベンチマークは、記号的推論、静的なコーディングタスク、あるいは知覚的理解を個別に評価するものである。これらは、モデルに対して、レンダリングされたアニメーションが動的な物理的記述と視覚的に一致するようなコードを生成させることを要求していない。

核心となる課題は、物理的シナリオの理解とアニメーション指向のコード生成の交差点にある。このようなアニメーションを生成するには、単なる数値的な精密さではなく、定性的な物理的理解（例：運動パターン、時間的進化、物体の相互作用）だけでなく、これらの概念を実行可能な視覚的形態として表現するコーディング能力も必要となる。本論文は、目標が数値的に正確なシミュレーションではなく、定性的な物理的記述と視覚的に解釈可能なアニメーションを生成するコードの生成であると断じている。

メソドロジー

1. SimuScene データセットの構築

著者らは、物理学にインスパイアされたアニメーション生成におけるLLMを評価するために設計された、新しいタスク、データセット、およびベンチマークであるSimuSceneを導入する。

範囲: データセットは、力学、電磁気学、光学、流体力学、熱力学の5つの古典的な物理学領域にわたる52の概念をカバーしている。
パイプライン: データ品質を確保するために、多段階の自動化パイプラインが開発された：
1. シナリオ生成: 52の概念から出発し、GPT-4oが基本的な物理シナリオと、難易度を制御するための追加条件（例：「空気抵抗を考慮して」）を生成する。
2. 妥当性フィルタリング: シナリオが物理的に妥当であるかどうかを自動的にチェックする。
3. 検証質問の生成: 有効なシナリオに対し、GPT-4oが期待される定性的なダイナミクスを記述する視覚的検証質問を生成する。
4. 質問の検証: 第2のレビュー段階（DeepSeek-R1-0528を使用）において、質問セットが記述された全運動を判断するのに十分であるかを評価する。
5. 人間による検証: 334例のテストセットは、明確な記述、妥当なシナリオ、および包括的な検証質問を保証するために、手動で検証された。
統計: 最終的なデータセットには、7,659の検証済みシナリオ（トレーニング用7,325、テスト用334）が含まれる。トレーニングデータには、12,556の正解応答（視覚的に検証済み）と、強化学習（RL）に使用される4,325のシナリオが含まれる。

2. 評価パイプライン

評価プロセスは以下の3ステップで構成される：

コード生成: LLMがシナリオ記述に基づいてPythonコードを生成する。
ビデオレンダリング: コードを実行して、定性的なダイナミクスを描写するビデオをレンダリングする。
VLMベースの検証: ビジョン言語モデル（VLM）が、レンダリングされたビデオを検証質問と照らし合わせて評価する。すべての検証質問が「True」と回答された場合にのみ、回答は正解とみなされる。

信頼性: VLMジャッジ（Qwen2.5-VL-72B-Instruct）は人間のアノテーターに対して検証され、87.8%の一致率を達成しており、自動評価の信頼性が確認されている。

3. トレーニング手法：Code-Video-Judge RL

性能を向上させるため、著者らは教師あり微調整（SFT）と、視覚的報酬を用いた強化学習（RL）を組み合わせたトレーニングパイプラインを提案する。

報酬信号: コード生成されたビデオに対してVLMが回答した複数の検証質問からのスコアを集計することで、Code-Video-Judge報酬が計算される。
バイナリ報酬: デフォルトの報酬はバイナリ（ $r_{binary}$ ）であり、すべての検証質問が真である場合にのみパスを与える。
RLアルゴリズム: これらの視覚的報酬に基づいてポリシーを最適化するために、Group Relative Policy Optimization（GRPO）が使用される。
報酬ハッキングの軽減: 戦略には、マルチ質問集計、アンサンブルVLM投票、およびトレーニング用と評価用VLMの分離が含まれる。人間による評価では、体系的な報酬ハッキングの証拠は見られなかった。

主な貢献

SimuScene ベンチマーク: 物理学にインスパイアされたアニメーションのための実行可能なコードを生成するLLMを評価するための、最初の体系的な研究およびデータセット。これは、厳格に人間によって検証された334のシナリオを含むテストセットと、品質管理されたトレーニングデータを提供している。
包括的なベンチマーク: 10の最先端LLM（GPT-5、DeepSeek-R1、Qwen3、Geminiを含む）の評価により、強力なモデルであっても**Avg@8精度がわずか21.5%**であるという重大な限界が明らかになった。
視覚的報酬トレーニング: テキストのみのLLMを、コード生成されたビデオからの視覚ベースの報酬を用いて訓練する強化学習パイプラインの導入。このアプローチは大幅な向上をもたらし、訓練された7Bモデルは11.1%のパス率（ベースラインの0%と比較）を達成し、32Bモデルは72.2%のPass@8に達した。

結果

ベースラインの性能

低いエンドツーエンド精度: 最も強力なモデルであっても、実行可能かつ記述と視覚的に一致するアニメーションを生成することに苦戦している。DeepSeek-R1-0528は、わずか21.5%のAvg@8を達成したに過ぎない。
高い実行性、低い整合性: モデルは一般に、高い実行率（E.R.）およびレンダリング率（R.R.）を示すが、再生率（P.R.）および精度（Acc.）は低くなる。これは、シナリオ記述を妥当な定性的ダイナミクスへと翻訳することの難しさを示している。
ドメインによる差異: パフォーマンスはドメインによって異なる。力学（27.7% Avg@8）や熱力学（26.0%）は、光学（8.4%）よりも高い性能を示す。これは後者のデータ不足に起因すると考えられる。

トレーニングによる改善

SFTの影響: 教師あり微調整（SFT）は、ベースモデルと比較してすべての指標を大幅に改善する。
RLによる利得: 強化学習（RL）は、特にレンダリングされたビデオを実行可能なものへと変換する能力と、最終的な精度を向上させることで、さらなる性能向上をもたらす。
- 7Bモデルは、RL後に34.4%のPass@8精度へと向上した。
- 32Bモデルは72.2%のPass@8を達成し、未学習の最先端モデルであるDeepSeek-R1を上回った。
報酬のアブレーション: 視覚的フィードバック（VLM-as-judge）は、テキストのみのLLM-as-judge報酬よりも優れていることが証明された。これは、静的なコードから推論するのではなく、実際の動きや相互作用を観察することで、より忠実な監督を提供するためである。

意義と主張

本論文は、SimuSceneが、物理的推論とコード生成の交差点におけるLLMの評価における決定的なギャップを埋めるものであると主張している。現在のモデルは、構文的に正しいコードを生成できたとしても、定性的な物理的ダイナミクスを忠実に捉えるアニメーションを生成する一貫性に欠けていることを強調している。

本研究は、精選された物理データと視覚ベースの報酬を用いて訓練することが、テキストからコード、そしてビデオへのパイプラインを、視覚的に一貫したものにする能力を効果的に向上させることを示している。著者らは、これがテキストのみのモデルに対して視覚ベースの報酬を使用して訓練を行う最初の試みの一つであることを強調しており、報酬ハッキングの証拠なしに、VLMベースの判定の信頼性を検証している。

本研究は、現在のモデルが大きな課題に直面している一方で、ターゲットを絞ったトレーニングによって、テキストによる物理的記述と実行可能な視覚的シミュレーションの間のギャップを埋めることが可能であることを示唆しており、教育的な可視化や制御可能なアニメーションプロトタイピングにおけるダウンストリームアプリケーションをサポートするものである。