🤖 machine learning

Training and Benchmarking Code Generation for Physics-Inspired Animations

本文介绍了 SimuScene，这是一个用于训练和评估大语言模型生成物理启发式动画的可执行代码的综合数据集和基准测试，证明了即使是顶尖模型在处理该任务时也表现挣扎，但通过一种利用视觉奖励的新型强化学习流水线可以得到显著改善。

原作者： Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它能读一本故事书，并能瞬间写出让故事变成电影的计算机代码。你告诉它：“一个球滚下山坡并撞到了墙上”，你期望看到的是一个球滚下山坡并撞向墙壁。这就是**大语言模型（LLMs）**的梦想：让计算机能够理解人类语言并将其转化为行动。但这里有一个棘手的部分。仅仅因为机器人写出了代码，并不意味着它制作的电影真的看起来像那个故事。代码可能会运行，但球可能会像幽灵一样漂浮，或者向上坡滚动，或者变成一个正方形。这篇论文探讨了科学的一个特定领域，我们在这里追问：这些人工智能机器人是否不仅能写剧本，还能真正导演电影中的物理效果，使其感觉真实？这就像是要求一位厨师不仅要写出一份蛋糕的食谱，还要真正烤出一个吃起来像蛋糕而不是像砖头的东西。

这项研究背后的研究人员，由来自穆罕默德·本·扎耶德人工智能大学和中山大学的一个团队领导，决定让这些人工智能机器人接受终极测试。他们创建了一个名为 SimuScene 的新游戏。把它想象成一个巨大的、自动化的游乐场，拥有 52 种不同的物理主题，比如重力、光照、电力以及流体的流动方式。他们构建了一个系统，可以生成数千个独特的场景——比如“在光滑桌面上旋转的圆盘”或“通过透镜折射的光线”——然后要求人工智能编写 Python 代码来进行动画制作。但关键在于：人工智能不仅仅是因为写出了能运行的代码就能通过。代码必须产生一段视频，其内容实际上要符合所描述的物理特性。为了检查这一点，他们使用了一个特殊的“裁判”（视觉语言模型），该模型会观看生成的视频并回答问题，例如：“球弹跳了吗？”或者“光线折射的方向对吗？”如果视频未能通过这些问题的测试，人工智能也就失败了。

结果是一个现实的警示。即使是当今最聪明、最先进的人工智能模型也表现得非常吃力。当研究人员要求 10 个顶尖的人工智能模型生成这些动画时，表现最好的一个平均也仅能正确完成约 21.5% 的场景。这意味着在 100 次尝试中，人工智能大约只能成功创建 21 次与物理描述相符的视频。大多数情况下，代码虽然可以运行，但动画会显得很奇怪：物体可能会穿过墙壁，移动方向错误，或者完全忽略重力。事实证明，教人工智能写代码是一回事，但教它理解世界的运动规律以及如何将这些规律可视化，则是另一个难得多的谜题。

然而，这篇论文并不仅仅停留在说“这很难”。团队还尝试了一种巧妙的技巧来让人工智能变得更好。他们使用了一种叫做强化学习的方法，这就像是用零食训练狗一样。他们不再仅仅根据文本告诉人工智能“做得好”或“做得不好”，而是让人工智能生成一段视频，观看这段视频，并且只有当视频看起来确实正确时，才给它一个“奖励”（即零食）。他们使用了一个基于视觉的评判者来给出这些奖励。经过这种训练后，人工智能模型的表现有了显著提升。一个初始成功率为 0% 的较小模型在训练后达到了 11.1% 的通过率，而一个较大的模型则从 18.3% 跳升到了 34.4%。这表明，虽然人工智能目前还不是完美的物理引擎，但如果你向它们展示它们创作的实际视频，并让它们看到自己的错误，它们是可以学会进步的。

简而言之，这篇论文表明，尽管我们的人工智能朋友在编写代码方面表现出色，但在成为优秀的物理导演方面仍在学习阶段。它们可以写出剧本，但让电影看起来真实仍然是一个正在进行中的过程。该团队构建了一个包含超过 7,600 个物理场景的大型数据集来帮助训练它们，他们的实验证明，通过观察结果（视频）并从中学习，是教导这些模型的一种强大方式。这是一个充满希望的迹象，表明通过正确的训练，我们可能很快就能拥有能够将我们最狂野的物理描述转化为准确、生动的动态图像的人工智能。

技术摘要：SimuScene —— 物理启发式动画的代码生成训练与基准测试

问题陈述

尽管大语言模型（LLMs）在数学推理、复杂编程和科学问题解决方面展现出了强大的能力，但它们生成能够视觉化呈现物理场景及其定性动力学特性的可执行代码的能力仍未得到充分探索。现有的基准测试通常孤立地评估符号推理、静态编码任务或感知理解。它们并不要求模型生成其渲染出的动画在视觉上与物理动态描述相一致的代码。

核心挑战在于物理场景理解与面向动画的代码生成之间的交集。生成此类动画不仅需要定性的物理理解（例如：运动模式、时间演化、物体交互），还需要将这些概念转化为可执行视觉形式的代码能力。本文认为，目标并非数值精确的模拟，而是生成能够产生与定性物理描述在视觉上一致的可解释动画的代码。

方法论

1. SimuScene 数据集构建

作者引入了 SimuScene，这是一个全新的任务、数据集和基准测试，旨在评估 LLMs 在物理启发式动画生成方面的能力。

范围： 该数据集涵盖了五个经典物理领域（力学、电磁学、光学、流体力学和热力学）中的 52 个概念。
流水线： 开发了一个多阶段自动化流水线以确保数据质量：
1. 场景生成： 从 52 个概念出发，由 GPT-4o 生成基础物理场景及额外的约束条件（例如“考虑空气阻力”）以控制难度。
2. 合理性过滤： 自动检查场景是否符合物理常识。
3. 验证问题生成： 对于有效的场景，GPT-4o 会生成描述预期定性动态的视觉验证问题。
4. 问题验证： 第二阶段评审（使用 DeepSeek-R1-0528）评估问题集是否足以判断所描述的完整运动。
5. 人工验证： 对 334 个示例测试集进行人工验证，以确保描述清晰、场景合理且验证问题全面。
统计数据： 最终数据集包含 7,659 个经过验证的场景（7,325 个用于训练，334 个用于测试）。训练数据包括 12,556 个正确响应（经过视觉验证）以及用于强化学习（RL）的 4,325 个场景。

2. 评估流水线

评估过程包含三个步骤：

代码生成： LLM 根据场景描述生成 Python 代码。
视频渲染： 执行代码以渲染出描绘定性动态的视频。
基于 VLM 的验证： 视觉语言模型（VLM）根据验证问题对渲染出的视频进行评估。只有当所有验证问题的回答均为“True”时，才被视为正确。

可靠性： VLM 评判器（Qwen2.5-VL-72B-Instruct）通过了人类标注员的验证，实现了 87.8% 的一致性，证实了自动化评估的可靠性。

3. 训练方法：代码-视频-评判器 RL (Code-Video-Judge RL)

为了提升性能，作者提出了一个结合监督微调（SFT）和带有视觉奖励的强化学习（RL）训练流水线。

奖励信号： 通过聚合 VLM 对代码生成的视频所回答的多个验证问题的得分，计算出 Code-Video-Judge 奖励。
二元奖励： 默认奖励为二元奖励（ $r_{binary}$ ），仅在所有验证问题均为真时才分配通过分值。
RL 算法： 使用群体相对策略优化（GRPO）算法，基于这些视觉奖励来优化策略。
缓解奖励作弊（Reward Hacking）： 策略包括多问题聚合、集成 VLM 投票以及将训练 VLM 与评估 VLM 分离。人工评估确认没有发现系统性奖励作弊的证据。

核心贡献

SimuScene 基准测试： 第一个系统性研究及数据集，用于评估 LLMs 生成物理启发式动画的可执行代码能力，其特点是拥有经过严格人工验证的 334 个场景测试集和质量受控的训练数据。
全面的基准测试： 对 10 种前沿 LLMs（包括 GPT-5、DeepSeek-R1、Qwen3 和 Gemini）的评估显示出显著的局限性，最强的模型也仅达到了 21.5% 的 Avg@8 准确率。
视觉奖励训练： 引入了一种利用代码生成视频的视觉奖励来训练纯文本 LLMs 的强化学习流水线。这种方法带来了显著提升，训练后的 7B 模型实现了 11.1% 的 Pass 率（相比于基线的 0%），而 32B 模型达到了 72.2% 的 Pass@8。

结果

基线性能

端到端准确率较低： 即便是最强的模型，也很难生成既能执行又能与描述在视觉上保持一致的动画。DeepSeek-R1-0528 的 Avg@8 准确率仅为 21.5%。
高执行率，低对齐度： 模型通常具有较高的可执行率（E.R.）和渲染率（R.R.），但较低的可播放率（P.R.）和准确率（Acc.），这表明将场景描述转化为合理的定性动态存在困难。
领域差异： 性能随领域不同而变化。力学（27.7% Avg@8）和热力学（26.0%）的表现优于光学（8.4%），这可能是由于后者的数据稀缺性所致。

训练改进

SFT 的影响： 监督微调相对于基座模型显著提升了所有指标。
RL 的增益： 强化学习进一步提升了性能，特别是在将渲染视频转化为可播放视频以及提高最终准确率方面。
- 7B 模型在 RL 后从 0.0% 提升至 34.4% 的 Pass@8 准确率。
- 32B 模型达到了 72.2% 的 Pass@8，超越了未经训练的前沿模型如 DeepSeek-R1。
奖励消融实验： 视觉反馈（VLM 作为评判器）被证明优于纯文本 LLM 作为评判器的奖励，它通过观察实际的运动和交互，而非仅仅从静态代码中推断，提供了更忠实的监督。

重要性与主张

本文主张 SimuScene 填补了评估 LLMs 在物理推理与代码生成交集领域的关键空白。它强调，当前的模型缺乏生成能够忠实捕捉定性物理动态的动画的一致性，即使它们可以生成语法正确的代码。

这项工作证明，使用精心策划的物理数据和基于视觉的奖励进行训练，可以有效提升模型生成在视觉上与文本一致的“文本-代码-视频”流水线的能力。作者强调，这是首批使用视觉奖励来训练纯文本模型处理此类任务的工作之一，验证了 VLM 评判在没有奖励作弊证据情况下的可靠性。

研究表明，虽然目前的模型面临重大挑战，但针对性的训练可以弥合文本物理描述与可执行视觉模拟之间的鸿沟，从而支持下游的教育可视化和可控动画原型设计应用。