Goal Force: 教导视频模型完成物理条件化目标

1. 研究背景与问题 (Problem)

近年来，视频生成模型（“世界模型”）在模拟机器人和规划中的潜在未来方面取得了显著进展。然而，如何为这些模型指定精确的物理目标仍然是一个巨大的挑战：

• 文本指令的局限性：文本通常过于抽象，难以捕捉物理交互的细微差别（例如，足球运动员的目标不仅仅是“射门”，而是以特定的力度和精度击球）。
• 目标图像的限制：对于动态任务，指定一个精确的目标帧（如球进入球门的特定光照和位置）往往不切实际或过于繁琐。
• 现有方法的不足：现有的控制方法（如直接力提示或轨迹控制）通常只能模拟直接的力作用或预定义的轨迹，缺乏对因果链的推理能力（即无法规划“为了达到目标力，需要先做什么动作”）。

2. 核心方法 (Methodology)

作者提出了 Goal Force 框架，这是一种新颖的视频生成范式，允许用户通过**显式的目标力向量（Goal Force Vectors）**和中间动力学来定义目标，而不是直接指定动作或最终状态。

2.1 核心概念：从“直接力”到“目标力”

• 直接力 (Direct Force)：用户指定一个力，模型直接将其施加在物体上（模拟“如果施加这个力会发生什么”）。
• 目标力 (Goal Force)：用户指定一个期望的结果力（例如，“让橙色球向左移动”），模型必须反向推理并生成一个先前的因果链（例如，“白色球撞击橙色球”）来实现该目标。

2.2 多通道物理控制信号 (Multi-Channel Physics Control Signal)

模型接收一个三维物理控制张量 $\tilde{\pi}$，包含三个通道：

1. 通道 0 (直接力)：编码即时的、直接的力（原因）。表示为移动的“高斯斑点”视频。
2. 通道 1 (目标力)：编码目标物体上期望的结果（效果）。同样使用移动的高斯斑点表示期望的力和运动。
3. 通道 2 (质量)：编码物体的相对质量信息（可选）。表示为静态的高斯斑点，半径与质量成正比。

2.3 训练策略：隐式神经物理规划器

• 数据集：使用合成数据训练，包含简单的因果原语（如弹性碰撞的球、多米诺骨牌）和复杂动力学（如摇摆的花朵）。数据由 Blender 和 PhysDreamer 生成。
• 课程学习 (Curriculum Learning)：
  • 随机掩码 (Random Masking)：在训练过程中，随机掩码“直接力”或“目标力”通道。
  • 双向推理：
    • 给定目标力 $\rightarrow$ 模型必须推断并生成先前的直接力事件（规划）。
    • 给定直接力 $\rightarrow$ 模型必须模拟随后的碰撞和次级力（物理模拟）。
  • 质量通道也被随机掩码，迫使模型在缺乏显式质量信息时，利用其内部学到的物理先验来估计属性。
• 架构：基于 Wan2.2（混合专家扩散模型），使用 ControlNet 模块注入物理控制信号。仅对负责全局结构和低频动力学的高噪声专家进行微调。

3. 主要贡献 (Key Contributions)

1. 新任务与模型 (Goal Force)：提出了将视频模型训练为能够规划物理交互因果链以达成特定目标力的新范式。这超越了以往直接施加力的方法。
2. 隐式神经物理模拟器：提出了一种新的训练范式，利用多通道控制信号（力、目标力、质量），使模型无需外部物理引擎即可在推理阶段充当隐式的神经物理模拟器。
3. 强大的域外泛化能力：尽管仅在简单的合成数据（球、多米诺、花）上训练，模型却能零样本泛化到复杂的真实场景，包括工具使用（如用球杆击球）、人机交互和多物体因果链。

4. 实验结果 (Results)

• 与纯文本基线的对比：
  • 在包含 75 个挑战性场景的人类评估中，Goal Force 在目标力遵循度 (Goal Force Adherence) 上显著优于纯文本提示（零样本和微调版本）。
  • 证明了显式的物理控制信号对于解决复杂物理规划任务至关重要，且并未显著牺牲视觉质量和运动真实感。
• 与现有方法的对比：
  • 现有方法（如 PhysGen, PhysDreamer, Force Prompting）只能模拟直接力的效果，无法规划先行动作。当输入目标力时，它们会错误地将其解释为直接作用在目标上的力。
  • Goal Force 能够生成正确的先行动作（如摆锤撞击方块），而不仅仅是让方块直接倒下。
• 视觉规划能力：
  • 准确性：在包含“自然障碍物”的场景中（例如，路径被阻挡，必须选择另一个物体作为施力者），模型能正确识别并选择合法的施力物体（成功率高达 98%）。
  • 多样性：在多米诺骨牌任务中，模型能探索多种有效的因果链（从不同的骨牌开始推倒），避免了模式崩溃（多样性得分 0.6577，远高于确定性基线的 0.3900）。
  • 物理先验利用：模型能根据物体质量调整施力速度（例如，击中更重的目标需要更快的速度），即使在分布外（Out-of-Distribution）场景下也能保持这种物理一致性。

5. 意义与影响 (Significance)

• 交互式世界模型的进步：Goal Force 推动世界模型从单纯的“模拟反应”向“主动规划”转变。它不仅能模拟物理反应，还能推理并规划实现特定物理结果所需的动作。
• 无需物理引擎的规划：该方法证明了通过数据驱动的学习，生成模型本身可以成为近似物理模拟器，无需在推理阶段依赖传统的物理引擎或 3D 几何信息。
• 机器人规划应用：为机器人提供了新的规划接口，允许通过高层的物理目标（如“施加特定力”）而非低层的轨迹来指导机器人行动，特别是在涉及工具使用和复杂因果链的任务中。

总结：Goal Force 通过教导视频模型理解“力”的因果逻辑，使其具备了在复杂物理环境中进行视觉规划的能力，实现了从“看到什么发生”到“思考如何让它发生”的跨越。