💻 computer science

Unified Simulation of Lagrangian Particle Dynamics via Transformer

本文提出了一种基于统一变换器的模拟器，该模拟器采用带有渐进式令牌合并的预测 - 校正框架，利用单一架构对流体、固体和颗粒材料等多种物理现象进行精确建模，该架构能够泛化至未见条件，并消除了针对特定现象的求解器工程需求。

原作者： Caoliwen Wang, Minghao Guo, Siyuan Chen, Heng Zhang, Mengdi Wang, Xingyu Ni, Hanson Sun, Kunyi Wang, Zherong Pan, Kui Wu, Lingjie Liu, Yin Yang, Chenfanfu Jiang, Taku Komura, Wojciech Matusik, Peter Y

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Caoliwen Wang, Minghao Guo, Siyuan Chen, Heng Zhang, Mengdi Wang, Xingyu Ni, Hanson Sun, Kunyi Wang, Zherong Pan, Kui Wu, Lingjie Liu, Yin Yang, Chenfanfu Jiang, Taku Komura, Wojciech Matusik, Peter Yichen Chen

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教计算机理解物理世界是如何运动的。传统上，如果你想模拟一条流动的河流，你需要一套专门针对水的数学规则；如果你想模拟一块布料，你需要一套完全不同的针对织物的规则；如果你想模拟沙子，甚至是蛋白质内部的微小原子，你则需要另一套独特的指令。这就像在一个巨大的游戏室里，每玩一个玩具都需要一本不同的说明书；如果你想玩一个新玩具，就必须购买一本全新的说明书。

本文介绍了一种基于Transformer（一种人工智能）构建的“通用游戏手册”。这种单一的人工智能模型无需为每种材料准备不同的说明书，而是能够仅用一套指令学习模拟一切——从流体、沙子到布料、弹性固体，甚至蛋白质。

以下是其工作原理的简单概念分解：

1. “粒子”语言

作者决定为所有这些不同的材料使用一种通用语言：粒子。
不要把流体、一块布料或蛋白质看作实心块，而应将其视为一团由微小、不可见的弹珠组成的云。

水只是许多相互滑过的弹珠。
布料是由隐形弹簧连接的弹珠。
沙子是相互碰撞和滑动但不会粘在一起的弹珠。
蛋白质是以非常特定方式扭转和旋转的弹珠。

通过将一切视为这些“弹珠”的集合，人工智能无需预先了解水和布料之间的区别。它只需学习这些弹珠如何相互作用。

2. “预测与修正”游戏

人工智能通过一个两步游戏来推算接下来会发生什么，这类似于人类猜测球会落在哪里：

步骤 1：猜测（预测）：人工智能观察这些弹珠并说：“好的，基于重力和风，我认为这些弹珠会移动到这里。”它做出一个快速、粗略的猜测。这一步很容易，因为它只考虑外力（如重力），而不考虑弹珠之间如何相互碰撞。
步骤 2：修正（修正）：人工智能意识到：“等等，如果我把它们移到那里，它们会互相撞在一起！”因此，它利用其“大脑”（神经网络）来计算修正值。它计算出需要将它们推回或向侧面移动多少以避免碰撞，就像真实的物理引擎那样。

3. “超级群组”大脑（Transformer 的魔力）

这是本文特殊发明所在。通常，为了让计算机弄清楚 10,000 个弹珠如何相互作用，它必须检查每一个弹珠与其他每一个弹珠的关系。这就像试图将 10,000 个人逐一互相介绍——既耗时又混乱。

作者构建了一个超级群组系统：

局部邻域：首先，人工智能观察附近的小组弹珠（就像在街角聊天的邻居）。
超级令牌：然后，它将这些群组压缩成“超级群组”（就像社区代表）。它将相似的弹珠合并，生成一个更小、更易管理的代表列表。
全局聊天：人工智能让这些“超级群组”相互交谈。这使得系统能够理解宏观层面的现象，例如穿过水的压力波或整块布料的涟漪，而不会被每一个微小的细节所拖累。
反合并：最后，它将来自“超级群组”的智慧重新扩散回各个单独的弹珠，赋予它们最终修正后的位置。

这就像一家公司，员工与直接团队交谈，团队主管与部门主管交谈，部门主管讨论公司战略。随后，战略会层层下达到员工手中。这使得模拟既快速又智能。

4. 它能做什么？

本文展示了这一单一的“通用游戏手册”在六种截然不同的事物上的应用：

流体：水流流动和飞溅。
布料：织物垂坠并与物体碰撞。
沙子：沙堆坍塌。
弹性固体：类似橡胶的物体弹跳和拉伸。
非牛顿流体：奇怪的流体，当你用力击打它们时会表现得像固体（如欧不裂）。
蛋白质：微小的分子机器进行扭转和折叠。

5. 现实世界的技巧

由于这种人工智能非常灵活，作者展示了它可以做到三件很酷的事情：

交互式控制：你可以用虚拟手指戳一下模拟，人工智能会立即知道水或布料应如何反应，即使你以前从未那样戳过它。
逆向设计：你可以告诉人工智能：“我希望这只橡皮鸭滑下斜坡并正好停在这里。”人工智能会逆向推导，计算出斜坡需要什么样的摩擦力才能实现这一目标。
从现实中学习：人工智能可以观看某人操作真实物体（如折叠绳子）的视频，并直接从视频中学习物理规律，而无需预先制作的 3D 模型。

核心结论

本文声称，通过结合这种“预测 - 修正”方法与“超级群组”Transformer 架构，他们构建了一个单一、统一的模拟器。它无需为每种新材料重新设计。它从数据中学习宇宙的规则，使其能够用单一、一致的大脑处理各种各样的物理现象。

注意：本文严格专注于模拟以及在该模拟中控制或设计参数的能力。它并未声称可用于医疗诊断、临床治疗或预测患者的生物学结果，而是用于在计算机环境中理解蛋白质和材料的力学机制。

技术摘要：基于 Transformer 的拉格朗日粒子动力学统一模拟

问题陈述

构建一个能够模拟物理现象全部多样性的统一模拟框架，长期以来一直是模拟科学领域的挑战。传统方法依赖于针对每种现象的不同离散化方案（例如，流体使用欧拉网格，固体使用拉格朗日网格）和控制方程（例如，纳维 - 斯托克斯方程、本构定律、原子势）。尽管现代引擎结合了多种求解器后端，但它们仍按“每现象、每求解器”的范式运行，这使得跨现象耦合变得困难，并限制了单一流程的适用性。

现有的基于机器学习的模拟器提供了一种互补方法，即直接从数据中学习动力学，从而绕过显式的偏微分方程（PDE）。然而，当前的神经模拟器通常是针对特定现象或方程类别设计和训练的。此外，降阶方法往往将学习到的基函数绑定到固定的几何形状或形状族上，当物理环境或几何形状发生变化时，需要重新设计模型。因此，亟需一种单一的架构，能够在不进行特定求解器重新设计的情况下，泛化到多样化的拉格朗日粒子系统。

方法论

作者提出了一种基于粒子的预测 - 校正 Transformer，在单一、固定的架构内统一模拟布料、弹性固体、牛顿与非牛顿流体、颗粒材料以及分子动力学。该模型遵循粒子模拟中常见的预测 - 校正方案（例如，基于位置的动态），将已知外力的积分与粒子间相互作用的学习分离开来。

1. 预测 - 校正框架

模拟步骤分为两个阶段：

显式预测器：在时间步长 $\Delta t$ 内积分已知外力 ( $\mathbf{F}_t$ )，生成中间状态 ( $\tilde{\mathbf{X}}_t, \tilde{\mathbf{V}}_t$ )。此步骤考虑了外部加速度，但忽略了粒子间相互作用。
学习校正器：神经网络 $F_\theta$ 基于中间状态、粒子属性 ( $\mathbf{C}$ )、拓扑结构 ( $\mathbf{T}$ ) 以及边界条件 ( $\mathbf{X}_b, \mathbf{C}_b$ ) 预测残差更新 ( $\Delta \mathbf{X}_t, \Delta \mathbf{V}_t$ )。最终状态更新为 $\mathbf{X}_{t+\Delta t} = \tilde{\mathbf{X}}_t + \Delta \mathbf{X}_t$ 和 $\mathbf{V}_{t+\Delta t} = \tilde{\mathbf{V}}_t + \Delta \mathbf{V}_t$ 。

2. 架构组件

校正器由三个阶段组成，旨在高效处理局部和全局相互作用：

粒子分词器 (Particle Tokenizer)：在全局注意力之前编码局部相互作用。它利用可学习核（参数化为带三线性插值的 3D 网格）聚合来自三个邻域的贡献：
- 空间邻域 ( $N^s_i$ )：基于相对位移和速度的粒子 - 粒子相互作用。
- 边界邻域 ( $N^b_i$ )：粒子 - 边界相互作用。
- 拓扑邻域 ( $N^t_i$ )：由静止形状邻接关系引导的相互作用（适用于布料/固体）。
  输出是一个粒子令牌 $\mathbf{h}_i$ ，将聚合特征与粒子自身状态拼接在一起。
超级令牌编码器 (Super-Token Encoder)：解决 $N$ 个粒子的全局自注意力计算成本问题。受多重网格方法启发，该模块在全局自注意力和令牌合并之间交替进行。
- 自注意力：使用 3D 旋转位置编码 (RoPE) 对当前分辨率下的令牌进行上下文化。
- 令牌合并：通过贪婪匹配并合并余弦相似度最高的令牌，在每一层将令牌数量减半。这创建了一组紧凑的“超级令牌”，聚合了局部特征、速度以及材料信息。
- 该过程重复 $L_e$ 层，随着层数加深，逐步减少序列长度和计算成本。
超级令牌解码器 (Super-Token Decoder)：通过 $L_d$ 层将粗略上下文提升回全粒子分辨率。
- 粒子令牌通过交叉注意力查询超级令牌，使粒子能够访问编码在超级令牌中的全局信息。
- 随后，粒子令牌通过自注意力和前馈网络进行细化。
- 最终的 MLP 将细化后的令牌映射到残差位置和速度校正。

3. 训练

该模型使用 $W$ 个状态窗口的自回归展开损失进行训练。损失函数结合了位置和速度的均方误差 (MSE) 以及可选的物理信息正则化项（例如，针对不可压缩流体的散度为零约束）。架构在所有动力学类别中保持不变；仅训练数据分布发生变化。

主要贡献

统一架构：单一的基于 Transformer 的模型能够模拟六种不同的拉格朗日动力学类别（流体、布料、颗粒材料、弹性固体、非牛顿流体和分子动力学），而无需修改网络结构。
新颖的令牌机制：用于局部邻域相互作用的粒子分词器，结合通过渐进式令牌合并实现全局通信的超级令牌编码器 - 解码器，在表达能力和计算效率之间取得了平衡。
泛化与应用：展示了对未见材料、边界配置、初始条件和外力的泛化能力。该框架支持下游任务，包括交互式控制、通过可微展开的逆设计，以及从真实世界操作数据中学习。

实验结果

该模型使用由成熟求解器（DFSPH, GIPC, MPM, VBD, OpenMM）生成的数据，在六个类别上进行了评估。

准确性：与最先进基线（GNS, DeepLagrangian, Neural Operators）相比，所提出的模型在流体、布料和沙地任务中实现了更低的位置和速度展开均方误差 (MSE)。例如，在流体任务中，位置误差为 $5.17 \times 10^{-1}$ （缩放后），显著优于基线；基线在长展开中表现出悬浮粒子或相互穿透等伪影。
稳定性：该模型在长时程内保持模拟稳定（例如，流体 800 帧，布料 250 帧），而基线往往发散或崩溃。
泛化性：
- 未见条件：该模型成功模拟了未见边界几何形状（例如，虎形沙堆）和初始条件。
- 粒子密度：它泛化到了与训练集不同的粒子采样密度（例如，在约 7k 个粒子上训练，在 8k–9k 个粒子上测试）。
- 长展开：在 250 帧测试时，它超出了 200 帧的训练时程仍保持稳定。
消融研究：移除局部分词器或全局超级令牌通信中的任一项都会降低性能，证实了局部细节和全局耦合的必要性。添加散度为零的正则化项进一步提高了流体的物理一致性。

意义与主张

该论文声称，这项工作代表了迈向统一模拟框架的一步，其中单一的可微架构取代了对多种专用求解器（FEM, SPH, MPM）的需求。通过将每种现象视为共享输入 - 输出格式上的不同训练分布，该模型减少了对每现象求解器工程的需求。

作者强调了该架构支持的三个具体下游应用：

交互式控制：利用预测器整合任意外力的能力，实现用户指定力下可变形物体的实时操作。
逆设计：通过神经展开的反向传播，对物理参数（例如，摩擦系数）进行基于梯度的优化。
从真实世界数据学习：能够直接在从真实世界观测中提取的粒子轨迹上进行训练（使用如 3D 高斯泼溅等技术），而无需依赖经典模拟器进行监督。

作者承认了局限性，主要是内存限制导致当前实现在单张 80GB GPU 上仅能处理约 50,000 个粒子，这是由于第一编码器层中的全分辨率自注意力所致。他们建议稀疏注意力变体可以扩展这一容量。此外，虽然架构是统一的，但当前实现针对每个动力学类别训练了独立的参数集；未来的目标是构建一个在所有类别中共享权重的单一模型。