💻 computer science

BoxTwin: Learning Elastoplastic Articulated Object Dynamics from Videos

BoxTwin 是一个交互式数字孪生框架，它能从视频中学习关节化对象的完整弹塑性动力学，使机器人能够准确地追踪关节轨迹，并预测物理交互过程中的长期塑性变形与损伤。

原作者： Heng Zhang, Gehan Zheng, Kaifeng Zhang, Jay Song, Shivansh Patel, Sonny Hu, Yunzhu Li, Changxi Zheng, Peter Yichen Chen

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Heng Zhang, Gehan Zheng, Kaifeng Zhang, Jay Song, Shivansh Patel, Sonny Hu, Yunzhu Li, Changxi Zheng, Peter Yichen Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何折叠一块纸板或关闭一扇薄弱的金属门。如果你要求一个普通的机器人去做这件事，它可能会把这个物体当作一块坚硬的砖头或一个完美的弹簧。它会尝试去弯曲纸板，但由于现实世界的材料是杂乱无章的，机器人会感到困惑。纸板可能会弹回、保持弯曲，甚至发生断裂，而机器人却不知道为什么。这就是“数字孪生”（Digital Twins）的世界——一个高级术语，指的是在计算机内部为真实物体创建一个完美的虚拟副本，以便机器人在接触实物之前可以进行练习。但直到现在，这些虚拟副本在处理那些部分刚性、部分柔软且部分损坏的物体时表现得很糟糕。它们难以处理那些像橡胶一样弯曲、像湿粘土一样保持形状不变、以及每次折叠都会变弱的物体。这篇论文针对这种特定的复杂情况，旨在赋予机器人一个能够理解现实世界中那些易弯曲、易损坏物体真实行为的“大脑”。

这项工作的研究人员张恒（Heng Zhang）及其团队构建了一个名为 BoxTwin 的新系统。把 BoxTwin 想象成一个超级聪明的视频侦探，它观察机器人玩弄一个易弯曲物体时的过程，并学习该物体的确切行为方式。BoxTwin 不靠猜测规则，而是通过观察视频，推导出隐藏的物理规律，并构建出一个能够预测未来的数字孪生体。

这就是其中的神奇之处：大多数数字孪生都假设如果你弯曲某样东西，它会弹回原状（就像橡皮筋一样）。但 BoxTwin 知道事实并不总是如此。它理解在处理像纸板箱或金属片组件这类物体时，会发生三种棘手的现象：

非线性弹性（Non-linear Elasticity）： 有时，你推得越用力，它的阻力就会以一种奇怪的、非线性的方式增加。
塑性变形（Plastic Deformation）： 有时，如果你推得太用力，物体就会永远保持弯曲状态，不再弹回。
损伤（Damage）： 每当你弯曲它时，材料就会变得稍微脆弱一点，就像一个在多次折叠后最终会断裂的回形针。

BoxTwin 不仅仅是在猜测这些规则；它是在学习这些规则。该系统获取一段真实物体被折叠或操纵的视频，然后重建场景，并推导出该物体的特定“本构模型”（Constitutive Model，这是一个专业术语，指代该特定材料运动的规则手册）。它追踪“静止角度”（即物体想要停留的位置）如何随着弯曲而变化，甚至会计算积累了多少“损伤”，从而使物体随时间推移而变弱。

为了测试这是否真的有效，团队进行了两次实验。首先，他们手动折叠了一个由两个面板和一个关节组成的简单物体，并将其中一侧固定在桌面上。他们使用彩色标记来追踪角度，并将现实世界的运动与 BoxTwin 在计算机中的预测进行对比。结果如何？BoxTwin 表现得非常精准。它不仅能短时间内预测准确，还能在长序列中持续保持准确，精确地追踪物体如何随着反复折叠而缓慢改变形状并变得“疲劳”。

在第二个更令人印象深刻的测试中，他们使用了一个双臂机器人（称为 Trossen Aloha）来抓取、折叠并移动这些棘手的物体。他们记录了机器人的每一个动作，然后在 BoxTwin 模拟器中重放这些完全相同的动作。数字孪生高精度地预测了机器人的动作以及物体的反应，即使面对具有多个关节的复杂物体也是如此。模拟结果与现实世界高度吻合，这使得团队相信，机器人现在可以使用这些数字孪生体来安全地规划动作，而无需在现实世界中反复碰撞或失败。

简而言之，BoxTwin 的飞跃在于它不再假装易弯曲、易损坏的物体是简单的。通过将视频学习与对材料如何弯曲、如何保持形状以及如何损坏的深度理解相结合，它赋予了机器人预判现实世界中混乱且不可预测之本质的能力。这意味着，机器人很快就能处理精细的任务——比如折叠衣物或组装薄弱零件——并展现出目前处理沉重固体箱子时所具备的那种自信。

技术摘要：BoxTwin —— 从视频中学习弹塑性关节化对象的动力学

问题陈述

在非结构化环境中的机器人操作需要能够预见物理交互的数字孪生体。虽然针对刚体和线性弹性材料的数字孪生已经存在，但它们无法对**弹塑性关节化对象（Elastoplastic Articulated Objects, EAOs）**进行建模。EAOs（例如折叠箱、钣金组件和铰链门）表现出一种复杂的物理现象三元组，目前的模型无法同时捕捉这些现象：

非线性弹性： 应力-应变关系偏离胡克行为，导致能量耗散和自由度间的耦合。
塑性变形： 一旦超过临界载荷，就会发生不可逆的形状改变，从而建立新的静止配置。
损伤演化： 由于微裂纹和分层，材料参数（如刚度损失）在重复加载循环过程中逐渐退化。

现有的方法通常只处理刚性动力学或静态弹性变形，未能解决关节化对象中塑性、非线性弹性与渐进式损伤之间相互交织的关系。这种局限性导致机器人在执行抓取、折叠或预测交互后状态的任务时失败。

方法论：BoxTwin 框架

BoxTwin 是一个交互式数字孪生框架，旨在直接从视频数据中学习 EAO 的完整动力学。该系统集成了一个视频驱动的重建管线和一个具备物理感知能力的本构模型。

1. 关节化物体表示

EAO 被建模为由理想铰链关节连接的一组刚性连杆，这些关节代表柔性折痕。拓扑结构由根部运动学树 $G = (V, E)$ 定义。配置由关节角向量 $q$ 描述。系统使用标准的拉格朗日形式进行关节空间动力学建模：
$M(q)\ddot{q} + C(q, \dot{q})\dot{q} + g(q) = \tau$
其中 $\tau$ 代表来自外部接触的广义力。

2. 物理感知本构建模

BoxTwin 没有使用静态参数，而是采用了一个随时间演化的校准模型，以捕捉三种特定的行为：

非线性弹性响应： 铰链的弹性转矩 $\tau^{el}_e$ 被建模为变形间隙 $\Delta_e = q_e - \bar{q}_e$ 的平滑、可微映射 $f_{\theta_e}(\Delta_e)$ 。这捕捉了非线性铰链行为，同时保持了可进行解析微分的特性。
塑性变形： 通过允许静止角 $\bar{q}_e$ 通过内部标量变量 $\alpha_e$ （累积塑性旋转）进行演化来模拟永久变形。当弹性间隙超过屈服阈值 $\Delta^y_e$ 时，塑性流激活。 $\alpha_e$ 的演化遵循平滑流变律 $g_{\psi_e}(\Delta_e)$ 。
损伤演化： 为了解释刚度损失和减弱的永久变形能力，引入了标量损伤变量 $d_e \in [0, 1]$ 。该变量乘性地衰减了弹性转矩和塑性流速率。损伤速率 $\dot{d}_e$ 由累计塑性滑移 $P_e(t)$ （记录了随时间变化的累计绝对塑性旋转）的平滑单调函数驱动。

3. 学习管线

该框架从输入视频中重建场景以提取 EAO 参数。随后，它利用这些参数来预测未来状态。系统通过持续更新材料属性来反映随时间变化的损伤积累，从而实现鲁棒的模拟与控制。

实验评估

作者使用 MuJoCo 模拟器在两种不同的场景下对 BoxTwin 进行了评估：

A. 折叠测试（手动变形）

设置： 人类手动使一个由两个面板和一个单一关节组成的 EAO 发生变形，其中一个面板被固定。面板上的颜色标记用于推导关节角。
结果： 应用于物理对象的相同驱动被转移到了模拟中。该模型准确地追踪了关节角轨迹，能够忠实地重现长序列中的瞬时运动学响应以及材料属性（滞后和磨损）的逐渐演化。

B. 预测测试（双臂操作）

设置： Trossen Aloha 双臂机器人操纵各种 EAO（单关节和多关节组件）。系统以领航者-跟随者（leader-follower）配置运行，其中领航臂接收高层指令，而跟随臂执行物理动作。
结果： 全轨迹（位置、速度、转矩、末端执行器位姿）被记录并在具有相同运动学/动力学参数及实验识别出的 EAO 参数的物理仿真器中回放。模拟显示，在所有测试用例中，模拟结果与物理硬件测量值高度吻合，验证了该环境在无需重复物理试验的情况下进行算法开发和迁移学习的可行性。

核心贡献与意义

本文声称引入了第一个能够捕捉 EAO 在现实世界机器人操作过程中完整动力学的交互式数字孪生框架。其主要贡献包括：

复杂动力学的集成： 成功结合了视频驱动的重建与物理感知模型，能够同时处理非线性弹性、塑性变形和损伤演化。
预测能力： 具备预测接触后塑性行为和长程动力学的能力，这种能力在以往仅限于静态模拟或刚体假设的 EAO 模型中是缺失的。
自适应控制： 使机器人在面对传统刚体假设失效的非结构化环境中的变形物体时，能够实现自适应、预测性的控制。

作者将 BoxTwin 定位为迈向更安全、更具适应性的人机协作的基础性步骤，使机器人能够预见交互过程，并为发生不可逆物理变化的变形物体优化操作策略。