IMPACT: Attention Is the Interaction Map for Scalable Interaction-Aware World Model Training
IMPACT 是一个用于训练交互感知世界模型的可扩展框架，它通过使用交叉注意力机制生成内部交互图来对去噪监督进行重加权，从而解决了标准 MSE 训练中动态物体监督不足的问题，在无需外部表示的情况下提升了物理合理性和视觉质量。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一台能够观看机器人手臂抓取杯子的视频，并能精确预测接下来会发生什么的计算机。它知道杯子会被举起，桌面会保持不动，以及光线会在陶瓷表面反射。这种被称为“世界模型”（world model）的人工智能正变得越来越擅长想象未来。它通过学习海量的视频数据，来理解物体如何移动以及世界如何随时间变化。这些系统对于教导机器人执行复杂任务（从组装电子元件到协助家务）至关重要，因为它们允许机器在接触真实物体之前，先在虚拟空间中进行练习和规划。然而，尽管这些模型在预测场景的总体流向方面表现出色，但在处理具体的接触瞬间时却经常遇到困难。当机器人手抓取工具或人类手指按下按钮时，当前的技术经常会产生模糊、物理上不可能或不连贯的结果。物体可能会融化进手中，或者动作看起来与引起该动作的行为脱节。
研究人员曾尝试通过向计算机输入额外信息来解决这个问题，例如详细的深度图或物体应遵循的精确路径。虽然这有所帮助，但需要昂贵且耗时的准备工作，并且往往限制了系统能够学习的数据量。来自包括清华大学和中国科学技术大学在内的研究团队的一项新研究提出了另一种解决方案。他们发现，问题不在于缺乏数据，而在于计算机学习数据的方式。通过改变训练过程中关注注意力的方式，他们创造了一种名为 IMPACT 的方法，该方法显著提升了这些模型处理物理交互的能力，且无需任何额外的外部数据，也不会降低系统的运行速度。
研究人员确定的核心问题是计算机学习过程中的一种失衡。在训练这些世界模型时，系统通常被要求预测视频的下一帧，并会对它犯下的每一个错误进行惩罚。然而，在典型的视频中，大部分画面是静态背景：墙壁、桌子或地板，这些部分几乎不会发生变化。由于这些静态区域占据了绝大多数像素，计算机会将大部分精力花在让背景变得准确上，仅仅是因为它的占比如此之大。那些发生动作的关键微小区域——比如机械抓手接触方块，或手抓取工具——面积如此之小，以至于在噪声中消失了。计算机实际上忽略了它们，将它们视为不重要的部分，因为它们占据的空间太少。这导致了一种情况：视频整体看起来平滑且连贯，但具体的交互在物理上却是错误的，或者在视觉上显得杂乱无章。
为了解决这个问题，研究人员开发了一种方法，教导计算机更多地关注视频中实际发生动作的部分。他们意识到，计算机已经拥有了一个内置的提示，告诉它该看哪里。当系统接收到类似“拿起蓝色碗”的指令时，它会使用一种称为“交叉注意力”（cross-attention）的机制，将“蓝色碗”这些词汇与视频中的视觉部分联系起来。这创建了一张心理地图，显示出计算机认为碗所在的位置。研究人员利用这张现有的地图作为起点。随后，他们要求计算机观察这些特定区域，并检查预测该区域发生的变化有多难。如果计算机难以预测碗的运动，这意味着该区域很重要，需要更多的关注。
名为 IMPACT 的系统通过进一步采样物体周围的多个可能区域，并根据计算机预测这些区域的难度进行加权，从而将这一过程推进到了更高阶段。然后，它会创建一个特殊的引导程序，或称之为“地图”，用以突出显示这些交互区域。在训练期间，计算机被指示要优先修正这些被强调区域中的错误，这相当于告诉它：“暂时忽略墙壁；把注意力集中在手和物体上。”至关重要的是，这个引导程序完全是由计算机在训练过程中的内部信号生成的。它不需要任何外部工具、人工标注或额外的传感器来告诉它动作发生在哪里。这使得该方法具有高度的可扩展性，使其能够处理海量数据，而不会产生以往方法所带来的沉重成本。
研究人员在两种截然不同的任务类型上测试了这种新方法：一种是机器人手臂在桌面上操纵物体，另一种是人类手部进行第一视角下的灵巧任务。在这两种情况下，他们都使用标准的视频生成技术进行训练，并应用了 IMPACT 方法进行学习。结果是一致且显著的。使用 IMPACT 训练的模型生成的视频中，交互过程更加真实。当机器人抓手闭合在方块上时，方块保持坚实并正确移动。当人类手部拿起杯子时，手指自然地环绕在杯身上，杯子也表现出了正确的重量感和运动感。交互过程的视觉质量得到了大幅提升，与使用标准统一方法的模型相比，出现了更少的畸变和更符合物理规律的运动。
在机器人手臂测试中，新方法在整体质量评分上有了明显的提升，特别是在机器人遵循指令的程度以及模拟物体物理特性的准确度方面。对于人类手部任务，其在视觉保真度方面的提升更为惊人。使用 IMPACT 训练的模型生成的图像更加清晰且连贯，手部与物体的交互方式看起来非常自然。研究人员发现，这种方法在不同类型的计算机架构和控制信号下都表现良好，表明该方案具有鲁棒性和适应性。通过简单地重新分配学习过程中的权重，使之聚焦于最重要的部分，他们成功地在不改变 AI 底层结构的情况下，解锁了更高水平的物理真实感。
这项工作表明，提升人工智能交互能力的关键，可能不在于添加更复杂的数据或外部约束，而在于优化系统从现有数据中学习的方式。研究人员证明，通过识别注意力分配过程中的不匹配并予以纠正，他们可以引导模型去掌握物理交互中那些困难且稀疏的细节。该方法在实际生成新视频时不需要对系统进行任何更改，这意味着它是一种纯粹针对训练阶段的改进。随着世界模型不断进化以支持更复杂的机器人任务和模拟，像 IMPACT 这样的技术提供了一条可扩展的路径，确保这些模型所想象的未来不仅在视觉上平滑，而且在物理上真实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。