NVIDIA Cosmos-H-Dreams: Real-Time Generative Physics Simulation for Surgical Robotics
本文介绍了 Cosmos-H-Dreams，这是一种实时、与控制器无关的生成式世界模型，它利用教师-学生蒸馏和自我强制（Self Forcing）技术，实现了 160 FPS 的交互式、照片级逼真的手术模拟，从而弥合了昂贵的物理实验与用于教育、合成数据生成及决策支持的经典模拟器之间的差距。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在手术室中，手术成功与并发症之间的界限可以用毫米和毫秒来衡量。外科医生依赖机器人系统来执行缝合血管或移除器官等精细任务，但针对这些时刻的培训历来是一个缓慢、昂贵且往往充满危险的过程。为了学习，受训者可能会在动物组织或尸体上进行练习，而这些资源是有限且无法重复使用的。或者，他们可能会使用计算机模拟，但这些模拟长期以来一直难以在外观和行为上趋近真实情况；它们往往无法捕捉到软组织如何起伏、出血或对手术工具的热量做出反应。几十年来，数字训练场与物理手术室之间的差距一直很大，迫使外科医生过度依赖直觉和有限的练习时间。
来自 NVIDIA 和 CMR Surgical 的一个研究团队现在构建了一个弥合这一差距的系统，创造了一个可以让手术机器人进行实时训练和测试的数字世界。他们将这一创造物称为 Cosmos-H-Dreams。与以往仅简单回放预录视频或依赖看起来僵硬且不自然的刚性物理引擎的模拟不同，该系统可以即时生成新的视频帧，并对外科医生或计算机程序的动作做出即时反应。它是一个生成式模型，一种通过观看数千小时真实手术视频来学习物理定律和手术视觉外观的人工智能。其结果是一个运行速度足以实现实时交互的模拟器，允许人类通过键盘或头戴式设备控制虚拟机器人，或者让计算机算法在从未接触过物理器械的情况下学习打结。
这一成就的核心在于一种平衡高质量视觉效果与速度需求的双重策略。研究人员首先在一个包含九种不同类型机器人系统的庞大手术数据集中训练了一个巨大的“教师”模型。这个教师模型学会了高精度地预测手术场景中接下来会发生什么，但它太慢了，无法用于实时交互；它计算每一帧新画面所需的时间过长。为了解决这个问题，他们创建了一个更小、更快的“学生”模型。他们使用了被称为“蒸馏”的技术，即学生学习模仿教师的预测，但方式更加高效。通过教导学生仅用两步而不是数十步即可生成短促的视频帧，并通过优化软件使其在单个强大的计算机芯片上运行，团队实现了速度上的突破。该系统现在可以在单个工作站上以约 160 帧/秒的速度产生连续且逼真的手术视频流，其速度足以消除通常会让虚拟现实感觉脱节的延迟。
该系统真正独特之处在于它能够接受来自任何来源的控制。研究人员演示了该模拟器既可以由敲击键盘的人驱动，也可以由佩戴虚拟现实头显的外科医生驱动，甚至可以由像 Versius 这样的商用手术机器人控制台驱动。它还可以由正在学习自主执行任务的人工智能策略来控制。在这些实验中，人工智能观察它生成的视频，决定一个动作，然后看到该动作带来的即时视觉后果，从而创建一个学习闭环。这是首次将这种交互式的、实时的世界模型应用于手术领域，允许人类和机器在合成的环境中行动并即时观察结果。
研究人员对该系统进行了严格测试，以观察数字世界是否表现得像真实世界一样。他们让模拟器运行了数千次缝合任务，并将结果与在物理机器人上执行相同任务的结果进行了比较。结果显示，模拟与现实结果之间存在中度的总体一致性，在各项任务中的皮尔逊相关系数为 0.696。然而，性能因具体操作的不同而有显著差异。该系统在拾取和投掷物体等任务中表现出相对较强的一致性，但在处理如交接和打结等更复杂的任务时，相关性为负值，这表明模拟器有时会在实际机器人失败的地方预测成功，反之亦然。该系统在大多数场景下准确捕捉了软组织的物理特性和手术工具的行为。然而，研究也揭示了这项技术的局限性。当模拟涉及极其精细、重叠的结构时（例如线头在打结任务中自身折叠），系统偶尔会出错，产生与现实不符的线头形状幻觉。这些错误在快速实时版本中比在更慢、更准确的教师模型中更常见，这表明虽然该系统是训练和评估的强大工具，但在处理每一种类型的精细操作时尚未达到完美。
尽管存在这些局限性，这项工作的意义仍然重大。通过提供一个安全、可扩展且具有照片级真实感的环境，Cosmos-H-Dreams 为外科教育提供了新的基础。外科医生现在可以反复练习复杂的手术程序，而无需依赖尸体或动物，机器人策略也可以在部署到医院之前在数字沙盒中进行训练和优化。研究人员已向公众开放了代码和模型，希望加速更安全的手术机器人和更好培训工具的发展。虽然该系统目前专注于桌面缝合任务，但团队构想将其扩展到涵盖涉及复杂解剖结构的完整临床程序。目前，它作为一个概念验证，证明了手术培训的未来可能不在物理实验室中，而是在一个错误是安全的、学习是无穷尽的实时生成式世界中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。