💻 computer science

SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation

本文介绍了 SWoMo，这是一种用于白内障手术模拟的神经符号世界模型，它将基于规则的符号引擎（用于提供物理基础的运动动力学）与扩散模型（用于实现逼真的视觉渲染）相结合，从而相较于现有方法实现了更优越的泛化能力和仿真到现实的转换效果。

原作者： Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一台机器人如何进行精细的眼部手术，或者在不对真实患者造成风险的情况下培训一名新外科医生。要做到这一点，你需要一个“虚拟现实”模拟器，它看起来与真实的眼球一模一样，并且当工具接触时，其反应与真实组织完全一致。

本文介绍了SWoMo，一种用于白内障手术的新型模拟器。请将 SWoMo 想象成并非单一机器，而是一位严谨的物理老师与一位富有创造力的艺术家之间的协作。

以下是其工作原理，分解为简单的部分：

1. 问题：手术的“恐怖谷”

目前的模拟器通常会在以下两个方面之一失败：

物理专家：他们能正确模拟运动（工具推动组织，组织随之变形），但视频看起来像卡通或低质量电子游戏。它看起来不够真实，无法用于培训人类。
视频艺术家：他们利用人工智能生成精美、逼真的视频。但他们实际上无法控制手术过程。如果你指示 AI 将工具移动到特定位置，它可能会忽略你的指令，或者工具可能会像幽灵一样直接穿过眼球。此外，它们也无法处理未曾见过的情况（例如工具以奇怪的角度进入）。

2. 解决方案：“神经符号”团队

SWoMo 通过将工作拆分为两个协同工作的不同角色来解决这一问题：

符号大脑（物理老师）：
这部分是一个基于规则的计算机程序。它不在乎事物看起来如何；它只关心数学和规则。
- 类比：想象一个操纵木偶的提线人。提线人确切知道线如何移动、关节如何弯曲以及眼球如何旋转。它创建了眼球和工具的“数字孪生”。它确保当你推动工具时，组织确实会移动。它为手术构建了骨架。
- 关键特性：因为它遵循严格的规则，所以能够处理从未见过的新情况（例如工具从奇怪的角度进入）而不会感到困惑。
扩散模型（创意艺术家）：
这是一个擅长绘画的强大人工智能。
- 类比：想象一位大师级画家，他观看了数千小时真实的手术视频。他确切知道虹膜的纹理看起来如何、光线如何在湿润的组织上反射，以及阴影如何投射。
- 任务：“物理老师”将移动的骨架（工具位置和眼球运动）交给“艺术家”。然后，艺术家在这个骨架之上绘制出超逼真的视频，添加皮肤、湿润感和光照。

3. 秘诀：“逆配对”

你如何教导艺术家去描绘物理老师的工作？你不能只是给他们看随机的视频。

研究人员使用了一个巧妙的技巧，称为逆配对：

他们获取了真实手术的真实视频。
他们利用人工智能剥离掉“颜料”（逼真的外观），仅提取“骨架”（眼球和工具的运动）。
他们将那个骨架输入到他们的物理老师中，生成该确切时刻的完美、基于规则的模拟。
现在他们拥有了一对数据：原始的真实视频和同一事件的新模拟版本。

他们利用这些配对来训练艺术家。艺术家学会了：“当物理老师像这样移动工具时，真实世界看起来是那样的。”

4. 场景图：“操作手册”

为了确保艺术家在工具接触组织时不会感到困惑（这是最难渲染的部分），SWoMo 使用了一个场景图。

类比：将其想象成一份详细的操作手册或地图。它告诉艺术家：“这个物体是工具，这是眼球，它们正在此处接触。”
如果没有这张地图，人工智能可能会感到困惑，模糊工具与眼球之间的界限。有了这张地图，人工智能就能确切知道边界在哪里，即使模拟视频与真实视频在像素层面上没有完美对齐。

5. 他们证明了什么？

本文表明，SWoMo 在以下三个方面优于以往的方法：

看起来真实：视频质量高且逼真。
遵循指令：如果你在模拟中移动工具，视频会显示工具移动到了那里。它不会忽略你。
处理未知：由于“物理老师”部分使用规则，SWoMo 可以模拟那些在其训练数据中从未见过的工具或角度的手术。

额外功能：风格迁移
该系统还可以将一家医院（数据集 A）手术视频中的运动，应用到另一家医院（数据集 B）的视觉风格上。这就像从一部电影中提取舞蹈的编排，然后让来自完全不同电影的演员来表演，看起来他们完全属于那部新电影。

总结

SWoMo 是一个混合模拟器。它使用基于规则的引擎来确保手术符合物理原理，并使用生成式人工智能使其看起来具有照片般的真实感。通过将两者结合，它创造了一个安全、可控且足够逼真的训练环境，有助于培训新外科医生并构建更好的手术机器人。

技术摘要：SWoMo——用于白内障手术模拟的神经符号世界模型

问题陈述
逼真的手术模拟对于培训新手外科医生和开发自主手术代理至关重要。虽然“世界模型”通过基于观察和动作预测患者未来状态，为可扩展的交互式模拟提供了一条途径，但当前最先进的方法在满足临床应用的三个关键标准方面仍面临困难：

视觉逼真度：模拟器通常缺乏足够的保真度以最小化“模拟到现实”的差距，特别是在建模复杂的器械 - 组织相互作用和纹理方面。
基于物理的相互作用：许多方法未能确保相互作用遵循物理定律，限制了所学行为向现实高风险场景的迁移能力。
泛化能力：现有模型在面对分布外（OOD）场景（如未见过的工具几何形状、插入角度或新颖的手术流程）时往往会显著退化，因为其行为与训练分布紧密耦合。

当前方法通常仅在上述一个领域表现出色。纯生成式视频模型缺乏逐步的动作条件约束和物理基础，而传统的基于物理的模拟器往往缺乏视觉逼真度，且难以处理复杂的形变。

方法论
作者提出了SWoMo，这是一种用于白内障手术的神经符号世界模型，它将运动生成与视觉逼真度解耦。该架构由两个主要组件组成：

符号组件（运动与动力学）：
- 逆配对策略：系统从真实手术视频中提取解剖配置（ $k_{anat}$ ）和工具运动学（ $k_{tool}$ ）。解剖参数（瞳孔/虹膜椭圆、眼球旋转/平移）使用 nnU-Net 和 CoTracker 推导得出，而工具参数（尖端位置、方向、关节）则利用 SASVi 和 SAM2 进行恢复。
- 基于规则的模拟器：这些提取的参数驱动一个构建于 Godot 游戏引擎之上的基于规则的模拟器。该模拟器生成眼睛和手术工具的“数字孪生”，产生模拟帧序列（ $\bar{x}$ ）和相应的分割图（ $\bar{m}$ ）。这确保了基于物理的相互作用以及对器械 - 组织动力学的精确控制。
- 符号场景图：从模拟帧和分割图中，系统构建场景图（ $G$ ）。这些图编码了物体几何形状和关系结构（例如质心、空间分布、光流）。作者利用两个图编码器（全局和局部）来捕捉结构关系和外观线索，这些作为条件信号用于减轻模拟视频与真实视频之间的错位伪影。
神经组件（视觉逼真度）：
- 视频扩散模型：一个去噪扩散模型（ $\epsilon_\theta$ ）将模拟序列（ $\bar{x}$ ）和场景图（ $G$ ）转换为逼真的手术视频（ $x$ ）。
- 两阶段训练：
  - 阶段 1：模型学习图像和图到视频的生成，以第一帧和场景图为条件。
  - 阶段 2：采用基于 ControlNet 的方法，将完整的模拟视频序列（ $\bar{x}_{1:n}$ ）作为条件信号纳入。这使得模型能够在不破坏预训练生成先验的情况下调节中间特征，从而在遵循模拟运动的同时确保高视觉保真度。

主要贡献

解耦架构：SWoMo 明确将手术运动/相互作用动力学的建模（由符号模拟器处理）与视觉外观（由扩散模型处理）分离开来。这使得在从数据中学习复杂纹理和形变的同时，能够精确保留工具和解剖结构的运动。
用于训练的逆配对：作者提出了一种新颖策略，在模拟器中重构真实手术视频，以生成大规模配对的模拟和真实视频数据集。这使得无需手动标注每一帧即可训练用于模拟到现实转换的视频到视频扩散模型。
场景图条件约束：将符号场景图作为条件输入集成，被证明对于维持物体身份以及减少由残留错位引起的器械 - 组织边界附近的平滑伪影至关重要。
无监督风格迁移：通过利用一个共享的中间表示（模拟序列），该表示独立于外观编码几何形状和运动，SWoMo 实现了不同数据集（例如 CATARACTS 和 Cataract-1k）之间的无监督视频风格迁移，而无需配对训练数据。

结果
实验在 CATARACTS 和 Cataract-1k 数据集上进行，重点关注安全关键的手术阶段。

定量性能：在视觉保真度（FID、FVD、LPIPS）和条件遵循度（边界框 IoU、F1 分数）方面，SWoMo 优于多个基线模型（包括 StyleGAN-V、Endora、MedSora、LVDM、MOFA 和 SG2VID）。具体而言，它在 CATARACTS 数据集上实现了 265.4 的 FVD 和 0.412 的 F1 分数，在条件遵循度方面超越了次优方法（SG2VID）。
消融研究：移除场景图条件约束（SWoMo-✗SG）或图像条件约束（SWoMo-✗IMG）导致了可测量的性能下降，证实了这两个组件对于高保真合成和遵循度的必要性。
泛化能力：该模型展示了为未见过的相互作用几何形状生成合理结果的能力，包括训练数据中不存在的新颖工具进入方向和工具组合。
下游效用：当用作手术阶段识别（使用 MS-TCN++）的生成式数据增强工具时，与仅使用真实数据训练以及与其他生成式方法进行增强相比，SWoMo 提高了准确率和 F1 分数。

意义
该论文声称，SWoMo 解决了阻碍手术世界模型临床应用物理基础与视觉逼真度之间的权衡问题。通过将基于规则的模拟器（用于动力学）与扩散模型（用于外观）相结合，SWoMo 满足了三个关键标准：它实现了高视觉逼真度，确保了基于物理的相互作用，并泛化到训练分布之外的场景。作者强调，这种方法减少了模拟器的实施工作量（通过消除手动建模复杂纹理的需求），同时保持了对手术动作的精确控制，从而实现了更有效的训练环境和自主手术代理的开发。