💻 computer science

Bayesian Retraction Optimization for Tissue Attachment Mapping in Surgical Dissection

本文提出了一种贝叶斯回缩优化框架，该框架利用序列贝叶斯希尔伯特映射和分类器集成来概率性地识别组织附着并规划安全且具有信息量的机器人解剖动作，展示了从仿真到真实世界实验的成功零样本迁移。

原作者： Shing-Hei Ho, Bao Thach, Toan Vo, James M. Ferguson, Alan Kuntz

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Shing-Hei Ho, Bao Thach, Toan Vo, James M. Ferguson, Alan Kuntz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图解开一个粘在桌子上的乱成一团的毛线球。如果你只是随机拉扯，可能会扯断毛线或被卡住。但如果你轻轻地向不同方向拉动，观察毛线如何拉伸以及在哪里产生阻力，你就能弄清楚胶水点究竟在哪里。这就是外科医生在进行复杂手术时每天面临的难题。他们必须小心翼翼地将组织（就像毛线）从身体结构（就像桌子）中分离出来，而不造成损伤。问题在于，人类的眼睛并不总能看到那些隐形的“胶水”点，直到组织被拉紧时才能显现。而且，外科医生的资源非常匮乏，很难获得足够的专家来处理这种精细的工作。

这正是机器人技术和人工智能可以发挥作用的地方，但带有一个转折。与其试图构建一个完美的、基于物理学的计算机模型来模拟每一块组织的拉伸方式（这就像是试图模拟一块织物中每一根纤维的物理特性），研究团队决定将这个问题视为一场带有不确定性的“猜猜看”游戏。他们使用了一种叫做**贝叶斯推理（Bayesian reasoning）**的方法，这基本上是一种高级说法，意为“随着获得新线索来更新你的最佳猜测”。想象一下你在玩一个寻找隐藏宝藏的游戏。起初，你觉得宝藏可能在任何地方。但每当你挖掘一个地方却发现空无一物时，你就会更新你的地图，显示那个地方的可能性降低了。如果你发现了一个线索，你会更新地图，显示那个地方的可能性增加了。目标是选择下一个能让你学到最多信息的挖掘点，从而尽可能快地找到宝藏，而不浪费时间。

在这篇论文中，作者 Shing-Hei Ho 及其团队提出了一种让机器人执行手术解剖（切除组织）的新方法，即使用这种“更新你的猜测”的策略。他们将该系统称为贝叶斯回缩优化（Bayesian Retraction Optimization, BRO）。该系统并不依赖于关于组织变形的复杂物理模拟（因为模拟在从计算机转移到现实世界时往往不够准确），而是使用了一种被称为**序列贝叶斯希尔伯特映射（Sequential Bayesian Hilbert Map, SBHM）**的“概率图”。你可以把这张图想象成一张数字热力图，在机器人认为组织被粘住的地方，热力图会发出的光芒更亮。

以下是机器人如何玩这场游戏的：

拉动（The Pull）： 机器人轻轻地拉动（回缩）组织。
观察（The Look）： 摄像头拍摄一张照片（点云），展示拉伸后的组织。
猜测（The Guess）： 一组 AI“分类器”（就像一群侦探）观察照片，并猜测哪些点是被粘住的，哪些是自由的。这些猜测带有噪声且有时是错误的，就像人类侦探一样。
更新（The Update）： 机器人将这些猜测输入到其 SBHM 地图中。地图会更新其“热度”，变得对哪里有胶水以及哪里没有胶水更加确信。
策略（The Strategy）： 机器人随后会问：“我下一步应该往哪儿拉，才能获得最多的信息？”它利用数学来选择那个能揭示最多隐藏信息的拉动动作，避开它已经了解的区域，并专注于那些神秘的区域。
切割（The Cut）： 一旦地图确认某个点是被粘住的，机器人就会进行切割。

团队通过两种方式测试了这个想法。首先，他们在不同形状的虚拟组织（盒子、圆柱体和椭球体）上运行了数千次模拟，以观察他们的“智能拉动”策略是否比随机拉动效果更好。结果显示，由于采用了这种方法，他们能比随机猜测更有效地找到连接点，并且速度更快。他们还使用“噪声”数据测试了系统处理错误猜测的能力，结果显示地图仍然能够理清真相。

随后，他们迈出了重大的一步：他们在真实的生鸡胸肉组织上，使用一台真实的医疗机器人（da Vinci 研究套件）进行了测试。他们并没有针对鸡肉重新训练 AI，而是直接让它运行在从模拟中学习到的知识之上（即“零样本”迁移）。尽管鸡肉组织与虚拟组织截然不同，且摄像头的图像也充满了杂乱和噪声，机器人仍成功识别出了连接点。在四次真实世界测试中，有三次机器人在仅一次拉动后就找到了所有的胶水点；在第四次中，它需要两次拉动才能确定。

这篇论文并不声称已经永久解决了手术问题。它明确排除了“我们需要完美的、复杂的物理模拟来完成这项工作”这一观点，证明了采用拥抱不确定性的概率方法反而效果更好。作者指出，虽然他们的方法在这些特定测试中表现良好，但未来的工作需要解决更复杂的非平面组织形状问题，并更好地处理模拟与现实之间的差异。但就目前而言，他们已经证明了机器人可以通过“拉动、观察并更新地图”的方式，在不需要完美组织物理模型的情况下，学会如何“感知”在哪里进行切割。

技术摘要：用于手术解剖中组织附着映射的贝叶斯回撤优化

问题定义

本文解决了自动化手术解剖中的挑战，特别是识别组织附着在底层结构上的位置的任务（例如，在肿瘤切除期间）。目前的临床实践涉及通过回撤组织以暴露隐藏边界和张力连接的迭代循环，随后进行切开。作者将其形式化为一个主动感知问题，其目标是利用机器人操作过程中获取的部分视图点云（ $P_t$ ），概率性地估计切除表面（ $S$ ）上附着点（ $S^{(1)}_t$ ）的位置。

核心难点在于这些附着位置的不确定性。以往的方法依赖于无法量化不确定性的手工设计策略，或依赖于需要强假设（例如薄壳近似）且存在显著模拟与现实差距（sim-to-real gap）的基于模拟的方法。作者提出了一个框架，避免了显式的可变形组织建模，而是将附着识别视为一个通过机器人回撤和观察进行顺序更新的概率推理问题。

方法论

所提出的框架——贝叶斯回撤优化（Bayesian Retraction Optimization, BRO）——在一个由回撤、感知、推理和切开组成的闭环中运行。它依赖于三个主要组件：

1. 序列贝叶斯希尔伯特映射 (Sequential Bayesian Hilbert Map, SBHM)

为了在没有物理组织模型的情况下表示附着状态及其不确定性，作者使用了序列贝叶斯希尔伯特映射。

表示： 将附着表面离散化为一组查询点 $Q$ 。SBHM 维护一个全局概率图，表示每个点是附着的（ $y=1$ ）或未附着的（ $y=0$ ）的可能性。
模型： 该映射由代表权重 $w$ 分布的高斯参数 $(m, S)$ 进行编码。点 $q$ 的附着可能性通过基于核函数的特征向量 $\phi(q)$ 的 Sigmoid 函数进行计算。
更新： 随着新数据的到达，参数 $(m, S)$ 使用变分贝叶斯逻辑回归（一种期望最大化算法）进行更新。这使得系统能够随时间融合来自多个视角的具有不确定性的证据。

2. 组织附着点分类器

由于系统在执行过程中无法使用地面真值模型，因此它使用集成学习的分类器来提供“带噪声”的二元标签。

架构： 一个基于 PointNet 的分类器集成，根据部分视图点云预测每个查询点的状态（附着、未附着或被遮挡）。
鲁棒性： 集成方法降低了对分布外数据的敏感性。预测结果经过过滤以剔除被遮挡的点，剩余数据形成数据集 $D$ 用于更新 SBHM。
零样本训练： 分类器完全在模拟中训练并零样本应用于现实世界数据，这需要通过集成平均和调整置信度阈值等鲁棒性策略来应对。

3. 贝叶斯回撤优化 (BRO)

为了主动选择信息量最大的机器人回撤动作，系统采用了 BRO。

采集函数： 系统选择一个特定的查询点 $q^*$ 以将其展示给摄像机。该点的选择旨在最大化采集函数（例如，期望改进 Expected Improvement，或置信上限 Upper Confidence Bound），该函数量化了关于附着状态的预期信息增益。
运动规划： 一旦选定 $q^*$ ，系统会使用单独的优化（利用 DeformerNet）来规划机器人夹持器轨迹。这涉及定义一个垂直平面来提升特定区域的组织，在暴露 $q^*$ 的同时最小化撕裂组织的概率。

4. 切开策略

当 SBHM 指示出足够的置信度（基于预测概率以及与邻域的空间一致性）时，系统会识别切开候选点。在模拟中，这些点通过删除附着圆盘来移除；在现实实验中，系统识别出供外科医生或机器人进行切割的位置。

主要贡献

论文概述了四个主要贡献：

贝叶斯框架： 一种使用 SBHM 表示和顺序更新组织附着图的方法，消除了对显式可变形组织模型的需求。
贝叶斯回撤优化 (BRO)： 一种生成高度信息化回撤动作的算法，该算法在安全约束下最大化信息增益。
模拟验证： 在多种体积软组织场景（BOX、CYLINDER、ELLIPSOID 几何形状）下的广泛评估，证明了该方法定位附着点的能力。
零样本迁移： 在使用离体鸡胸肉组织和 da Vinci 研究套件 (dVRK) 的现实世界机器人解剖实验中，成功演示了该方法的零样本迁移能力，且无需重新训练分类器。

结果

作者通过模拟和现实实验验证了其方法：

模拟性能： BRO 在识别附着点方面显著优于基准“无采集”策略（随机回撤），其衡量标准是精确度-召回率曲线下面积 (AUPRC)。SBHM 方法也表现出比使用单个噪声分类器更优越的鲁棒性，即使在向分类器 Logit 添加高斯噪声时也能保持准确性。
切开精度： 在模拟中，根据组织几何形状的不同，系统实现了 0.549 到 0.760 之间的切开精度。
现实世界迁移： 在四次使用鸡胸肉组织的现实世界实验中，该方法成功识别了附着区域。在三种情况下，所有附着圆盘都在单次迭代中被识别；在一种情况下，需要两次迭代。尽管存在真实 RGB-D 点云的噪声以及来自模拟的领域差距，序列贝叶斯方法仍能使系统逐步细化其预测并正确识别附着点。

重要性与主张

本文声称，这项工作强调了主动感知策略如何有效地应用于手术操作。通过将组织附着识别视为一个概率问题，系统可以对不确定性进行推理，并在无需依赖苛刻的模拟假设的情况下引导复杂的医疗任务。

作者强调，其方法为减少外科医生工作量以及在医生短缺日益严重的背景下扩大患者医疗覆盖范围提供了一个充满前景的步骤。他们总结道，不确定性感知探索是实现手术子任务自动化的可行路径，但也谦虚地指出，未来仍需在处理非平面、解剖学真实的几何形状以及提高用于稳健现实世界性能的领域自适应方面开展工作。