🤖 machine learning

Deformable State Estimation for Autonomous Surgical Tissue Retraction Under Partial Observability

本文提出了一种学习型几何正则化状态估计器，能够从稀疏且含有噪声的观测中重建完整的可变形组织状态，从而在部分可观测条件下实现有效的自主手术牵引规划，并在仿真中达到了接近理想状态（oracle）的性能。

原作者： Everest Yang, Skye Thompson, George D. Konidaris

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Everest Yang, Skye Thompson, George D. Konidaris

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人正在学习进行精细手术的世界，但它们面临着一个棘手的难题：它们试图移动像皮肤或器官这样柔软、富有弹性的物体，而这些物体并不像坚硬的金属块那样表现得规整。这些组织是“可变形的”，这意味着它们会以复杂的方式拉伸、折叠和扭曲，就像一条湿毛巾或一块面团一样。为了安全地完成这项工作，机器人需要随时准确地知道组织的每一个部分在哪里。然而，在真实的手术中，机器人的“眼睛”（摄像头）经常会被组织本身或其他器械遮挡，而且它们看到的图像也是模糊且充满噪点的。这被称为“部分可观测性”。这就像是你试图通过只在巨大的隐形布料上随机戳四个点，同时还戴着厚手套来猜测这张布料的形状一样。如果机器人对形状的判断失误，它可能会用力过猛并造成损伤。因此，科学家们面临的一个重大问题是：我们能否教会机器人仅仅通过观察一些带有噪声的零散点，就推断出完整且隐藏的组织形状？

这篇题为《部分可观测条件下自主手术组织牵引的可变形状态估计》的论文，正是在应对这一挑战。布朗大学的 Everest Yang、Skye Thompson 和 George D. Konidalis 提出了一个巧妙的新方法，让机器人能够“看见”那些不可见的组织部分。他们并没有尝试每次都从头开始模拟组织的物理特性（这既慢又耗费计算资源），而是构建了一个“学习型状态估计器”。你可以把这个估计器想象成一位聪明的侦探，他已经研究过数千个关于这种特定类型组织如何运动的案例。当机器人只能看到 900 个点中的 40 个带噪声的点时（大约是表面的 4.4%），这位侦探会使用一种叫做主成分分析（PCA）的数学技巧，将复杂的形状压缩成一个简单的、12 维的“秘密代码”。机器人随后使用神经网络（一种人工智能大脑）将这 40 个带噪声的点转化为那个秘密代码，最后再将该代码扩展回完整的、平滑的二维组织图谱。

为了确保这个 AI 侦探不会产生不可能出现的形状（比如像橡胶一样拉伸，或者以违背物理规律的方式折叠），研究人员加入了“几何感知正则化”。你可以把这想象成一位严厉的老师，不断检查学生的作业，确保组织保持平滑，并且连接点之间的距离不会过度拉伸，就像真实的布料一样。他们在计算机模拟中训练了这个系统，在模拟中，一个机器人必须拉动一层“组织”以露出下方的隐藏目标。结果令人印象深刻：在单次拉动过程中，该 AI 的表现略好于基础的猜测者，且几乎达到了完美“先知”（即能够完美观察整个组织的机器人）的水平。但真正的魔力发生在多步规划中。当机器人需要执行“拉动、观察、再次拉动、再次观察”的循环过程时，该 AI 的表现达到了完美先知的 98.1%。这表明，通过使用这种学习型的、具有几何正则化的方法，机器人可能很快就能执行复杂的多步手术任务，而无需为每一步动作都进行昂贵且缓慢的物理模拟，即使在视野混乱且不完整的情况下也是如此。作者指出，虽然这些结果来自模拟实验，但它们是让自主手术机器人向现实世界中更加可靠迈出的坚实一步。

技术摘要：部分可观测条件下自主手术组织牵引的变形状态估计

问题陈述

自主手术组织牵引是微创手术中的一项关键任务，需要操纵柔软且可变形的组织，以暴露潜在的解剖目标。这项任务受到两个主要因素的复杂影响：可变形组织的高维、非线性行为，以及手术感知的约束。在现实的手术条件下，感知是部分且带有噪声的；决策者通常只能获得稀疏的表面观测数据（例如，仅可见少量顶点），而非密集的视觉数据或全状态访问。

现有方法通常依赖于全状态访问，并结合重复的基于物理的模拟（有限元或弹簧模型），或是在丰富的视觉观测下训练的学习策略。然而，这些方法要么因为重复模拟而导致规划时间成本过高，要么是在无法匹配受限手术视野下典型的稀疏、噪声点观测的观测机制（如密集图像、立体重建）下运行。本研究解决的核心挑战是：在必须直接从稀疏、噪声观测中推导准确状态的情况下，实现有效的变形操纵规划。

方法论

作者提出了一种集成学习状态估计器与规划循环的系统，以处理部分可观测性问题。组织被建模为一个离散化为 $30 \times 30$ 顶点网格的类布料片（1,800 维状态）。在每个规划步骤中，系统仅观测 40 个随机选择的顶点，其坐标受高斯噪声（ $\sigma = 0.02$ ）干扰。

A. 学习型状态估计器

该方法的核心是一个能够从稀疏观测中重建完整变形网格状态的学习估计器：

潜在表示： 作者利用主成分分析（PCA）将高维网格状态压缩到低维潜在空间。通过使用 5,000 个随机生成的网格状态，确定了一个 12 维的潜在空间，该空间捕获了约 83.7% 的方差。
网络架构： 一个三层多层感知机（MLP）将噪声、部分的观测数据（顶点坐标及其索引）映射到这个 12 维的潜在状态。
重建： 通过逆 PCA 从潜在状态重建完整的网格配置，并将其提供给规划器。

B. 几何正则化训练

为了确保估计器生成的变形符合物理合理性，训练目标集成了几何感知正则化。损失函数定义为：
$L = L_{recon} + \lambda_s L_{smooth} + \lambda_e L_{stretch}$
其中：

$L_{recon}$ 是预测的网格顶点与真实网格顶点之间的均方误差。
$L_{smooth}$ 惩罚重建网格中相邻顶点之间的差异，以鼓励平滑度。
$L_{stretch}$ 惩罚重建网格中边长相对于未变形参考配置的偏差。
正则化权重固定为 $\lambda_s = \lambda_e = 0.1$ 。

训练数据通过在线采样随机网格配置并应用与推理时相同的观测模型（40 个噪声顶点）来生成。

C. 规划框架

系统评估了单步和多步牵引规划。动作被定义为参数化为抓取点和拉动位移的基于补丁（patch-based）的拉动操作。规划器通过采样 200 个候选拉动动作，并选择能使预测暴露得分（即未被织物覆盖的目标区域比例）最大化的动作来进行决策。动作导致的变形通过基于扩散的松弛过程进行建模。

实验结果

实验在 2D 可变形片模拟中进行，共 200 个回合。系统与“先知”（拥有全状态访问权限）以及一个朴素基线（将未观测到的顶点填充为未变形的参考位置）进行了对比。

单步性能： 学习估计器实现了 0.1055 的平均暴露改善，成功率为 50.0%。这优于先知（0.0989 的改善，47.0% 的成功率）和朴素基线（0.0951 的改善，45.5% 的成功率）。
多步性能： 在两步规划场景中，学习估计器实现了 0.0941 的平均改善，成功率为 45.0%。这相当于先知性能的 98.1%（0.0958 的改善）。
先知分析： 作者验证了即使在低计算预算（200 个候选动作）下，先知也是接近最优的。统计分析（ $p=0.835$ ）表明，将动作预算从 200 增加到 2000 带来的收益微乎其微（仅 2.7% 的提升），这证实了主要的瓶颈在于状态估计，而非动作搜索。
成功率背景： 作者指出，大约 57% 的回合在开始时目标已完全暴露，根据定义的成功阈值（ $\Delta > 0.05$ ），这些回合是无法改进的。在剩余的可改进回合中，先知实现了 100% 的成功，进一步证明了规划器是近乎最优的，挑战在于估计。

核心贡献与意义

本文证明了，通过直接作用于稀疏且带噪声的观测，学习型状态估计器可以实现有效的变形组织牵引规划。通过结合基于 PCA 的潜在表示与几何感知正则化（平滑度和拉伸约束），该系统实现了在统计上等同于全状态先知的多步性能。

这项工作的意义在于，它展示了足以支持规划的学习型表示可以取代昂贵的物理模拟，用于处理具有现实感知约束下的变形操纵。结果表明，在部分可观测性下，无需依赖密集视觉数据或计算密集型的重复模拟，即可实现准确的状态估计，这为在受限环境下运行的自主手术系统提供了一条可行路径。

作者在结论中保持了谦逊，指出未来的工作将侧重于在真实组织数据上验证这些方法，并研究在不同观测密度和噪声水平下的鲁棒性。