Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation

在手术室里，外科医生依赖于稳健的手感和敏锐的目光，但越来越多地，他们也开始依赖能够“看透”人体内部的软件。现代计算机系统可以监视来自患者体内摄像头的实时视频流，并自动在手术器械和器官周围绘制轮廓，从而帮助外科医生追踪其位置或评估其技术水平。这些系统是基于数千小时清晰、高质量的视频进行训练的。然而，真实的手术过程是混乱的。电灼组织产生的烟雾、光线的突然变化、模糊的运动，甚至是视频信号本身的压缩，都会导致图像质量下降。当这种情况发生时，计算机可能仍然会自信地画出一个看起来完美的轮廓，尽管它所观察到的图像已经因过度失真而不再准确。这是一种“沉默的失败”：系统出错了，但它自己并不知道，而且没有向观看屏幕的人发出任何警告。

河内文创大学（VinUniversity）的一个研究小组开发了一种捕捉这些沉默错误的新方法。他们创建了一个名为 TCSR-Monitor 的系统，该系统充当了手术视频的独立“监视器”。该系统并不试图修复计算机视觉模型或对其进行重新训练，而是简单地观察模型产生的结果，并根据一套常识规则进行检查。它观察绘制出的轮廓形状、轮廓在相邻视频帧之间移动的平滑度，以及图像本身的质量。通过将这些观察结果与模型自身的置信度分数相结合，该监视器可以识别出工具被误识别的情况，即使原始程序坚持认为自己做得非常完美。研究人员在包含人工降质处理（以模拟模糊和噪声等现实世界问题）的大型手术视频数据集上对该系统进行了测试。他们发现，通过观察结果的形状和运动，其检测失败的能力比仅仅依靠计算机内部的置信度要好得多，这证明了观察结果的形态与倾听计算机的“内心声音”同样重要。

研究人员解决的核心问题是，驱动这些手术工具的深度学习模型往往存在“过度自信”的问题。当图像模糊或黑暗时，标准的模型可能仍会输出一个清晰、锐利的器械轮廓，并深信其正确无误。在现实世界中，这是危险的，因为外科医生可能会信任一个错误的轮廓而导致失误。以往的方法试图通过测量“不确定性”来解决这个问题，本质上是在问计算机：“你有多确定？”如果计算机感到不确定，它就会发出警报。但研究人员发现，在某些类型的图像降质下，即使计算机完全错误，它依然会表现得固执且自信。新的方法——TCSR-Monitor——接受了“计算机可能既自信又错误”这一事实，因此它不再仅仅听从计算机的置信度，而是开始观察视频本身提供的证据。

为了构建这个“监视器”，研究人员设计了一个不需要了解内部手术计算机运作方式的系统。它是一个“事后”（post-hoc）监视器，这意味着它安装在现有模型之上，无需修改其权重或访问其内部代码。这对于医院来说至关重要，因为运行手术的软件可能是一个无法修改或重新训练的“黑盒”。该系统逐帧观察视频。对于每一帧图像，它会提取二十二个不同的线索。其中一些线索来自模型的置信度，例如模型在不同可能性之间摇摆的程度。另一些则来自轮廓的形状：手术工具应该看起来像一个实心物体，而不是一堆散乱的像素点。系统还会检查工具的运动情况；在真实的视频中，工具的运动应该是平滑的，因此如果轮廓在帧与帧之间发生跳跃式移动，则预示着出现了问题。最后，它会测量图像本身的质量，检查模糊度、亮度和对比度。

研究人员使用了一个名为 EndoVis 2017 的数据集对系统进行了测试，该数据集包含机器人手术的录像。他们故意对这些视频进行了六种不同类型的破坏处理，包括高斯模糊、运动模糊和 JPEG 压缩，并设置了五个不同的严重程度等级。随后，他们要求监视器预测哪些帧包含了“失败”——即定义为计算机绘制的轮廓与实际工具匹配程度不足的时刻。为了确保系统是真的在学习如何识别失败，而不仅仅是在记忆特定类型的坏图像，他们采用了严格的测试方法：他们在五种图像损坏类型上训练监视器，然后在它从未见过的第六种类型上进行测试。这类似于教学生通过观察爆胎、挡风玻璃裂纹和车门凹陷来识别一辆坏车，然后要求他们识别出一辆缺少轮子的车。该监视器取得了成功，表明它学习到了失败的通用概念，而非仅仅记住了特定的缺陷。

结果显示，仅依靠计算机的置信度是不够的。虽然基于不确定性的标准方法可以发现一些错误，但它们会漏掉许多最危险的“自信型失败”。新的 TCSR-Monitor 通过结合置信度、形状、运动和图像质量，显著优于这些旧方法。在系统需要识别从未见过的图像中的失败时，它识别问题的准确率远高于基于不确定性的基准方法。研究人员还进行了一项专门的检查，以确保系统不会仅仅因为图像模糊就发出警报。他们展示了该监视器能够区分“图像虽模糊但计算机仍然正确”与“图像模糊且计算机已出错”这两种情况。这是一个关键的区别：如果一个系统只能大喊“图像质量很差”却无法分辨计算机是否真的出错了，那么它在实际应用中是毫无用处的。

然而，研究人员也谨慎地指出，该系统目前尚未达到临床应用的完美程度。虽然它成功识别了失败，但也产生了误报。在某些情况下，当图像受到中度损坏时，系统会将近 40% 的正确轮廓标记为失败。这意味着，如果外科医生现在依赖这种报警流，即使计算机正在正常工作，也会频繁受到干扰。为了解决这个问题，团队使用了名为 Mondrian conformal calibration 的统计技术。这种方法可以根据不同程度的图像降质来调整报警的灵敏度，确保在面对各类问题时，漏报失败的速率保持一致。虽然这平衡了安全性，但并未完全消除误报，这凸显了“捕捉所有错误”与“避免频繁中断”之间的权衡。

研究还探讨了该监控系统是否能适配不同类型的手术计算机。他们在一个更强大、更通用的视觉模型 SAM2 上进行了测试。有趣的是，对于这个特定的模型，简单的“不确定性”度量指标实际上比复杂的全新监视器效果更好。这表明新系统并非在任何情况下都万能的“灵丹妙药”，而是一个专门的工具，它在底层计算机模型即便出错也表现得极其自信时，才能发挥出色的作用。研究人员发现，他们系统所学习到的特征（观察形状和运动）可以迁移到新模型中，但在该特定案例中并未超越更简单的方法。这种细微差别很重要：新方法的价值在于其能够泛化到未见的问题，并在计算机表现出“自信且错误”时提供鲁棒性，而不是旨在取代所有其他方法。

最终，这项工作为提升手术 AI 的安全性提供了一个可靠的框架。它证明了通过增加一层观察外部输出（检查形状、运动和质量）的机制，我们可以捕捉到计算机自身无法察觉的错误。研究人员已将其代码和训练配置向公众开放，以便其他科学家在此基础上进行研究。虽然该系统仍需改进以减少误报，从而能在真实手术室中使用，但它提供了一条清晰的前进路径。它将关注点从“希望计算机知道自己错了”转向了“构建一个能够识别计算机出错的系统，即便计算机坚称自己是对的”。这是确保手术室中的数字助手在如此高风险的环境中保持可靠伙伴地位的重要一步。