🤖 machine learning

Towards Real-Time Autonomous Navigation: Transformer-Based Catheter Tip Tracking in Fluoroscopy

本文提出了一种基于深度学习分割模型的实时多线程导管尖端追踪流程，具体证明了两类 SegFormer 架构在准确性和鲁棒性方面优于现有方法，从而为基于强化学习的自主机械取栓导航提供了可靠基础。

原作者： Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Harry Robertshaw, Yanghe Hao, Weiyuan Deng, Benjamin Jackson, S. M. Hadi Sadati, Nikola Fischer, Tom Vercauteren, Alejandro Granados, Thomas C. Booth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

宏观图景：教机器人“驾驶”导管

想象一下，中风就像你大脑内部一条微小且蜿蜒的城市里发生的交通堵塞。为了疏通，医生使用一根长而灵活的管子（导管）穿过血管清除阻塞。这被称为机械取栓术（MT）。

目前，人类医生必须一边看着 X 光动态影像（荧光透视），一边手动操控这根管子。这项工作非常辛苦，会让医生暴露在辐射下，而且耗时很长。这项研究的目标是构建一个机器人，利用人工智能自主（独立地）操控导管。

然而，要让机器人“驾驶”，它必须确切知道“方向盘”尖端的位置。在这个案例中，“方向盘”就是导管的尖端。问题在于，在 X 光动态影像中，导管往往显得暗淡、模糊，或者被其他工具遮挡。

这篇论文提出了一个问题：我们能否构建一个计算机系统，能够即时且准确地从这些杂乱的 X 光视频中定位导管尖端，即使它很难看清？

解决方案：一个“智能相机”流水线

研究人员构建了一个四步流水线（pipeline）来解决这个问题。你可以把它想象成一个高速工厂，处理 X 光视频的每一帧画面：

读取器：抓取视频帧。
预处理：清理图像，使其准备好供计算机处理。
大脑（推理）：一个特殊的 AI 模型查看图像，并尝试围绕导管及其内部的导丝绘制掩膜。
精炼器：这是巧妙之处。AI 不仅仅猜测一个单点。它：
- 合并图像中破碎的部分。
- 将粗壮的导管形状转化为一条单像素宽的细线（就像用铅笔描出一条路径）。
- 找到那条线的最末端（尖端）。
- 关键的是：为了避免被运动模糊搞糊涂，它不仅仅看尖端。它观察尖端加上紧随其后的两个点（就像观察鼻子和额头上的两个点来判断脸部转向的方向）。这有助于系统在尖端模糊时也能推断出方向。

测试的“大脑”：三种不同的 AI 模型

团队测试了三种不同类型的 AI“大脑”，看看哪一种最擅长描绘导管：

U-Net：经典、可靠的主力模型。
U-Net + Transformer：经典模型加上“超级视觉”升级，帮助它理解全局。
SegFormer：现代模型，使用"Transformer"（与高级聊天机器人背后的技术相同）来同时理解上下文和细节。

他们通过两种方式测试了这些模型：

双类模式：仅寻找“工具”与“背景”。
三类模式：分别寻找“导管”、“导丝”和“背景”。

结果：谁赢得了比赛？

研究人员在三种类型的“赛道”上测试了这些模型：

练习赛道（体模）：实验室里的假塑料动脉。
实时实验室赛道（实时相机）：导管在塑料模型中移动的实时视频。
真实道路（人类患者）：来自人类手术的实际 X 光视频。

获胜者：
SegFormer 模型（基于现代 Transformer 的那个）是冠军。

准确性：它在定位确切尖端位置时犯错最少。在“中等难度”的人类视频中，其平均偏差为 4.44 毫米。
鲁棒性：与旧模型相比，它更好地处理了 X 光片中杂乱、低对比度和模糊的部分。
速度：它的速度足以实时运行（约每秒 30 帧），这足以让机器人即时做出反应。

一个意想不到的转折：
虽然分别寻找导管和导丝（三类模式）听起来对机器人更有帮助，但在某些情况下，它实际上使跟踪变得不那么准确。AI 被额外的细节搞糊涂了，导致它绘制的“线”错误地分叉。更简单的“双类”方法（仅寻找“工具”）在精确定位尖端时通常更稳定、更准确。

结论

这篇论文证明，我们可以构建一个系统，观看 X 光视频并即时告诉机器人导管尖端在哪里，即使图像充满噪声或工具被遮挡。

他们实现了什么：一个稳定的实时跟踪系统，在标准基准测试中优于以往的方法。
他们尚未实现什么：他们在真实人类患者身上尚未达到“完美”的亚毫米级精度（误差是几毫米，而不是小于 1 毫米）。他们指出，这是因为 AI 是在塑料模型上训练的，必须在没有额外训练的情况下猜测真实人类的情况。
目标：该系统为机器人提供了所需的“眼睛”，使其最终能够自主驾驶导管，从而可能使中风治疗对医生和患者来说更快、更安全。

简而言之：他们为机器人打造了一副非常锐利的眼镜，使其即使在雾蒙蒙的 X 光室里，也能清晰地看到导管的“方向盘”。

技术摘要：迈向实时自主导航：基于 Transformer 的荧光透视导管尖端追踪

问题陈述
机械取栓（MT）是大血管闭塞性卒中的关键干预手段，但其疗效具有时间敏感性，且受限于缺乏局部治疗途径。虽然血管内机器人平台和基于强化学习（RL）的自主导航提供了潜在的解决方案，但现有的 RL 方法需要精确、实时的设备尖端坐标（导管和导丝）追踪才能运行。现有的设备追踪方法在临床现实条件下表现不佳，这些条件包括低图像对比度、噪声、运动模糊和设备遮挡。此外，尚不清楚在合成数据或体模数据上训练的深度学习模型能否泛化到体内临床荧光透视影像，尤其是在设备被部分遮挡的情况下。缺乏能够在可变成像模态下运行的鲁棒、实时追踪流程，阻碍了自主导航从计算机模拟向临床应用过渡。

方法论
作者提出了一种多线程、实时的导管和导丝尖端追踪流程，旨在应对具有挑战性的荧光透视条件。该系统整合了四个异步阶段：

读取器：独立于推理速度捕获原始荧光透视或视频帧，以防止帧丢失。
预处理器：调整大小、归一化并将帧转换为张量格式。
推理：将帧传入训练好的分割模型。对于大图像，采用带有重叠补丁的滑动窗口方法，以平衡质量和内存。
后处理器：通过组件合并、伪影去除和骨架化来优化分割掩膜。关键的是，它采用两步组件过滤和单像素中轴骨架化来识别端点。为了在运动模糊和遮挡情况下稳定追踪，系统沿骨架采样三个点：主尖端（ $T_0$ ）以及分别位于下游 5 像素和 10 像素处的两个点（ $T_1, T_2$ ）。

模型架构
使用 CathAction 数据集（来自体外体模和体内猪实验的 25,000 个像素级掩膜）训练并基准测试了三种深度学习分割架构：

标准 U-Net：一种修改后的 16 通道基础 U-Net，经 AdamW 优化以满足实时内存约束，不同于先前文献中原有的 64 通道 SGD 实现。
U-Net + Transformer：用 16 层、16 头自注意力 Transformer 模块替换 U-Net 瓶颈，以捕捉更广泛的上下文。
SegFormer：利用 Mix Transformer B5 编码器配合对称的 U-Net 解码器，并整合了空间和通道压缩与激励（scSE）注意力模块。

该研究评估了二分类（器械与背景）和三分类（导管与导丝与背景）公式，以确定它们对下游追踪精度的影响。

主要贡献

新型追踪流程：引入了一种骨架化和多点采样流程，提高了在低对比度、部分遮挡和器械重叠情况下的定位稳定性。
集成基准测试：证明了现代分割架构嵌入追踪框架后，在 CathAction 数据集上的表现优于现有基准，将评估范围从独立的分割指标扩展到包括尖端定位误差。
跨域验证：在体外体模、体内动物和体内临床荧光透视数据上验证了该方法，且未进行体内微调，评估了其在不同成像模态间的泛化能力。

结果

CathAction 基准测试：二分类SegFormer取得了最高性能（Dice: 0.809, IoU: 0.722），优于 U-Net 和 U-Net+Transformer。在三分类分割中，SegFormer 同样领先，Dice 得分为 0.667，超过了先前的基准（例如 U-Net 为 0.517）。
体外离线 RGB：SegFormer 在二分类追踪中实现了最低的平均绝对误差（MAE）（0.47 mm）。然而，在三分类追踪中，U-Net 表现最佳（0.60 mm），而 SegFormer 由于分类错误导致的骨架分支而遭受了更高的误差（1.21 mm）。
体内荧光透视：在按复杂度分层的临床数据上，SegFormer（二分类）始终表现出最稳定和准确的尖端定位。在“中等复杂度”组（G2）中，其平均绝对误差为4.44 mm，优于 U-Net（4.60 mm）和 U-Net+Transformer（6.20 mm）。三分类模型在复杂的解剖背景中通常表现出更高的误差和更多的伪影。
速度：该系统保持了实时性能，推理速度根据模型和数据集的不同，范围约为 21 到 30 FPS。

意义与主张
该论文声称，所提出的多线程追踪框架在具有挑战性的成像条件下保持了稳定的性能，为基于 RL 的自主 MT 导航提供了可靠的基础。作者强调，虽然该系统优于先前的基准并证明了实时追踪的可行性，但它尚未在体内环境中达到临床级的亚毫米精度（<1 mm）。观察到的误差（4–7 mm）归因于域偏移（对比度、噪声、运动）、遮挡以及缺乏体内训练数据。

研究结论认为，二分类分割为当前的追踪需求提供了速度、稳定性和尖端定位精度之间最可靠的权衡。然而，三分类分割对于自主 RL 导航仍然有价值，因为它能够同时追踪导管和导丝，为决策智能体提供更丰富的输入。这项工作将自己定位为迈向临床可部署系统的一步，强调未来的改进需要在域适应方面以及纳入多样化的体内训练数据，以弥合体模性能与临床现实之间的差距。

宏观图景：教机器人“驾驶”导管

解决方案：一个“智能相机”流水线

测试的“大脑”：三种不同的 AI 模型

结果：谁赢得了比赛？

结论

技术摘要：迈向实时自主导航：基于 Transformer 的荧光透视导管尖端追踪

类似论文