💻 computer science

Surgical Anatomy Recognition with Context Learning using Foundation Representations

本文介绍了 ATLAS-120k，一个用于微创手术的大规模标注数据集，以及 ATLAS，一种利用基础表示和上下文学习来实现准确且具有时间一致性的解剖结构识别的视频分割模型。

原作者： Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ronald L. P. D. de Jong, Tim J. M. Jaspers, Raf A. H. Vervoort, Aron F. H. A. Bakker, Yiping Li, Jip L. Tolenaar, Jelle P. Ruurda, Willem M. Brinkman, Josien P. W. Pluim, Marcel Breeuwer, Daan de Geus, Fons van der Sommen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何进行手术。最大的问题不仅仅是教机器人识别肝脏或胆囊的长相；而是要教机器人理解手术的“故事”。在真实的操作系统中，外科医生不仅仅是在看一张静态的照片；他们知道正在进行的是哪种手术，处于手术的哪个阶段，并且他们会记住几秒钟前看到了什么，从而来理解现在的景象。

这篇论文介绍了两项技术，旨在帮助计算机更好地实现这种“手术叙事”。

1. 新的库：ATLAS-120k

将之前的手术视频数据集想象成一些小型的相册，每个相册只展示一种特定类型的手术（比如仅仅是阑尾切除术）或仅包含几个特定的场景。它们规模太小，且过于重复，无法教会计算机如何处理现实生活中复杂多变的情况。

作者创建了 ATLAS-120k，这就像是构建了一部宏大的、全面的手术百科全书。

规模： 它包含超过 120,000 个标注帧（单张图像），这些图像取自 100 段不同的手术视频。
多样性： 它并非只涵盖一种手术，而是涵盖了 14 种不同的手术程序（如胆囊切除术、结肠修复术或肾脏切除术）。它既包括标准腹腔镜手术（使用长柄器械和摄像头），也包括机器人辅助手术。
质量： 为了确保标签的完美无瑕，团队采用了“人机协同”的方法。想象一下，由专家医生和受训者手动标注视频的第一帧，然后使用智能计算机将这些标签复制到后续帧中。如果计算机出现了错误，人类会进行修正。随后，由资深外科医生进行最终审核。这确保了 AI 学习的这本“字典”是准确无误的。

2. 新的大脑：ATLAS 模型

有了这个库之后，他们需要一个能阅读它的“大脑”。目前大多数用于视频的 AI 模型更像是保安，只能追踪移动的物体（比如跟随行走的人）。它们擅长说：“那个物体从左向右移动了”，但它们很难理解“语境”。

在手术中，语境就是一切。一块组织在某一时刻看起来可能像肿瘤，但在下一刻可能看起来像普通的脂肪，这取决于外科医生当前是在切割还是在缝合。

作者构建了一个名为 ATLAS（利用基础表示进行上下文学习的解剖识别）的模型。以下是它的工作原理，我们用一个简单的类比来说明：

基础（Foundation）： 该模型始于一个“预训练大脑”（基础模型），它已经掌握了大量关于图像的知识，类似于一名医学生在开始住院医师实习之前已经读过许多解剖学教科书。
“是什么”查询（"What" Queries）： 它拥有特殊的“查询”（类似于便利贴），询问：“这是什么物体？”以及“它在哪里？”
“故事”查询（"Story" Queries —— 核心秘诀）： 这是本论文的主要创新点。模型增加了两种新型的便利贴：
1. 程序查询（Procedure Queries）： 它们告诉模型：“我们正在进行胆囊切除术。”这有助于模型意识到它应该寻找胆囊，而不是心脏。
2. 阶段查询（Phase Queries）： 它们告诉模型：“我们目前处于‘切割’阶段，而不是‘缝合’阶段。”这有助于模型理解，即便现在的视野与五秒钟前相比发生了变化，当前的解剖结构也应当符合当前的阶段。
记忆力（Memory）： 该模型还拥有短期记忆。它会将信息从一帧传递到下一帧，因此如果它在第 1 帧看到了一个工具，即使在第 2 帧视图变得模糊，它也会记得该工具之前的位置。

3. 结果

团队将这个新大脑与其他顶尖的 AI 模型进行了对比测试。

更高的准确度： ATLAS 在正确识别解剖结构方面击败了所有其他模型。
稳定性： 它在时间维度上能更好地保持预测的稳定性（不会每秒钟都在“这是肝脏”和“这是肾脏”之间反复横跳）。
速度： 尽管非常聪明，但它的运行速度足以支持实时工作（每秒 64 帧），这对于手术至关重要。

总结

该论文声称，通过结合一个庞大且多样化的数据集（ATLAS-120k）和一个能够理解手术“故事”的模型（ATLAS），他们为计算机理解手术场景创造了一个更强大的基础。他们认为，要让手术变得更安全、更精准，AI 需要停止仅仅观察图片，转而开始理解语境、手术程序以及时间的流动。

注：本文的研究重点在于创建该数据集和模型，以改进“手术场景理解”。它并不声称该系统目前正被用于指导患者的实时手术，而是表明它为未来的此类系统提供了必要的工具。

技术摘要：基于基础表示的上下文学习手术解剖结构识别

问题陈述

准确识别解剖结构对于安全有效的微创手术（MIS）至关重要。然而，由于以下两个主要因素，手术计算机视觉在该特定任务上的进展受到了阻碍：

数据稀缺性： 缺乏大规模、多样化且具有丰富标注的数据集来捕捉真实手术实践中的变异性。现有数据集通常存在程序多样性有限、视频数量少以及解剖类别覆盖不全的问题，这限制了模型的泛化能力。
方法论局限性： 传统方法通常侧重于目标跟踪，或针对自然场景进行定制，未能利用外科医生在视野受限且缺乏触觉反馈的情况下识别解剖结构时所依赖的特定上下文线索（例如：手术类型、手术阶段）。

方法论

1. ATLAS-120k 数据集

作者引入了 ATLAS-120k，这是一个旨在解决数据限制的大规模剪辑级语义分割数据集。

规模与多样性： 该数据集包含来自 100 个手术视频的 120,000 多个已标注帧，涵盖 14 种不同的手术程序（包括腹腔镜和机器人辅助微创手术）以及 42 个解剖类别。
标注流程： 采用了一种可扩展的工作流，包括：
- 由手术研究员在外科医生监督下对初始帧进行专家级人工标注。
- 使用轻量级目标跟踪模型进行自动传播。
- 迭代优化过程：在标注达到 10k、25k、50k 帧时，定期对跟踪器进行微调。
- 对传播误差进行人工修正，并由经验丰富的外科医生对每个剪辑的第一帧进行独立验证。
标准化： 视频被降采样至 15 fps，空间分辨率范围从 480×640 到 1080×1920 不等。

2. ATLAS 模型

作者提出了 ATLAS（使用基础表示进行上下文学习的解剖识别），这是一个专门为手术解剖结构构建的视频语义分割模型。与过度关注跟踪的标准视频分割不同，ATLAS 将基础模型嵌入（foundation-model embeddings）与上下文学习相结合。

架构： 基于 EoMT（一种使用 ViT 编码器和可学习查询的最先进图像分割模型）构建，ATLAS 通过引入**上下文查询（context queries）**来扩展到视频领域，该查询与标准的分割和跟踪查询并列。
输入表示： 对于每一帧 $t$ $t$ ，Transformer 的输入 $X_t$ $X_{t}$ 包括：
- 视觉补丁标记（Visual patch tokens, $P_t$ ）。
- 可学习的分割查询（ $Q_{seg}$ ）。
- 从前一帧传播而来的查询（ $\hat{Q}_{t-1}$ ）。
- 上下文查询： 用于表示手术程序（ $Q_{proc}$ ）和手术阶段（ $Q_{phase}$ ）的可学习初始查询，这些查询随时间进行细化，以捕捉全局和时间上下文。
上下文机制：
- 程序查询： 通过多层感知器（MLP）进行编码以预测程序标签，并由交叉熵损失进行监督。这捕捉了稳定的高层上下文（例如：器械存在、暴露模式）。
- 阶段查询： 通过编码来捕捉更精细的时间变化。应用 InfoNCE 对比损失，以确保同一剪辑内时间相邻帧的嵌入距离较近，同时排斥来自不同剪辑或不同时间戳的嵌入。
时间传播： 查询通过线性层从第 $t-1$ 帧传播到第 $t$ 帧，确保了短期记忆和时间一致性，类似于 VidEoMT，但增加了新的上下文维度。

核心贡献

ATLAS-120k 数据集： 一个全新的基准数据集，提供了前所未有的程序多样性（14 种程序）和规模（120k+ 帧），弥合了单程序数据集与复杂现实手术实践之间的差距。
ATLAS 模型： 一种新颖的架构，将基础模型表示与轻量级时间推理及显式上下文查询（程序和阶段）相结合。这种设计使模型能够利用程序知识来消除解剖识别中的歧义。
开放资源： 公开发布了模型、数据集标注和标注平台，以促进进一步的研究。

实验结果

模型在患者级划分（70 训练，10 验证，20 测试）上进行了评估，涉及 30 个合并类别。

性能： ATLAS ViT-L 变体实现了：
- 0.64 AP（平均精度）
- 0.49 mDice（平均 Dice 系数）
- 0.79 mVC24（24 帧内的平均视频一致性）
- 在 NVIDIA H100 上达到 64 FPS 的推理速度，证明了实时可行性。
对比： ATLAS 一致优于自然图像基础模型（如 DINOv2/3、SAM 变体）以及领域内医学模型（如 EndoViT、SurgeNet）。
消融研究：
- 预训练： 使用 DINOv3 在 SurgeNet 数据集上进行的领域内预训练，相比默认权重带来了显著提升。
- 组件： 加入时间查询传播提高了 AP 和 AP50。引入上下文查询进一步提升了检测、区域重叠和时间一致性指标。
- 效率： 这些改进使得 AP 相对基准提升了 >20%，而参数量增加不足 1%。

意义与主张

论文声称，ATLAS-120k 数据集与 ATLAS 模型的结合为稳健的手术场景理解建立了实用基础。作者断言：

上下文至关重要： 微创手术中稳健的解剖感知不仅需要视觉跟踪，还需要集成程序和阶段相关的上下文，所提出的模型成功捕捉到了这一点。
弥合差距： 本工作旨在缩小研究原型与临床有用的、具备解剖感知能力的引导系统之间的差距。
现实应用性： 通过展示在多种程序中实现高精度、高时间一致性和实时性的能力，该框架支持开发更安全、更智能的手术室辅助系统。

作者对绝对 Dice 分数保持了谦逊的态度，承认了数据集的挑战性（高度不平衡的类别、长尾分布），并将 ATLAS-120k 定位为一个极具挑战性的未来模型基准，而非一个已解决的问题。