💻 computer science

Attribute Retrieving for Open-Vocabulary Endoscopic Compositional Referring Segmentation

本文介绍了 ReferEndoscopy，这是一个用于内窥镜指代图像分割的大规模基准测试，并提出了 AR-ERIS 框架，该框架利用属性检索来实现具有强大泛化能力的、在模拟和真实世界数据上的最先进的开集组合分割。

原作者： Shun Liu, Nan Xi, Yang Liu, Tianyu Luan, Xuan Gong, David Doermann

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Shun Liu, Nan Xi, Yang Liu, Tianyu Luan, Xuan Gong, David Doermann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在观看人体内部的实时画面，就像一个微型摄像机正在探索一个黑暗、湿软的洞穴。这就是内窥镜。现在，想象一位外科医生需要抓取特定的工具或指出特定的组织，但他不是用手指去指，而是直接说：“抓取左边那个红色的长条状物体。”

在过去，试图理解这类请求的计算机程序就像是一个笨拙的机器人，它只知道“工具”或“器官”这些词。如果你要求“红色的工具”，机器人可能会抓错，因为它并不理解“红色”和“长条状”是重要的线索。这篇论文介绍了一种全新的、超级智能的系统，名为 AR-ERIS，它扮演着侦探的角色，通过拼凑微小的线索（属性）来精准找到医生所谈论的对象。

核心问题：“盲目”的机器人

作者发现，现有的计算机模型在复杂、棘手的医疗手术场景中表现挣扎。他们反对这样一种观点，即仅仅展示一张图片和一个简单的名称（如“钳子”）就足够了。在现实世界中，工具会移动，组织会被挤压，光照也会发生变化。论文明确否定了现有模型能够处理复杂描述（例如“那个红色的、位于左下角、正接触着组织的器械”）的可能性。如果没有经过专门训练，这些模型会感到困惑并无法泛化到新的、未见过的场景中。

解决方案：一个新的“图书馆”和一个“线索猎人”

为了解决这个问题，团队构建了一个庞大的新库，名为 ReferEndoscopy。它不仅仅是几张图片，而是一个巨大的集合，包含 65,964 张内窥镜图像、242,055 个详细的掩码（轮廓）以及超过 140 万 个文本-图像对。他们并没有简单地将其标记为“肝脏”或“工具”，而是将每个物体分解为具体的线索：它的颜色、大小、纹理、形状，以及它相对于其他物体所处的确切位置。

你可以把这个图书馆想象成一个巨大的数据库，其中每个物体都有一张填满了这些具体细节的“身份证”。

随后，他们构建了 AR-ERIS 框架。这就是那位侦探。它是这样工作的，我们用一个有趣的类比来解释：

频率滤波器（The Frequency Filter）： 想象你正透过两副不同的眼镜看照片。一副眼镜会模糊颜色但突出锐利的边缘（比如金属工具的轮廓）；另一副眼镜则会突出平滑、柔软的区域（比如一块脂肪或皮肤）。论文指出，内窥镜图像之所以特殊，是因为它们具有这些截然不同的“频率”组成部分。新模型同时戴上这两副眼镜，以便比只观察单一细节的模型更透彻地理解场景。
属性检索（属性猎人/The Clue Hunter）： 这是神奇之处。当医生说“寻找红色的东西”时，模型并不会瞎猜。它会前往它的记忆库（属性数据库），调取它所了解的所有物体的“身份证”。它会检查：“哪个工具是红色的？哪个是细长的？哪个在左边？”它会检索出与描述相匹配的具体线索。
匹配（The Match）： 如果医生要求的某个东西是模型从未见过的（比如一种新型的机械臂），模型会利用其训练成果，从记忆库中寻找最相似的线索。这就像是在说：“我没见过这个完全相同的工具，但我知道它看起来像是一个‘探针’，且是‘圆形的’、‘黑色的’，所以我将寻找这些特征。”

数据说明

论文测试了这个侦探系统与其他顶尖模型的效果。结果非常明确：

当指令很简单（仅提供物体名称）时，新模型的得分是 73.76% (mIoU)，击败了排名第二的模型（后者仅为 39.21%）。
当指令变得更难（加入了颜色和位置等更多线索）时，新模型依然表现强劲。例如，在“困难”指令下，它获得了 74.23% 的得分，而其他模型则大幅下降。
在使用一个模型从未见过的全新数据集 (SAR-RARP50) 进行“压力测试”时，该新系统实现了 21.32% 的得分，而一个著名的竞争对手 (GroundedSAM) 仅达到了 9.25%。这表明该模型实际上是在学习游戏规则，而不仅仅是在死记硬背答案。

论文并未声称的内容

值得注意的是，论文中没有提到的内容。作者谨慎地指出，虽然这是一个新的基准测试和一个新的框架，但他们并不声称这是一个已经完美、成熟并准备好在明天就投入每家医院的产品。他们建议这种方法可以帮助实时导航和机器人辅助，但他们将这些视为潜在的未来步骤，而非现状。他们还指出，尽管他们的模型很好地处理了“开放词汇”（新词汇），但它仍然依赖于它所接受过训练的特定属性。

总结

这篇论文表明，通过教计算机寻找特定的、微小的细节（属性），并给它们一个庞大且有组织的示例库，我们可以构建出能够理解手术中复杂的自然语言指令的系统。这是迈向未来——即医生可以直接与机器人对话，而机器人能准确知道该抓取哪一个红色的、柔软的、位于左侧的工具（即使它从未见过那个完全相同的工具）——的一步。作者展示了这种方法比目前的先进模型效果更好，但他们将其定位为一个强大的研究基础，而非解决所有医学成像问题的最终方案。

技术摘要：用于开放词汇内窥镜组合式指代分割的属性检索

问题陈述

指代图像分割（Referring Image Segmentation, RIS）旨在根据自然语言描述分割图像区域，从而实现细粒度的视觉理解。虽然在自然图像领域取得了成功，但将 RIS 扩展到内窥镜图像面临着独特的挑战：

数据稀缺与质量问题： 医学领域缺乏高质量、基于指令引导的标注数据。
复杂的领域特异性： 内窥镜图像具有复杂的纹理、遮挡、器械与组织间的动态交互，以及低光照和烟雾等挑战性环境。
细粒度需求： 医学描述需要对微妙的解剖结构和器械变化（例如特定的器械部件、组织类型）进行解释，这超出了典型的物体描述范畴。
类别不平衡： 内窥镜数据集通常表现出长尾分布，即特定的器官或器械出现频率远高于其他类别。
泛化差距： 现有方法过度依赖于受限领域内的仅图像数据，缺乏实现鲁棒开放词汇泛化所需的文本引导。

方法论：AR-ERIS 框架

作者提出了 基于属性检索的内窥镜 RIS（Attribute Retrieval-based Endoscopic-RIS, AR-ERIS） 框架，该框架旨在实现开放词汇的内窥镜组合式指代分割。其核心组件包括：

1. ReferEndoscopy 基准测试

为了解决数据稀缺问题，作者构建了 ReferEndoscopy，这是一个大规模基准测试，包含：

65,964 幅来自 10 个不同数据集（包括 AutoLaparo, DSAD, Cholecseg8k, EndoVis-17/18, Kvaser-Instrument, RoboTool, SAR-RARP50, SISVSE, 和 LaparoI2I）的内窥镜图像。
242,055 个基于指令引导的掩码（masks）。
1,452,330 个“图像-掩码-指令”三元组。
59 个类别，涵盖器械（部件）、器官和组织。

属性引导的标注流程：

步骤 1（收集）： 聚合来自不同领域的数据并进行预处理（裁剪黑色背景，缩放至 448×448）。
步骤 2（属性识别）： 使用 OpenCV 自动提取每个掩码的属性，包括：
- 颜色： 将平均颜色映射到标签（例如：红色、银色）。
- 大小： 将掩码面积映射到定性标签（例如：小、中、大）。
- 空间位置： 计算质心以确定相对位置（例如：左下方）。
- 参考/关系： 通过轮廓间的距离计算来确定关系（例如：接触、靠近、重叠）。
步骤 3（指令设计）： 使用模板引擎生成自适应指令，将属性组合成不同复杂度的提示词：
- 朴素型（Naive）： 仅包含类别名称。
- 简单/中等/困难型（Simple/Medium/Hard）： 增加属性数量（1、3 或 5 个），描述颜色、纹理、位置、形状和大小。

2. AR-ERIS 架构

该框架由双编码器、特征金字塔网络（FPN）、跨模态注意力机制和投影器组成。

频率感知指代网络（FAR-Net）：
- 频率分解： 与标准方法不同，FAR-Net 对输入图像应用二维快速傅里叶变换（FFT），将其分解为低频（纹理/器官主体）和高频（边界/边缘）成分。
- 频率融合（Freq-Fusion）： 模型使用频率掩码分离这些成分，应用逆傅里叶变换，并将它们与原始 RGB 图像进行拼接（ $I_{combined} = \text{Concat}(I, I_{low}, I_{high})$ ）。这使得模型能够独立于颜色感知类别的刚性与变形。
- 特征融合： 一个混合专家网络将这些多频率特征与原始视觉特征进行融合。
- 跨模态对齐： 文本提示通过 CLIP 文本编码器进行嵌入，并通过级联 Transformer 解码器和跨注意力机制与图像特征进行对齐。
属性检索模块（ARM）：
- 旨在处理开放词汇和新颖属性。
- 在推理过程中，如果测试类别是新颖的，ARM 会计算目标类别与预训练类别之间的相似度得分，从而从类别-属性记忆库中检索最相关的属性（颜色、大小、纹理、位置）。
- 这使得模型能够基于预训练的属性共现关系，为未见过的类别生成准确的指令。
训练策略：
- 损失函数： 模型通过结合二元交叉熵（BCE）、Dice 损失（ $L_{Dice}$ ）以及一种新型的频率一致性损失（ $L_{freq}$ ）进行优化。
- $L_{freq}$ 特别针对高频图像成分与分割掩码之间的差异进行惩罚，迫使模型捕捉对于手术器械至关重要的锐利边缘细节。

核心贡献

ReferEndoscopy 基准测试： 创建了一个大规模、基于指令引导的数据集，涵盖了多样化的内窥镜领域、器械和解剖结构，解决了手术领域缺乏细粒度文本-图像数据的问题。
AR-ERIS 框架： 一种新颖的架构，它：
- 将 RGB 输入分解为不同的频率成分，以捕捉边界、形状和纹理特征。
- 利用混合专家网络进行自适应特征选择。
- 采用属性检索模块（ARM）来处理开放词汇设置以及新颖类别的属性检索。
达到最先进水平（SOTA）的性能： 在各种指令复杂度及数据集上，展现出优于基线模型（如 GroundedSAM, LAVT, CRIS）的性能。

实验结果

基准测试性能： 在 ReferEndoscopy 数据集上，AR-ERIS 取得了最先进的结果。其“中等”变体（使用 3 个属性进行预训练）在整个基准测试上的 mIoU 为 73.98%，DICE 为 85.04%，显著优于 LAVT（38.75% mIoU）和 GroundedSAM（9.84% mIoU）等基线模型。
对复杂度的鲁棒性： 当指令复杂度增加时（例如从“朴素”到“困难”），自然图像基线模型的性能大幅下降，而预训练了属性的 AR-ERIS 变体保持了鲁棒性；相比于朴素基线，其“中等”和“困难”设置下的 mIoU 分别提升了 2.50% 和 1.61%。
泛化能力（零样本）： 在未见的 SAR-RARP50 数据集（机器人辅助前列腺切除术）上，AR-ERIS（困难变体）实现了 21.32% 的 mIoU，显著超过了 GroundedSAM（9.25% mIoU）。这证明了模型在无需特定训练的情况下，向新手术领域和解剖结构的泛化能力。
组件分析：
- Dice 损失（ $L_{Dice}$ ）： 提升了软组织分割（如肝韧带、腹壁）的性能。
- 频率损失（ $L_{freq}$ ）： 对器械分割至关重要，通过保留锐利的、高频的边缘，带来了巨大的 IoU 增益（例如电钩的 IoU 提升了 +21.46%）。
- ARM 模块： 实现了有效的属性检索，当从朴素指令子集转向困难指令子集时，将 mIoU 从 72.35% 提升至 74.85%。

重要性

本文声称这项工作为医学领域的视觉-语言对齐建立了一个基础性的方法和基准。通过利用属性检索和频率感知特征融合，AR-ERIS 解决了内窥镜图像中的特定挑战，如类别不平衡、复杂纹理以及对细粒度、开放词汇分割的需求。作者认为，该框架有潜力增强实时导航，并为微创手术提供上下文感知的机器人辅助，从而超越静态物体检测，实现动态的、指令驱动的手术支持。