GroundedSurg: A Multi-Procedure Benchmark for Language-Conditioned Surgical Tool Segmentation

本文提出了 GroundedSurg,这是首个面向多手术场景的语言条件化实例级手术工具定位基准,旨在通过结合自然语言描述与像素级定位标注,填补现有评估范式在解析特定器械实例功能角色及空间关系方面的空白,从而推动具备临床现实推理能力的手术人工智能系统发展。

Tajamul Ashraf, Abrar Ul Riyaz, Wasif Tak, Tavaheed Tariq, Sonia Yadav, Moloud Abdar, Janibul Bashir

发布于 2026-03-03
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一个名为 GroundedSurg 的新项目,你可以把它想象成是给手术机器人和人工智能(AI)医生准备的一场"超级严格的听写与找茬考试"。

为了让你更容易理解,我们可以把手术台想象成一个繁忙的厨房,把 AI 想象成一个刚入职的学徒

1. 以前的考试太简单了(旧基准)

在以前,测试手术 AI 就像这样:

  • 考官问:“厨房里有哪些工具?”
  • AI 回答:“有刀、有剪刀、有夹子。”
  • 结果:AI 只要能把所有“刀”都圈出来,就算及格。

问题在于:在真实的手术(厨房)里,桌上可能同时放着三把一模一样的剪刀

  • 主刀医生(人类)会说:“把正在切肉的那把剪刀递给我。”
  • 但旧 AI 可能会把所有剪刀都递过去,或者递错了那把闲置的。
  • 后果:在手术中,递错工具可能导致灾难。旧的方法无法测试 AI 是否真的听懂了“哪一把”和“正在做什么”。

2. GroundedSurg 是什么?(新基准)

GroundedSurg 就是为了解决这个问题而生的。它不再只问“这是什么”,而是问"具体是哪一把,它在做什么"。

  • 新考题:医生看着手术视频说:“请找出正在用来分离胃组织的那把‘和谐 Ace'(一种手术刀)。”
  • AI 的任务
    1. 听懂人话:理解“分离胃组织”这个动作。
    2. 精准定位:在画面里找到唯一符合描述的那把刀。
    3. 画出轮廓:不仅要圈出来,还要精确地勾勒出它的边缘,不能多画也不能少画。

3. 这个考试有多难?(数据集特点)

这个考试非常“硬核”,因为它模拟了真实的手术室环境:

  • 多任务混合:就像厨房里同时在做眼手术(精细)、腹腔镜手术(微创)和开腹手术(大开大合),工具长得都很像,但用途不同。
  • 视觉干扰:手术画面里经常有血、反光、被遮挡的工具,就像在满是雾气的厨房里找一把特定的勺子。
  • 语言陷阱:考题不是简单的“找刀”,而是“找那把正在做某事的刀”。如果 AI 没理解“正在做”这个状态,就会找错。

4. 考试结果如何?(实验发现)

作者让目前最厉害的 AI 模型(包括像 GPT-4o、Qwen 等)来考这场试,结果发现:

  • 现状堪忧:即使是顶尖的 AI,在面对这种“指哪打哪”的精细任务时,表现也很差。
  • 粗浅 vs 精细:AI 有时候能大概猜出“哦,刀在那边”(粗略定位),但一旦要求它精确地画出刀的边缘,或者在好几把刀里选对那一把,它就经常“翻车”。
  • 推理能力很重要:那些专门训练了“逻辑推理”能力的模型(比如 VisionReasoner),表现比普通的“看图说话”模型要好一些。这说明 AI 需要学会思考,而不仅仅是识别

5. 为什么这很重要?(核心意义)

这就好比我们以前只要求自动驾驶汽车能认出“前面有辆车”,现在我们要它认出“前面那辆正在变道的红色轿车,并预测它会不会撞到我”。

  • 安全:只有 AI 能精准理解医生的指令,知道具体要拿哪把工具,手术机器人才能安全地辅助医生。
  • 未来:这个基准(GroundedSurg)就像是一个训练场,强迫未来的 AI 不仅要“眼尖”(看得清),还要“耳聪”(听得懂)和“脑活”(会推理)。

总结

简单来说,GroundedSurg 就是告诉现在的 AI 科学家:“别只教机器人认工具的名字了,要教它们听懂医生的具体指令,并在混乱的手术室里精准地找到并操作那一个特定的工具。”

这是一次从“认字”到“阅读理解”的跨越,是迈向真正智能手术助手的关键一步。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →