PolypVision: A Three-Stage Hierarchical Deep Learning Framework for Classification and Segmentation of Colorectal Polyps

侦探工具箱：肠道之旅

想象你的身体是一座宏大而蜿蜒的城市，而在那座城市内部，结肠是一条漫长而黑暗的隧道。有时，被称为“息肉”的小突起会在隧道壁上生长。大多数情况下，这些突起是无害的，就像花园里无害的杂草。但有些则是狡猾的麻烦制造者，它们可能会变成更危险的东西，就像从杂草变成带刺的藤蔓。医生面临的巨大挑战在于，如何在这些“藤蔓”造成麻烦之前，及早发现并分辨出哪些是“杂草”，哪些是“藤蔓”。

为了做到这一点，医生使用安装在长而柔软的软管（内窥镜）上的特殊摄像头，在隧道内部拍摄照片。但是，观察成千上万张这样的照片是一项艰苦的工作，即使是专家级的医生有时也会对所见之物产生分歧。这就是计算机科学发挥作用的地方，它使用一种叫做“深度学习”的工具。“深度学习”可以被看作是一个学习了数百万张图片的超级聪明学生。它学习识别模式——比如突起的形状或皮肤的纹理——速度比人类快得多。目标并不是取代医生，而是为他们提供一个永不疲倦、且能发现可能被忽略的微小细节的高科技助手。

认识 PolypVision：三步侦探法

在这篇论文中，一个研究小组介绍了一个名为 PolypVision 的新计算机程序。你可以将 PolypVision 想象成一个专门设计用来破解结直肠息肉之谜的三步侦探小队。这个小队并不只是看一眼图片就进行猜测，而是按照特定的顺序工作，将线索从一名侦探传递给下一名，从而拼凑出完整的真相。

第一步：守门人（这是一个问题吗？）
第一位侦探基于一个被称为 EfficientNetV2-M 的智能大脑构建而成，它观察图像并提出一个简单的问题：“这是一个无害的突起（增生性）还是一个有风险的突起（腺瘤性）？” 但这位侦探非常敏锐。在做决定的同时，它还会描述突起的形状及其微小的表面纹理（即 Paris 和 JNet 分类）。为了确保不会被罕见病例所迷惑，它使用了一种特殊的技巧，叫做 Focal Loss（焦点损失），这就像是在告诉计算机：“要格外注意那些棘手的、罕见的突起！”

第二步：轮廓描绘者（边界在哪里？）
一旦第一位侦达说：“是的，这是一个有风险的突起，”第二位侦探就会接手。这位侦探使用一种名为 UNet++ 的工具，逐个像素地在突起周围画出完美的轮廓。想象一下用激光笔在地图上描绘形状；这就是这一步所做的工作。它确定了突起从哪里开始，到哪里结束。但它并没有止步于此！根据它刚刚描绘的大小和形状，这位侦探还会建议移除它的最佳方式——是使用简单的冷圈套钳、标准移除，还是更先进的技术。它会从第一位侦探的笔记中学习，因此它已经知道自己正在观察的是什么样的突起。

第三步：亚型分类器（它是什么样的麻烦制造者？）
如果确认该突起具有风险，第三位侦探就会介入。这位侦探会进一步放大，将有风险的突起细分为三个特定的家族：管状、管状绒毛状或绒毛状。你可以把它们想象成不同的犬种；它们看起来都是狗，但有些比其他的更容易带来麻烦。这位侦探利用从前几个步骤中获得的信息来进行非常精确的判断。为了帮助它更好地学习，团队使用了名为 MixUp 的技术，这就像是将两张不同的图片混合在一起以创建一个新的训练样本，帮助计算机理解突起的形态虽然略有不同，但仍属于同一种类型。

他们发现了什么？

研究人员在三个不同的公开数据集（名为 PolypGen、Kvasir-SEG 和 CVC-ClinicDB）上测试了 PolypVision。结果令人印象深刻。

• 超高准确度： 在进行帧分类时，PolypVision 实现了 约 0.99 的 AUC 值。在计算机测试领域，这相当于在一场极难的考试中取得了 99% 的高分。它的表现与目前最优秀的方法持平，甚至更胜一筹。
• 擅长寻找突起： 在 Kvasir-SEG 数据集上，它通过识别并正确定位息肉，获得了 94.4% 的 mAP@50。这意味着它非常擅长发现突起并围绕它们画出正确的框。
• 它知道自己在看什么： 团队使用了一个名为 Grad-CAM 的工具来观察计算机在做出决策时“注视”的是哪里。热力图显示，计算机关注的是实际的突起及其纹理，而不是图像的随机部分。不过，他们也注意到，当计算机犯错时，它有时会看向错误的区域，这为他们后续如何改进提供了线索。

为什么这很重要

PolypVision 最令人兴奋的部分在于它不需要特殊的摄像头就能工作。它是 设备无关的（device-independent），这意味着它可以观察来自几乎任何标准内窥镜的图片，无论它是旧型号还是新模型，都不需要针对特定硬件进行重新调优。

研究人员甚至已将这个工具作为免费 Web 应用程序发布在 https://polypvision.com。他们认为，这种“层级式”的方法——即每一步都建立在前一步的基础上——是处理分析息肉这一复杂任务的有力手段。虽然该系统非常有前景，但作者也谨慎地指出，它仍需要在真实的医院和新患者身上进行测试，以证明它能在每种情况下都完美运行。目前来看，它是一个强大、免费且高度准确的助手，可以帮助医生在舒适的屏幕前及早发现隐患。