A Pixel-based Confidence Weighted Transfusion model for Colonoscopy and Colon Capsule Endoscopy image-based Polyp Segmentation

在人体内部，大肠的内壁是一个复杂的景观，其中可能会形成被称为息肉的小型、通常肉眼难以察觉的增生物。这些增生物非常重要，因为它们最终可能演变成癌症，这使得早期发现它们成为挽救生命的关键步骤。目前寻找这些息肉的金标准是一种被称为结肠镜检查的程序，医生通过引导带有摄像头的柔性管进入结肠进行观察。然而，这个过程非常艰巨。医生必须扫描数千张图像，且经常面临光照困难或摄像头移动的情况，仅仅因为息肉太小、隐藏较深或与背景融为一体，他们就可能漏掉高达三分之一的这类增生物。为了提供帮助，科学家们转向人工智能，教计算机识别这些增生物。然而，他们目前开发的工具面临着一个顽固的问题：它们难以理解全局图景。它们往往擅长观察精细细节，却不擅长理解宏观背景，反之亦然；并且当摄像机类型或图像质量发生变化时，它们就会失效。

来自丹麦大学和医院的一个研究小组开发了一种新方法来解决这一特定问题。他们创建了一个计算机模型，旨在成为两种观察结肠方式之间的桥梁。一种方式使用传统的结肠镜检查，它提供高分辨率、清晰的图像；另一种方式使用胶囊内镜检查，患者吞下一颗药丸大小的摄像头，它在经过消化系统时进行拍照；这些图像的分辨率通常较低，且拍摄时的光照环境较难控制。研究人员意识到，在一种类型的图像上训练的单一计算机模型，在面对另一种图像时往往会失效。事实上，在高质量光学结肠镜图像上训练的模型，在应用于低质量胶囊数据时无法保持其性能，这凸显了这两类成像类型之间显著的知识迁移差距。为了解决这个问题，他们构建了一个结合了两个独立模型优势的系统。其中一个模型专门用于处理清晰、细腻的内窥镜图像，而另一个模型则针对药丸摄像头产生的多变图像进行了调整。该系统并没有强迫这两个模型对同一个答案达成一致，而是观察图像中的每一个像素，并问一个简单的问题：哪一个模型对这个特定位置更有信心？然后它会融合答案，给予更有把握的模型更高的权重。这使得系统能够即时适应，无论它是在观察一张锐利的高清图像，还是一张模糊的低分辨率图像。

研究人员在包括来自数千次手术的真实患者数据和计算机生成的合成图像在内的多种图像集上测试了这一名为 TransFuseNet 的新系统。他们发现，该系统能够准确地勾勒出不同条件下息肉的形状和大小。在利用胶囊内镜真实图像进行的测试中，该系统在约 82% 的病例中正确识别了息肉边界；而在使用标准结肠镜图像的测试中，其准确率接近 90%。至关重要的是，这种新的组合系统成功缓解了在切换这两种成像类型时通常会出现的性能下降。虽然针对一种模态训练的单个模型在测试另一种模态时表现挣扎，但融合系统通过为每个像素动态选择最可靠的预测，保持了稳健的准确性。该系统还为每项预测提供了确定度度量，标出了它确定的区域以及它不太自信的区域，这可以帮助医生了解何时应该信任计算机的建议。

除了发现息肉之外，该系统还提供了一种测量它们的方法。通过计算构成检测到的增生物的像素数量，软件可以估算息肉的相对大小，这是判断其是否危险的关键因素。研究人员展示了他们的模型处理图像的速度足以跟上实时视频流，每秒可以分析约 46 帧，这比医生通常查看视频的速度还要快。这种速度意味着该工具可以在手术过程中实时使用，充当一个永不疲倦的“第二双眼睛”。这项研究证实，通过将局部细节与对图像的更广泛理解相结合，并让计算机在每一个点上决定信任哪个信息源，制造出一种更可靠的工具来发现癌症早期迹象是可能的。虽然该系统不能取代医生，但它提供了一种稳健的方法来减少漏诊息肉的数量，从而有望实现更早期的治疗，并为面临结直肠癌的患者带来更好的预后。