Benchmarking the robustness of segmentation models to corruptions in biological imaging

在宁静、高分辨率的生物成像世界中，科学家们依赖计算机在细胞、组织和微观结构周围绘制精确的轮廓。多年来，这些任务一直由人工完成，但新一代软件已经出现，能够自主学习识别这些模式。这些基于深度学习构建的程序在识别清晰且光照良好的图像中的物体方面已变得极其熟练。它们已经达到了可以应用到新的图像集上的程度，只需极少的额外训练，甚至有时无需任何训练，只需通过识别之前见过的形状即可。这一进展为以人类无法比拟的速度和一致性分析海量生物数据打开了大门。

然而，真实的生物世界很少是完美的。显微镜可能会脏，样本可能染色不均，光线可能会以扭曲最终图像的方式闪烁或散射。这些被称为“损坏”（corruptions）的缺陷在生物成像中很常见，甚至会让最先进的软件也感到困惑。虽然一些研究人员测试了他们的模型如何处理几种特定的错误类型，但尚未对这些强大的工具在面对实验室实际情况中可能遇到的全方位问题时表现如何进行过全面的考察。如果没有这些知识，就存在这样一种风险：一个在完美测试图像上表现卓越的模型，在面对实际生物样本的混乱现实时可能会彻底失效。

为了填补这一空白，一个研究小组决定对当前最先进的技术进行压力测试。他们不仅仅观察了一两种图像问题；相反，他们模拟了三十六种不同类型的损坏，范围涵盖从模糊、噪声到对比度和亮度的变化。他们将这些退化效果应用于取自三十个不同生物数据集的图像，确保其测试覆盖了广泛的细胞类型和成像条件。目标是观察那些在洁净、完美图像上表现最好的模型，是否在图像质量下降时依然保持可靠。他们想知道最新的、最复杂的软件是否真的更优越，还是说较旧的、更简单的方法在面对逆境时实际上可能更坚韧。

这次广泛基准测试的结果揭示了一种令人惊讶的脱节。研究人员发现，模型在洁净图像上的高分并不能预示它处理损坏图像的能力。一个在完美照片中识别细胞表现最好的程序，可能在同一张照片变得轻微模糊或有颗粒感时首先失效。事实上，研究表明，一种开发于十年前的方法——被称为 StarDist 的方法，在应对这些退化时，比当今主导该领域的许多更新、更复杂的基石模型（foundation models）更具鲁棒性。这表明，现代架构的复杂性并不自动转化为韧性，而较旧的方法在不稳定环境中可能仍然具有优势。

为了深入挖掘这些失败发生的原因，该团队分析了模型的内部层，追踪图像信息如何从处理的第一步流向最终决策。他们发现，性能的崩溃通常发生在过程的非常早期阶段。甚至在计算机尝试识别特定细胞形状之前，负责编码图像特征的初始层就已经在损坏的压力下开始崩溃。这种早期失败意味着，无论后续系统多么先进，从一开始处理的就是有缺陷的信息。研究结论指出，虽然深度学习为生物成像带来了卓越的准确性，但实现真正可靠部署的路径需要对这些脆弱性进行系统的理解，这提醒我们，最强大的工具并不总是最耐用的那一个。