A Fine-Grained Benchmark for Ophthalmic Foundation Models with Point-Based Classification and Retrieval

技术摘要：一种基于点分类与检索的眼科基础模型细粒度基准测试

问题陈述
尽管通用视觉基础模型在多种任务中展现出了多样性，但眼科基础模型（如 RETFound、UrFound、OCT-CUBE）的评估主要仍局限于狭隘的疾病级分类和分割。这些传统的基准测试无法反映实际的临床推理过程，即临床医生在得出诊断之前，首先识别特定的局部临床体征（如视网膜出血、视网下积液）。现有的评估往往忽略了模型识别并根据这些细粒度体征检索图像的能力，这可能掩盖了模型在学习过程中存在的根本性局限。此外，目前尚不清楚强大的疾病分类判别性能是否能转化为鲁棒的体征级图像理解能力，或者通用模型是否能在无需领域特定预训练的情况下有效地泛化到眼科成像领域。

方法论
作者提出了一个由两个不同任务组成的细粒度评估框架，这两个任务均利用稀疏的点标注来指示具有诊断相关性的临床体征位置。该研究在两种成像模态上评估了 11 个基础模型（8 个眼科专用模型和 3 个通用模型）：用于糖尿病视网膜病变（DR）和年龄相关性黄斑变性（AMD）的彩色眼底照相（CFP），以及用于 AMD 的光学相干断层扫描（OCT）。

• 数据集： 评估涵盖了 10 个数据集，包括四个新构建的内部数据集（HYU-DR-CFP、HYU-AMD-CFP、HYU-AMD-OCT、Yonsei-AMD-OCT）和六个既有的外部数据集（IDRiD、ADAM、UK Biobank、Beijing Eye Study、Ural Eye and Medical Study、Central India Eye and Medical Study）。
• 任务 1：点监督疾病分类： 模型通过一个线性分类头和点监督损失进行微调。该损失项（模型注意力图与高斯平滑点图之间的余弦相似度）旨在引导模型关注临床医生识别的区域。性能衡量指标包括 CFP 上 DR 和 AMD 的二次加权 Kappa 值（QWK），以及 OCT 上 AMD 的宏平均 F1 值。
• 任务 2：点引导的临床体征级图像检索： 该任务旨在评估未经任务特定适配的预训练表示的内在质量。给定一张带有特定体征点标注的查询图像，模型需检索包含相同体征的库图像。相似度计算是在补丁（patch）级别进行的（而非图像级别），通过计算空间位置上的最大余弦相似度，以确保实现针对特定体征的检索。性能衡量指标为平均检索精度（mAP）。
• 消融与分析： 研究包含了注意力探测（在冻结特征上训练一个头部）和中间层特征分析，以确定性能差异是由特征编码还是检索机制引起的。

核心贡献

1. 新型评估框架： 引入了一种基于点标注的基准测试，从疾病级分类转向评估对单个临床体征的细粒度识别与检索。
2. 全面的基准测试： 在 10 个数据集上评估了 11 个基础模型，涵盖了 CFP 和 OCT 两种模态，并包含了多样化的群体和成像设备。
3. 公开发布： 作者公开了评估框架及构建的数据集（HYU 和 Yonsei 数据集），以促进进一步的研究。
4. 点标注的实证证据： 证明了点标注为分类微调提供了有意义的信号，更重要的是，它能够实现精确的临床体征检索。

结果

• 分类（任务 1）： 通用模型（DINOv3-Large、Perception Encoder-Large）在内部验证中展现出了足以媲美或超过眼科模型的适应性。然而，在外部验证下，在大型眼科数据集上预训练的眼科模型（特别是 RETFound-DINOv2 和 VisionFM 变体）表现出更优越的泛化能力，保持或提升了其排名。
• 检索（任务 2）： 眼科基础模型在临床体征检索方面展现出明显的、一致性的优势。VisionFM 变体（CFP 和 OCT）在数据集内及跨数据集检索任务中均占据主导地位。相比之下，尽管通用模型分类性能较强，但在检索任务中表现挣扎，通常排名处于后半部分。
• 体征级性能： 眼科模型与通用模型之间的差距在跨数据集检索中最为显著，特别是在疾病体征稀少且不平衡的 UK Biobank 人口筛查队列中。
• 点标注的影响： 点监督在所有设置下都带来了统计学意义显著的分类性能提升，其中在通用模型中观察到的改进更为明显。在检索任务中，点标注至关重要；如果没有点标注，模型无法有效地从共存特征中区分出特定的体征。VisionFM 变体在检索任务中从点监督中获得的收益最大。
• 补丁准确性： 虽然检索性能有所波动，但 VisionFM 变体在确保检索到的补丁确实包含查询的临床体征方面表现得最为一致。

意义与主张
本文认为，强大的分类性能并不保证模型已经学习到了体征级的特征编码。仅关注疾病分类的传统基准可能会掩盖模型在表示能力方面的根本性局限。研究表明：

• 领域预训练至关重要： 虽然通用模型可以通过微调适应眼科任务，但领域特定的预训练为处理未知数据提供了关键的泛化优势，并且对于鲁棒的体征级检索是必不可少的。
• 检索作为理解的代理指标： 基于特定临床体征检索图像的能力，是比单纯分类更严格的图像理解测试，因为它要求模型隔离特定特征，而非依赖于数据集特有的捷径。
• 点标注的价值： 点标注作为密集分割的一种轻量化替代方案，能有效地引导模型学习具有临床意义的信号，并解决体征级检索中的歧义问题。

作者总结道，随着基础模型被定位为通用骨干网络，评估必须超越分类准确率，以确定学习到的表示是否植根于构成诊断基础的临床观察。他们呼吁开发能够明确鼓励编码此类细粒度临床特征的预训练目标。