✨ 要点🔬 技术摘要
人类的眼睛是身体健康的窗口，而视网膜——位于眼球后部、具有感光功能的图层——往往会首先显现出疾病的征兆。为了观察这一图层，医生会使用一种特殊的照相机来拍摄眼底图，即眼球的内表面。这些图像细节丰富，展示了血管、视神经以及负责锐利中心视觉的黄斑区。几十年来，研究人员一直试图教会计算机自动读取这些图像，希望能及早发现如糖尿病视网膜病变或青光眼等疾病，以免造成永久性损伤。大多数此类计算机系统都被训练为一次只寻找一种事物，就像一名只检查单一门口的保安。它们非常擅长对特定疾病回答“是”或“否”，但当单张图像包含多种复杂问题（例如出血、瘢痕和肿胀同时存在）时，它们就会显得力不从心。这种局限性导致了计算机观察图像的方式与医生实际阅片方式之间存在差距，因为在实际情况中，多种线索往往会同时出现，共同构成一个完整的故事。
来自厦门大学和厦门眼科中心的科研团队在缩小这一差距方面迈出了重要一步。他们创建了一个全新的集合，包含 7,111 张眼底图像，每张图像都经过精心标注，涵盖了多达 47 种不同类型的眼部体征，从常见的纹理改变到罕见且严重的病变（如视网膜脱离）。这个名为 FundusSigns-47 的数据集反映了临床实践中混乱的现实情况：各种体征的分布并不均匀；有些体征出现在数千张图像中，而有些则极其罕见，仅在极少数图像中出现。为了应对这种复杂性，研究人员开发了一种名为“选择性候选验证提示微调”（Selective Candidate-Verified Prompt Tuning）的新方法。该方法并非强迫计算机一次性猜测所有 47 种体征，而是构建了一个模仿人类细致思考过程的两步走系统。首先，一个大型预训练模型充当广域扫描仪，利用基于语言的提示来建议可能存在的体征。随后，第二个专门的视觉验证器介入，通过寻找具体的视觉证据来证实或纠正最初的猜测。
研究人员发现，如果只是要求一个强大的计算机模型在没有任何特殊训练的情况下观察这些图像，效果并不理想。由于该模型是从数百万张普通图片中学习而来的，如果任由其发挥，它无法识别出眼部疾病中那些微妙且特定的细节。然而，当团队利用一种称为“深度视觉提示微调”（deep visual prompt tuning）的技术，教导模型关注正确的视觉特征时，它生成可能体征的能力得到了显著提升。第一步产生了一组强有度的候选名单，但仍会遗漏一些罕见体征，或偶尔在外观相似的体征上做出错误判断。突破点在于第二步：加入视觉验证器。这个专门针对眼底图像训练的第二个计算机模型充当了“事实核查员”。它会再次检查图像，并提供额外的视觉证据来支持或调整第一个模型的列表。至关重要的是，研究人员设计了这种系统，使验证器仅检查第一个模型认为可能存在的体征，而不是尝试重新评估所有可能性。这种选择性的方法使系统能够将注意力集中在最关键的地方。
研究人员通过一组计算机从未见过的固定测试图像来衡量该方法的成效。新系统在平衡了“找对体征的能力”与“出错频率”的指标（即宏平均 F1 分数，macro-F1 score）上达到了 56.15%。虽然将两个不同的模型独立运行并结合起来的效果在对最可能体征进行排序方面略胜一筹，但这个全新的两步走系统在实际发现现有体征（尤其是那些难以察觉的体征）方面表现更为出色。研究人员表明，这种进步主要归功于视觉验证器增加了新的证据，而不仅仅是第一个模型变得更擅长猜测。他们还证明了该系统并未变得过于谨慎或过于鲁莽；相反，它纠正了特定的错误，既找回了遗漏的体征，也剔除了误报。这项研究表明，对于复杂的医学影像任务，一种结合了具备语言感知能力的广域扫描仪与专注的视觉事实核查器的策略，能为理解患者眼部健康的全局提供一种更平衡、更可靠的方式。
尽管取得了这些令人鼓舞的成果，作者仍谨慎地指出，这只是一个起点，而非最终的解决方案。该数据集来自单一机构，研究人员强调，在将其应用于实际临床环境之前，该系统需要在其他医院和不同人群的图像上进行测试。他们还指出，目前的系统识别的是可观察到的体征（如特定类型的出血或瘢痕），但尚未做出最终的医疗诊断，因为诊断需要医生结合患者病史和其他检查进行综合判断。这项工作凸显了，虽然人工智能可以成为识别模式的强大工具，但对于复杂且多维的问题，最有效的方法可能是使用不同类型的模型来相互校验工作，从而确保最终答案既全面又准确。
技术摘要：FundusSigns-47 与 SCVPT
问题陈述
细粒度异质性： 体征的范围从大范围区域性变化到微小的局部病灶或细微的纹理变化。严重的长尾分布不平衡： 常见体征出现在数千张图像中，而临床关键但罕见的体征可能仅有极少数阳性样本。标签相关性： 体征在统计学和临床上是相关的；将类别独立对待会忽略共现模式，而过度依赖这些模式则可能放大视觉相似类别中的假阳性。
现有的视觉-语言大模型（VLMs）提供了广泛的视觉-语义先验，但在处理特定领域的眼底分布、零样本校准以及长尾多标签决策方面表现欠佳。
方法论：FundusSigns-47 数据集 FundusSigns-47 ，这是一个机构级多标签数据集，包含 7,111 张彩色眼底图像，并标注了 47 种临床可观察的眼科体征（另有 13 个仅作为元数据的诊断标签）。
统计数据： 该数据集包含 16,177 个正向体征分配，每张图像的平均标签基数（cardinality）为 2.27 个体征。分布： 它呈现出严重的长尾分布，其中 47 个类别中有 15 个包含少于 100 张阳性图像，有 5 个包含少于 20 张。多样性： 存在 1,547 个独特的体征标签集，表明样本级组合具有高度的异质性。划分： 数据被确定性地划分为 5,637 张训练集、727 张验证集和 747 张测试集图像。
方法论：选择性候选者验证提示微调 (SCVPT) SCVPT ，这是一个两阶段残差视觉验证框架，旨在平衡多标签识别中的召回率与精确度。该系统将三个角色分离：候选者生成、视觉验证和决策约束。
第一阶段：提示微调候选生成器
骨干网络： 使用预训练的 SigLIP2 ViT-g 模型作为图像-文本骨干。适配： 文本编码器通过固定的文本查询（“a fundus photograph of [sign name]”）进行冻结；图像分支进行 深度视觉提示微调 (dVPT) ，即在多个 Transformer 层中插入可学习的提示 Token。输出： 此阶段通过图像嵌入与文本原型之间的余弦相似度生成候选 Logits。作者发现，允许对 Logit 尺度、最终投影和归一化层进行训练（即“Tuned”）相比于标准的深度 VPT 能显著提高召回率。
第二阶段：残差视觉验证
验证器： 一个独立的 InceptionV3 分支，由最强的传统视觉基线初始化，经过训练以提供补充的视觉证据。残差形式： 验证器输出残差 Logits (r i r_i r i 选择性路由： 为了防止验证器任意改写标签，一种 选择性逐类软激活 机制对残差证据进行约束。一个可学习的权重 (w i c w_{ic} w i c
融合与决策
最终 Logit 计算公式为 s i c = s i c ( 0 ) + α w i c r i c s_{ic} = s^{(0)}_{ic} + \alpha w_{ic} r_{ic} s i c = s i c ( 0 ) + α w i c r i c α \alpha α
最终预测通过独立的 Sigmoid 阈值（默认为 0.5）获得。
训练分为两个阶段：首先适配 SigLIP2 生成器，然后冻结它并训练验证器及融合参数。
关键结果
基线性能： 标准 CNN（如 InceptionV3）和 Transformer 取得了中等水平的结果。Zero-shot SigLIP2 表现较差（4.82 mAP），证实了领域适配的必要性。候选生成器： 采用 Deep VPT 和输出层微调的 SigLIP2 ViT-g 达到了 55.95 mAP 和 54.30 Macro-F1，建立了一个强大的基线。SCVPT 性能： 完整的 SCVPT 模型实现了：
57.87% mAP 56.15% Macro-F1 65.82% Micro-F1 92.40% Macro-AUC 62.56% Sample-F1
与集成方法的比较： 一个简单的 SigLIP2 生成器与 InceptionV3 的独立 Logit 集成方案取得了更高的排名指标（61.64 mAP, 66.24 Micro-F1），但较低的 Macro-F1、召回率和 Sample-F1。消融研究发现：
添加 残差视觉验证器 对平衡指标的提升最为显著。
选择性路由 并没有主导整体增益，但提供了一个具有强召回能力的受控操作点。机制分析显示，验证器纠正了来自假阴性和假阳性的决策，特别是在改善如黄斑裂孔和玻璃体出血等细粒度体征方面的表现。
意义与主张 残差视觉验证 是提升平衡多标签眼科体征识别性能的主要驱动力，而非仅仅是候选者门控。
平衡策略： SCVPT 的定位不是作为集成方法的通用替代品（集成法在精确度/排名方面更高），而是一种平衡策略，旨在提高 Macro-F1、召回率和样本级 F1 。这在临床上具有重要意义，可确保共存的病变不会被遗漏。可解释性： 该框架保持了可解释的结构，即 VLM 提出候选者，而视觉验证器提供补充证据，并受到选择性路由机制的约束。局限性： 作者明确指出该数据集是机构级的，在临床部署前需要外部验证。他们指出当前的路由规则并非最优（因为全标签残差控制在某些指标上取得了略高的综合得分），且固定的划分并非完全独立的患者级验证。
该研究得出结论，提示微调的残差视觉验证是细粒度眼科体征识别的一个有前景的方向，前提是未来的工作应侧集于改进残差路由并进行外部验证。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。