🤖 machine learning

Parameter-efficient Prompt Tuning of Vision Foundation Model With Adaptive Focal Loss for Interpretable MCI Screening

本文提出了一种参数高效的框架，该框架通过可学习的提示标记（prompt tokens）和自适应焦点损失（adaptive focal loss）来适配一个冻结的 DINOv2-Small 模型，旨在实现对神经心理学绘图测试中轻度认知障碍的高性能且本质可解释的筛查，同时克服数据稀缺和类别不平衡的问题。

原作者： Javad Khoramdel, Farhad Hoseyni, Amirhossein Nikoofard

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Javad Khoramdel, Farhad Hoseyni, Amirhossein Nikoofard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解谜团的侦探，但线索却隐藏在画作那颤抖的线条之中。这就是**轻度认知障碍（MCI）**的世界——一个隐蔽的早期预警信号，预示着大脑可能正开始变慢，通常发生在全面痴呆症出现之前。医生通常通过观察人们绘制简单图形（如时钟或立方体）的方式来发现这一点，但这其实是一场棘手的游戏。“健康”绘画与“异常”绘画之间的界限往往非常模糊，就像试图分辨一个略微歪斜的微笑和一个皱眉之间的区别一样。

为了破解这个案例，科学家们使用了人工智能（AI），特别是一种被称为**视觉 Transformer（Vision Transformers）**的模型。把这些 AI 模型想象成超级聪明的学生，他们读过数百万本书，也见过数十亿张现实世界的图片。他们擅长发现模式，但要教他们理解医学绘图，通常就像试图通过重写一位国际象棋大师的大脑来教他玩跳棋一样。这需要耗费大量的时间、金金钱和计算能力。本论文提出了一个更简单的问题：我们能否通过仅提供一些特殊的提示，就教会这个超级聪明的 AI 去识别绘图中的线索，而无需重写它的“大脑”？

研究人员贾瓦德·科拉姆德尔（Javad Khoramdel）及其团队表示：“可以。”他们构建了一个巧妙且轻量化的系统，这个系统就像一个带着三副不同眼镜的侦探。他们并没有强迫 AI 从头开始重新学习，而是保持 AI 的“大脑”冻结（保持不变），仅仅添加了三个定制的小型“提示标记（prompt tokens）”。你可以把这些标记看作是 AI 在观察绘图前贴在上面的小便利贴。一张便签说：“寻找时钟错误”；另一张说：“检查立方体的棱角”；第三张则说：“扫描路径轨迹”。

奇迹在于，AI 利用这些便签来集中注意力。当 AI 观察时钟绘图时，“时钟便签”会告诉它图像中哪些部分最为重要，从而生成一张热力图，向医生展示 AI 到底在“担心”哪里。这意义重大，因为通常情况下，AI 是一个只给出答案而不解释原因的“黑箱”。在这里，解释过程被直接内置到了系统中。

但问题在于，数据是混乱的。他们使用的数据集中，健康人数远多于患者人数（约 651 名健康人对比 267 名 MCI 患者），而且许多人的得分恰好处于临界线的边缘，导致分类难度很大。为了应对这一挑战，团队发明了一种特殊的“适配 MoCA 的焦点损失函数（MoCA-adapted focal loss）”。想象一下，这就像一位老师，不仅是将学生的考试简单地评定为“通过”或“失败”，如果一个学生的得分正好处于边缘地带，老师会给予额外的关注，并努力去理解其具体的困难所在。AI 也是如此，它学会了对那些处于诊断界限附近的模糊病例给予额外的关注。

结果令人振奋。当他们测试该系统时，它正确识别 MCI 患者的得分（F1 值）为 0.641，这显著优于一个更庞大、更复杂的系统 ResViT（其得分为 0.531）。新系统还实现了 0.795 的 AUC 值，这是衡量区分健康人群与患者能力的指标。或许最重要的一点是，它在仅训练 119 万个参数的情况下就完成了任务，而旧有的、更沉重的模型则需要 3200 万个参数。

团队还测试了如果移除这些特殊技巧会发生什么。他们发现，如果拿掉“MoCA 概率调节器”（即关注边缘病例的部分），系统的性能会明显下降。这表明，处理诊断中的“灰色地带”至关重要。他们还发现，使用三个独立的“便签”（针对每种绘图类型各一个）比使用一个通用的便签涵盖所有绘图效果更好，这证明了 AI 需要将每项绘图任务视为一个独特的谜题。

简而言之，这篇论文表明，我们不需要构建庞大且昂贵的 AI “大脑”来检测早期的认知衰退。相反，我们可以利用一个经过预训练的聪明 AI，给它一些简单的、针对特定任务的提示，并教它在特殊的关注下观察正确的部位，同时特别留意那些棘手的边缘病例。这是一种更轻量、更快速且更透明的方式，能帮助医生捕捉记忆力减退的早期迹象，将一个复杂的医学谜团转化为一个可解的谜题。

技术摘要：基于自适应焦点损失的参数高效型视觉基础模型提示微调，用于可解释的 MCI 筛查

1. 问题陈述

轻度认知障碍（MCI）是认知功能下降的一个关键早期阶段，也是阿尔茨海默病的前兆。通过神经心理学绘图测试（具体包括时钟绘图测试、立方体复制测试和连线测试）进行自动化检测面临三个根本性的约束：

数据稀缺与不平衡： 数据集通常规模较小且类别分布倾斜（例如，健康对照组与 MCI 患者的比例为 2.4:1）。
诊断模糊性： 临床界限具有不确定性，MoCA 得分在 25 分切点附近密集聚集，使得硬性的二元分类并非最优选择。
现有方法的局限性： 当前的最先进方法依赖于计算成本高昂的全量微调混合架构（例如结合 ResNet 和 ViT），缺乏参数效率。此外，这些模型的解释性通常是事后近似（如注意力展开或 Grad-CAM），而非内在的架构属性。

2. 方法论

作者提出了一种参数高效的框架，通过**提示微调（Prompt Tuning）**和一种新型的 **MoCA 适配焦点损失（MoCA-adapted Focal Loss）**来适配冻结的 DINOv2-Small 视觉基础模型。

2.1 架构：参数高效型提示微调

该模型并未对整个骨干网络进行微调，而是保持了 DINOv2-Small 权重的冻结。适配是通过以下方式实现的：

模态特定可学习 Token： 引入了三个不同的可学习提示 Token，分别对应三种绘图任务（时钟、立方体、连线）。每个 Token 随机初始化并进行端到端优化。
交叉注意力聚合： 每个任务特定的 Token 作为查询（Query）进入一个共享的交叉注意力层，去关注由冻结骨干网络处理的相应图像的补丁（Patch）Token。这产生了个性化的任务条件嵌入（ $e_k$ ），用于总结与特定认知功能相关的最具有信息量的空间补丁。
可学习查询注意力融合： 三个任务嵌入通过一个可学习的查询向量进行聚合，该向量对这些嵌入进行注意力计算。由此产生一个融合后的患者向量以及一组模态重要性权重（ $\alpha$ ），指示哪项绘图测试对最终决策的影响最大。
内在可解释性： 提示 Token 对图像补丁的交叉注意力权重可直接作为空间显著性图，无需额外的反向计算或事后近似。

2.2 损失函数：MoCA 适配焦点损失

为了解决诊断模糊性和类别不平衡问题，作者引入了一个统一的损失函数，该函数泛化了标准的软标签方法。它整合了：

软锚点（Soft Anchor）： 使用以临床切点（ $C=25.5$ ）为中心的 Sigmoid 函数，将连续的 MoCA 得分（ $m_i$ ）转换为软目标（ $s_i$ ）。
MoCA 概率调制器： 一种新型调制器，根据模型预测概率（ $p_i$ ）与 MoCA 衍生期望值（ $s_i$ ）之间的差异对损失进行重加权。对于预测值与基于得分的期望值存在偏差的样本，会增加其权重。
自适应逐样本加权： 纠正了不同 MoCA 分数区间内受试者频率不均的问题（MoCA-bin 自适应加权），确保罕见的、处于边界状态的病例不会被忽略。

2.3 训练策略

该框架采用了针对性的增强和采样策略：

图像反转： 反转像素强度，以使白底绘图符合预训练 DINOv2 的自然图像统计特性。
类别平衡批次采样： 确保每个批次中各类别得到均衡表示。
类型保持 Mixup： 在同一绘图类型内的图像和标签之间进行插值，以保持临床一致性。
MoCA 相邻绘图交换： 在三元组中用具有相似 MoCA 得数的受试者的绘图替换其中一两个，以增加结构多样性。

3. 核心贡献

参数高效且具可解释性的分类： 该框架利用冻结的视觉基础模型，仅使用 119 万个可训练参数（不到总参数量的 6%）。它能产生空间注意力图和模态重要性权重，且这些都是推理过程的直接产物。
MoCA 感知焦点损失： 该统一损失公式通过将连续的认知分数纳入训练目标、损失调制和自适应加权，严格泛化了先前的软标签方法。
针对性增强： 设计了专门用于解决光度领域差异（图像反转）和神经心理学数据集多样性有限（绘图交换、类型保持 Mixup）的策略。

4. 实验结果

该模型在包含 918 名受试者（651 名健康对照，267 名 MCI 患者）的数据集上进行了五折分层交叉验证评估。

性能： 所提架构实现了 0.641 ± 0.026 的 MCI 类 F1 分数和 0.795 ± 0.024 的 AUC。
对比： 尽管使用的可训练参数显著减少，但该模型在 MCI 类 F1 指标上比计算量更大的 ResViT 基准模型（一种混合 ResNet50/ViT 模型）高出了 0.110。
消融实验：
- 移除 MoCA 概率调制器 导致性能下降最为明显（F1MCI 下降了 0.017），证实了其在处理边界模糊性方面的关键作用。
- 任务特定提示 Token 被发现优于共享 Token 或仅使用 CLS Token 的方法，因为它们允许模型专注于特定任务的缺陷，而不是将其平均化。
- 提示微调（Prompt tuning） 的表现优于 LoRA 和 Top Tuning 策略，以最少的额外参数实现了最佳的 MCI 召回率。

5. 意义与主张

论文声称，对于此类任务，增加架构复杂度（堆叠多个大型网络）是不必要的。相反，通过轻量级的任务特定提示微调来适配自监督视觉基础模型，可以提供更优的基础。

关于其意义的核心主张包括：

高效性： 该方法以全量微调或混合架构所需的极小部分参数，实现了最先进的性能。
内在可解释性： 不同于以往依赖于事后近似的工作，该框架将空间显著性图和模态重要性分数作为其结构的内在结果提供。
处理模糊性： MoCA 适配焦点损失通过利用连续的认知分数而非僵化的二元标签，有效地解决了临床边界附近的固有不确定性。
临床相关性： 能够识别哪种特定的绘图模态（时钟、立方体或连线）驱动了预测，这提供了一种在临床决策支持中具有潜在价值的可解释性水平，尽管作者指出这需要未来针对专家判断进行验证。

作者保持了审慎的态度，承认了其局限性，例如使用了来自单一机构的单一数据集、排除了时间运动学数据（笔速/压力），以及需要针对临床专家对模态权重的有效性进行外部验证。