Cross-modal linkage risk in clinical vision-language models

技术摘要：临床视觉-语言模型中的跨模态关联风险

问题定义
在基于配对医学图像和放射报告训练的临床视觉-语言模型（VLMs）中，模型学习到一个共享的嵌入空间，以促进检索、报告生成和零样本迁移等任务。虽然这种对齐是一种功能性的优势，但作者识别出一种特定的隐私漏洞：跨模态关联风险（cross-modal linkage risk）。在部署场景中，如果放射影像和报告在采集后被刻意分离（例如，仅图像数据共享、受控访问的报告或机构数据隔离区），共享的嵌入空间可能会在无意中保留实例级的对应关系。这使得通过余弦相似度搜索，仅凭去标识化的图像就能将其重新关联回原始的、信息丰富的叙述性报告，从而绕过了通常仅删除显式元数据的标准去标识化措施，因为这些措施无法消除已学习到的语义绑定。

研究方法
该研究将此风险形式化为一个图像到报告的检索问题。作者评估了在仅使用共享嵌入空间的情况下，一张留出的胸部 X 光片是否能从候选池中检索出其真实的配对报告。

• 数据集： 评估使用了两个大型公共队列作为基准真值（其中真实的配对关系是设计时已知的）：MIMIC-CXR（43,793 对留出对）和 CheXpert Plus（29,296 对）。这些数据集的作用是审计模型的内部结构，而非作为隐私攻击的场景本身。
• 模型： 测试了四个具有不同程度领域专业化程度的公开可用 VLM：
  1. CLIP： 通用领域。
  2. PubMedCLIP： 生物医学领域。
  3. BiomedCLIP： 生物医学领域。
  4. BioViL-T： 放射学特定领域（胸部 X 光）。
• 评估协议：
  • 随机候选集（设置 A）： 在不同的候选池规模（$N = 100, 1,000, 10,000$ 以及全测试集）下衡量检索性能，以评估可扩展性。
  • 病理匹配硬负样本（设置 B）： 选择与查询图像的 14 类标签病理向量（如肺不张、肺水肿、气胸）相匹配的干扰报告，以确定检索是依赖于广泛的疾病相似性，还是依赖于更细粒度的实例级绑定。
• 缓解策略： 作者提出了一种针对性的干预措施，即保持图像和文本编码器冻结，仅对**共享对齐层（投影头）**进行微调。
  • 差分隐私（DP）优化： 应用于投影头，参数为 $\epsilon = 0.34$ 和 $\delta = 6 \times 10^{-6}$。
  • 对照组： 使用了熵正则化投影头微调（非隐私版本）作为对照，以确保任何关联性的降低是由于隐私机制导致的，而非仅仅是架构扰动。
• 效用评估： 为了确保缓解措施不会降低临床效用，通过在 14 种胸部 X 光异常任务上进行线性探测，评估了修改后的嵌入在图像侧的诊断性能。

关键结果

1. 风险的存在性与量级： 现成的 VLM 能够以显著高于随机水平的速率，将去标识化的图像重新关联到其报告。风险随领域专业化程度而增加：

   • 在 MIMIC-CXR 上，$N=100$ 时，BioViL-T 的 Recall@1 达到了 15.44%（对比 1% 的随机概率），而通用 CLIP 则接近随机水平（1.20%）。
   • 在数据库规模下（$N=10,000$），BioViL-T 检索正确报告的成功率仍是随机概率的 50 倍（0.496% vs. 0.010%）。
   • 这种信号在外部迁移（CheXpert Plus）以及硬负样本条件下依然存在，表明模型学习到了超越粗略病理标签的实例级绑定。

2. 缓解有效性： 冻结骨干网络并仅对投影头应用 DP 优化，显著降低了关联风险：

   • 在 MIMIC-CXR（$N=10,000$）上，DP 投影头微调使 Recall@1 降低了 61.8%（从 0.496% 降至 0.190%）。
   • 该缓解措施在无需重新训练的情况下迁移到了外部数据集 CheXpert Plus，将 Recall@1 从 0.153% 降至 0.091%。
   • 相比之下，非隐私的熵正则化对照组反而增加了关联性，这证实了隐私收益源于特定的 DP 噪声注入削弱了耦合，而非仅仅改变了投影空间。

3. 隐私-效用权衡： 该干预措施展示了高度不对称的权衡，倾向于保护隐私：

   • 隐私： Recall@1 降低了约 62%。
     ే 效用： 14 类标签的图像侧分类宏观 AUROC 从 79.63% 仅微调至 79.43%（下降了 0.20 个百分点）。
   • 每类标签的分析显示 AUROC 变化极小且方向不一，表明尽管跨模态绑定被削弱，但底层的图像表示在临床上仍然保持有用。

意义与主张
本文认为，多模态对齐既是能力，也是隐患。作者主张：

• 当前的去标识化实践对于 VLM 是不足够的，因为共享的嵌入空间本身就是一个泄露通道，即使在删除了显式标识符后，仍保留了可恢复的实例级结构。
• 这种风险并非小规模候选池或粗略疾病相似性带来的伪影；它在数据库规模下以及临床约束的硬负样本条件下依然存在。
• 针对性缓解是可行的： 无需重新训练大型多模态骨干网络（这在 DP 条件下计算成本高昂且不稳定）即可缓解此风险。相反，仅对最终的对齐层应用差分隐私优化，就可以在不实质性损害临床所需的图像表示的前提下，大幅减少跨模态重连。
• 该研究呼吁对临床多模态模型进行新的评估方式，强调负责任的部署必须不仅考虑共享嵌入能实现什么（如检索、生成），还要考虑它们可能在无意中重新连接什么。

作者保持了审慎的视角，指出了一些局限性，包括研究重点在于胸部 X 光、使用公共数据集作为私有部署场景的代理，以及通过线性探测而非全套下游临床任务来评估效用。他们总结道，虽然所提出的缓解措施是对特定关联机制的针对性削减而非解决所有多模态隐私问题的完整方案，但它为更安全地部署现有的临床 VLM 检查点提供了一条切实可行的路径。