PromptGate Client Adaptive Vision Language Gating for Open Set Federated Active Learning

本文提出了 PromptGate，一种针对开放集联邦主动学习的动态视觉语言模型门控框架，通过联邦类特定上下文优化在保护隐私的同时自适应本地临床领域，有效过滤分布外噪声并显著提升标注数据纯度。

要点

这篇论文介绍了一种名为 PromptGate 的新方法，旨在解决医疗人工智能（AI）在多家医院合作学习时遇到的一个棘手难题：如何在不泄露患者隐私的前提下，高效地筛选出真正有价值的医疗图像，同时自动过滤掉那些“没用”或“错误”的图像。

为了让你轻松理解，我们可以把整个过程想象成一家连锁医院集团正在招聘一位“超级医生助手”。

1. 背景：为什么需要这个“助手”？

• 现状（联邦学习）： 现在，很多医院（比如 Bonn 大学医院和其他几家）想一起训练一个 AI 医生，但法律不允许把病人的照片（数据）传到同一个中心服务器。于是，大家采用“联邦学习”：数据留在本地，只把学到的“经验”（模型参数）传出去汇总。
• 问题（开放集与噪声）： 医院的档案库里不仅有我们要找的“目标病例”（比如某种皮肤病），还有大量无关的垃圾：
  • 拍坏了的模糊照片（伪影）。
  • 完全无关的身体部位（比如把腿部 X 光片混进了皮肤照片里）。
  • 正常的健康组织。
  • 这就叫“开放集”问题。
• 旧方法的困境： 以前的 AI 就像个不懂事的实习生。它看到一张图，不管三七二十一，觉得“这张图有点奇怪，可能很有价值”，就把它挑出来让人类专家去标注。结果，专家花了很多时间标注那些模糊的、无关的图片，浪费了宝贵的时间和金钱。

2. 核心方案：PromptGate（智能守门员）

作者提出了 PromptGate，它就像给这个 AI 系统装了一个智能的、会学习的“守门员”。

这个守门员是怎么工作的？

想象一下，这个守门员手里拿着一本**“任务说明书”**（Prompt，提示词）。

1. 静态说明书的失败（旧方法）：

   • 以前的守门员拿着一本死板的说明书（比如：“只要是红色的斑点就是皮肤病”）。
   • 结果：A 医院的病人皮肤偏黑，B 医院的病人有特殊的纹身，这本死板的说明书在 A 医院能拦住垃圾，在 B 医院却会把真正的病人当成垃圾扔掉，或者把垃圾当成病人放进来。

2. PromptGate 的魔法（动态适应）：

   • PromptGate 的守门员手里拿的是一本**“可编辑的活页说明书”**。
   • 全球共识（Global Prompts）： 所有医院先商量出一个通用的“大原则”（比如：我们要找的是皮肤病，不是骨折）。
   • 本地定制（Local Prompts）： 每家医院根据自己的实际情况，在通用原则上微调自己的“小注脚”。
     • A 医院注脚： “注意，我们这里的病人肤色较深，红色斑点可能看起来像褐色。”
     • B 医院注脚： “我们这里有很多纹身，别把纹身当成皮疹。”
   • 协同进化： 当人类专家标注了几张图后，这个“活页说明书”会自动更新，变得越来越精准。

3. 工作流程：像“安检”一样高效

1. 初筛（守门）： 所有未标注的医疗照片先经过 PromptGate 的“安检”。
   • 如果是垃圾/无关图片（比如拍错部位、模糊不清），守门员直接说：“下一个！”（丢弃）。
   • 如果是疑似目标图片，守门员说：“这个看起来像我们要找的，请专家过目。”（放行）。
2. 专家标注： 人类专家只负责看那些被守门员放行的、高概率是目标的照片。
3. 反馈与升级： 专家标注完，把结果反馈给系统。系统不仅更新了 AI 模型，还更新了那本“活页说明书”，让守门员下次更聪明。

4. 为什么它很厉害？（实验结果）

论文在两个真实的医疗数据集上做了测试（一个是皮肤镜图像，一个是乳腺 X 光图像）：

• 纯度极高： 以前的方法，专家收到的图片里，可能只有一半（50%）是真正有用的，另一半是垃圾。而 PromptGate 能把这个比例提升到 95% 以上。
  • 比喻： 以前专家要在 100 个包裹里翻找 50 个真货；现在，PromptGate 直接递给他 100 个包裹，里面 95 个以上都是真货。
• 不泄露隐私： 所有的“微调”都在医院本地完成，只有“说明书的修改建议”被汇总，原始照片从未离开过医院。
• 即插即用： 它不干涉医生具体怎么挑选图片（是随机挑还是挑最难的），它只是在前端把垃圾清理掉，让任何挑选策略都变得更高效。

5. 总结

PromptGate 就像是一个懂得“入乡随俗”的智能过滤器。

• 它利用大语言模型（VLM） 的理解能力，结合联邦学习的隐私保护。
• 它通过动态调整提示词，让每家医院都能根据自己的数据特点，自动学会如何区分“我们要找的病”和“无关的噪音”。
• 最终效果： 医生不再需要浪费时间在废片上，AI 学习速度更快，且完全符合医疗隐私法规。

这就好比给每个医院的 AI 配了一位既懂全局又懂本地情况的“老练导医”，确保专家只处理最核心的病例，极大地提高了医疗 AI 落地的效率。

技术摘要

这是一篇关于PromptGate（一种用于开放集联邦主动学习的客户端自适应视觉 - 语言门控框架）的论文技术总结。该研究旨在解决医疗 AI 在资源受限机构中部署时面临的数据隐私、分布外（OOD）噪声干扰以及标注成本高昂的问题。

以下是详细的技术总结：

1. 研究背景与问题定义 (Problem)

• 核心挑战：
  • 开放集场景 (Open-Set)：现实世界的临床数据（如医院档案）是异构的，包含目标类别（In-Distribution, ID）以及大量的分布外噪声（Out-of-Distribution, OOD），如成像伪影、错误模态、无关病理或正常组织。
  • 传统主动学习 (AL) 的局限：标准的 AL 查询策略通常假设数据池是封闭集，容易将 OOD 样本误判为高信息量样本，导致宝贵的标注预算浪费在无效数据上。
  • 联邦学习 (FL) 的复杂性：医疗数据分散在不同机构，受隐私法规限制无法集中。现有的联邦主动学习（FAL）方法多基于特定任务特征，缺乏对 OOD 的语义理解，且未充分利用预训练视觉 - 语言模型（VLM）的先验知识。
• 目标：在保护患者隐私的前提下，构建一个高效的联邦主动学习系统，能够自动过滤掉 OOD 噪声，仅将高置信度的 ID 样本提交给专家标注，从而提升标注效率和模型性能。

2. 方法论：PromptGate (Methodology)

PromptGate 是一个动态的、基于 VLM 的门控模块，作为任何下游主动学习策略的“前置过滤器”。其核心机制如下：

• 架构基础：

  • 使用冻结的预训练 VLM（BiomedCLIP）作为骨干网络，包含图像编码器 ($E_{img}$) 和文本编码器 ($E_{text}$)。
  • 不微调 VLM 的权重，而是通过提示学习 (Prompt Learning) 来适应特定任务。

• 联邦类特定上下文优化 (Federated Class-Specific Context Optimization, CSC)：

  • 将提示向量（Prompts）分解为两部分：
    1. 全局提示 (Global Prompts, $p^g_c$)：在所有客户端间共享，通过 FedAvg 聚合，捕捉跨机构的通用语义先验。
    2. 本地提示 (Local Prompts, $p^k_c$)：每个客户端独有，用于适应本地数据分布的异质性（如不同的扫描仪、染色协议或特定的伪影类型）。
  • 对于每个 ID 类别 $c$ 和 OOD 类别，生成混合上下文 $[p^g_c; p^k_c]$，输入文本编码器生成提示嵌入。

• 动态门控机制 (VLM-Gated Pseudo-Labeling)：

  • 在每个联邦主动学习轮次中，客户端利用 VLM 计算未标记池中样本与各类别提示的余弦相似度。
  • 通过温度缩放 Softmax 计算伪标签概率。
  • 过滤逻辑：仅保留被 VLM 预测为 ID 类别的样本进入“候选池”（Candidate Pool），其余被判定为 OOD 的样本被丢弃。
  • 下游的主动学习策略（如随机采样、熵采样等）仅在过滤后的高纯度候选池中进行查询。

• 迭代更新：

  • 当专家（Oracle）对查询样本进行标注后，利用交叉熵损失同时更新全局和本地提示向量。
  • 仅将全局提示的更新上传至服务器进行聚合，本地提示保持私有，确保隐私。

3. 主要贡献 (Key Contributions)

1. 首个面向 OS-FAL 的可学习提示模块：提出了 PromptGate，这是第一个将可学习提示（Learnable Prompts）引入开放集联邦主动学习的框架。
2. 全局/本地提示分解策略：创新性地设计了提示向量的分解机制，既能捕捉跨机构的共享语义，又能适应各站点特有的 OOD 行为（如特定设备的伪影），解决了数据异构性问题。
3. 即插即用的门控机制：该模块独立于下游的主动学习策略，可作为通用前置过滤器，显著提升任何策略的查询纯度和标注效率。
4. 实证验证：在两个联邦医疗影像基准（皮肤病变和乳腺密度分类）上证明了其有效性，特别是在处理高比例 OOD 噪声时表现优异。

4. 实验结果 (Results)

实验在 FedISIC（皮肤病变，多中心，高 OOD 比例）和 FedEMBED（乳腺密度，多扫描仪，有机 OOD）数据集上进行。

• ID 纯度 (ID Purity)：
  • 静态 VLM 提示 (Baseline)：在 FedISIC 上，随着轮次增加，静态提示的纯度下降至约 50%-76%。
  • PromptGate：在 FedISIC 上，所有变体（混合、全局、本地）均将 ID 纯度维持在 95% 以上（平均约 96.8%），显著优于基线。
  • OOD 召回率：PromptGate 实现了 98% 的 OOD 召回率，意味着它能极其有效地剔除噪声。
• 模型性能 (BMA - 平衡多类准确率)：
  • 在 FedISIC 上，PromptGate 配合不同的 AL 策略（如 Entropy, Random），BMA 提升了 1-3%。
  • 在 FedEMBED 上，虽然初始阶段因过滤导致样本多样性略降，但随着提示微调，最终性能超越基线。
• 策略对比：
  • 本地适配器 (Local) 在 FedISIC 上表现最佳（平均纯度 96.8%），证明针对特定站点伪影进行个性化适配优于通用全局提示。
  • 混合模式 (Mixed) 在结合强 AL 策略时往往能达到峰值性能。
• 效率：
  • 仅引入约 12K 个参数（每个客户端 16 个提示向量），计算开销极小，且无需共享患者数据。

5. 意义与结论 (Significance)

• 解决开放集难题：PromptGate 成功将开放集联邦主动学习问题转化为高纯度的封闭集问题，使得传统的 AL 策略在嘈杂的真实医疗数据中也能高效工作。
• 隐私与效率的平衡：通过联邦提示学习，在不泄露原始数据的情况下，实现了模型对本地数据分布的自适应，同时大幅减少了专家标注无效样本的时间成本。
• 临床部署价值：该方法具有“即插即用”特性，无需针对每个医院进行复杂的工程调整，即可部署于异构的医院网络中，特别适用于资源受限且数据隐私要求严格的医疗场景。
• 未来方向：论文指出 VLM 目前主要作为“守门人”而非最终分类器（细粒度分类精度仍有提升空间），未来工作将致力于增强 VLM 与任务模型之间的跨模态一致性，并探索从探索池（Exploration Pool）中选择样本的策略。

总结：PromptGate 通过动态适应的视觉 - 语言提示，在联邦学习框架下构建了一个强大的噪声过滤器，显著提升了医疗主动学习在开放集环境下的实用性和鲁棒性。