Handling Supervision Scarcity in Chest X-ray Classification: Long-Tailed and Zero-Shot Learning

本文针对胸部 X 光分类中因疾病分布长尾化和罕见/未见病灶标注缺失而导致的监督稀缺问题，提出了分别适用于长尾多标签分类和零样本未见类别识别的解决方案，并在 CXR-LT 2026 挑战赛中取得了领先的性能。

要点

这篇论文讲的是医生和人工智能（AI）在解读胸部 X 光片时遇到的一个巨大难题，以及作者团队是如何巧妙解决它的。

想象一下，你是一家超级繁忙的医院放射科的 AI 助手。你的任务是看 X 光片，然后告诉医生：“这张片子上有什么病？”

1. 核心难题：两个“不可能完成的任务”

在这个挑战赛中，AI 助手面临两个非常棘手的现实问题：

• 难题一：严重的“贫富差距”（长尾分布）
  在医院的病历里，像“肺炎”或“肺纹理增粗”这种常见病，病例多得像大海里的沙子；而像“某些罕见肿瘤”或“特殊骨折”这种病，病例少得像大海里的一粒珍珠。

  • 后果：普通的 AI 就像个势利眼，它只爱学那些常见的病（因为数据多），一旦遇到罕见的病（数据少），它就完全懵了，经常漏诊。
  • 比喻：就像你让一个学生只背课本里出现 100 次的单词，却指望他能认出只出现过 1 次的生僻字，这太难了。

• 难题二：面对“从未见过的陌生人”（零样本学习）
  除了常见病，医院里偶尔会出现一些 AI 在训练时完全没见过的病（比如某种特殊的骨骼异常）。

  • 后果：普通的 AI 就像个只会认熟人的保安，看到陌生人直接说“我不认识，请走开”。
  • 比喻：你给保安看了一万张“猫”的照片，却没给过“老虎”的照片。当老虎出现时，保安要么瞎猜是猫，要么直接报错。但医生希望 AI 能认出：“虽然我没见过老虎，但这看起来像只大猫科动物，可能是老虎。”

2. 作者的解决方案：给 AI 装上“两副眼镜”

为了在 CXR-LT 2026 挑战赛中拿第一，作者团队给 AI 设计了两套专门的“战术”：

战术一：针对“常见病 vs 罕见病”的平衡术（任务 1）

为了让 AI 既不忘记常见病，又能认出罕见病，他们用了三招：

1. 给“稀有病”发 VIP 通行证（重采样与加权）：
   在训练时，AI 每看一张常见病片子，就被要求多看几眼罕见病片子。就像老师给成绩差的学生（罕见病）额外开小灶，强迫 AI 多关注它们，而不是只盯着优等生（常见病）。
2. 调整“评分标准”（损失函数优化）：
   如果 AI 把罕见病认错了，惩罚要加倍；如果认对了，奖励要加倍。这迫使 AI 不敢忽视那些少见的病例。
3. 组建“专家会诊团”（集成学习）：
   他们训练了两个不同的 AI 模型，最后把两个模型的意见综合起来（就像两个医生一起看片子，取个平均值）。如果两个医生都觉得有异常，那就大概率是真的。
4. 加个“正常过滤器”：
   如果 AI 非常确定这张片子是“完全健康”的，它就会自动压低所有“生病”的警报声，防止没事找事（减少误报）。

战术二：针对“完全没见过的新病”的联想术（任务 2）

对于那 6 种训练时完全没见过的病，AI 不能靠死记硬背，得靠**“举一反三”**。

• 方法：他们给 AI 装了一个**“医学翻译官”**（基于 CLIP 模型的视觉 - 语言模型）。
• 比喻：
  • 普通的 AI 是死记硬背：只认识训练过的图片。
  • 这个新 AI 是看图说话：它读过成千上万份医疗报告。
  • 当一张新 X 光片出现时，AI 不会直接去“认图”，而是把图片的特征和文字描述做对比。
  • 比如，它没见过“脊柱侧弯”的图，但它读过很多描述“脊柱像弯曲的弓”的报告。当它看到一张弯曲的脊柱 X 光片时，它会想：“嘿，这张图看起来和‘弯曲的弓’这个文字描述很像！”于是它就猜出了这是“脊柱侧弯”。
  • 核心：它不需要见过这张图，只要它懂文字描述，就能通过“图文匹配”猜出是什么病。

3. 战绩如何？

这套“组合拳”效果惊人：

• 在常见病与罕见病的混合考试中，他们拿了第一名。
• 在完全没见过的新病识别考试中，他们也拿了第一名。

4. 总结与未来

这篇论文的核心思想就是：AI 不能只做“书呆子”（只认见过的数据），也不能做“势利眼”（只关注常见数据）。

• 对于不均衡的数据，我们要学会“偏心眼”，刻意多关注少数派。
• 对于未知的领域，我们要学会“跨界联想”，利用文字知识来辅助看图。

虽然目前还在测试阶段（还没在真正的医院里大规模铺开），但这个方法证明了 AI 在医疗领域可以变得更聪明、更公平，甚至能识别出它从未“见过”的病症，这对拯救生命有着巨大的潜力。

技术摘要

这篇论文介绍了针对 CXR-LT 2026 挑战赛 的解决方案，旨在解决胸部 X 光（CXR）分类中面临的监督稀缺问题。该问题主要源于两个方面：(1) 极端长尾的多标签疾病分布，以及 (2) 罕见或未见疾病发现的标注缺失。

以下是该论文的详细技术总结：

1. 研究背景与问题定义

• 核心挑战：临床 CXR 数据通常存在不完善的监督信号。疾病标注呈现极端的长尾分布（少数常见疾病占据大部分数据，而许多重要的罕见异常出现频率极低），导致标准模型倾向于“头类”而忽视“尾类”。此外，多标签特性（单张图像包含多种异常）增加了学习平衡预测的难度。
• CXR-LT 2026 挑战赛设置：
  • 数据集：基于 PadChest 数据集构建，包含超过 16 万张经过人工验证的 CXR 图像，标签空间共 36 类。
  • 任务划分：
    • 任务 1（长尾多标签分类）：针对 30 个分布内（In-Distribution, ID） 类别。模型需在严重的类别不平衡、强标签共现和异构采集设置下保持鲁棒性。
    • 任务 2（零样本 OOD 识别）：针对 6 个分布外（Out-of-Distribution, OOD） 类别（如脊柱侧弯、骨质疏松等）。模型在训练阶段不能使用这些类别的任何监督标签或样本，必须实现零样本（Zero-Shot）预测。
  • 评估指标：主要指标为宏平均平均精度（Macro-averaged mAP），强调所有类别（包括罕见类）的平衡性能。

2. 方法论 (Methodology)

作者针对两个任务分别提出了定制化的解决方案：

任务 1：长尾多标签分类

该任务采用不平衡感知（Imbalance-aware） 的多标签学习策略，结合训练时的重加权与推理时的后处理。

• 预处理：使用 OpenCV 加载图像，进行百分位强度裁剪、重缩放，并统一调整为 512×512 的 3 通道 RGB 图像（灰度图通道复制），归一化后输入网络。
• 模型架构：
  • 骨干网络：ConvNeXtV2-Base，使用在 MIMIC-CXR 上预训练的权重初始化。
  • 分类头：微调两个互补变体：(i) 标准 MLP 头；(ii) CSRA 头（引入类别特定的空间注意力机制）。两者均输出 30 个 Logits 并通过 Sigmoid 激活。
• 核心策略：
  1. 分布平衡损失（Distribution-Balanced Loss, DB Loss）：
     • 结合基于有效样本数（Effective Number）的类别重加权（$w_c \propto (eff_c)^\alpha$）和正标签的边界调整（Margin Adjustment）。
     • 旨在增加尾类样本的贡献，同时防止过度放大导致的不稳定。
  2. 类别感知采样（Class-Aware Sampling, CAS）：
     • 采用重复因子采样（Repeat-factor style），根据类别频率 $f_c$ 动态调整包含罕见正样本图像的重复次数，增加模型对尾类正样本的曝光，而不严重扭曲数据分布。
  3. 推理增强：
     • TTA（测试时增强）：对图像进行水平翻转、$\pm 5^\circ$ 旋转、轻微缩放等变换，取预测平均值。
     • 加权集成（Ensemble）：融合两个不同分类头的模型预测。
     • 正常门控后处理（Normal Gating）：利用“正常（Normal）”类的预测概率 $p_0$ 抑制异常类的分数（$p_c \leftarrow p_c \cdot (1-p_0)^{\alpha_{ng}}$）。当模型高度确信图像正常时，降低所有异常类的概率，减少假阳性。

任务 2：零样本 OOD 检测

该任务将问题转化为视觉 - 语言匹配（Vision-Language Matching） 问题，利用预训练的多模态模型进行推理。

• 模型选择：使用 WhyXrayCLIP，这是一个基于 OpenCLIP ViT-L/14 骨干网络，并在 MIMIC-CXR 大规模图像 - 报告对上微调的专用 CXR 视觉 - 语言模型。它学习了放射学特定的视觉语义与文本描述的对应关系。
• 提示工程（Prompt Ensembling）：
  • 为每个 OOD 类别定义一组通用的放射学文本描述（Prompts）。
  • 在推理阶段，将这些文本编码为嵌入向量，并通过集成多个提示来提高鲁棒性。
• 零样本评分：
  • 计算图像嵌入 $\hat{v}$ 与 K 个提示嵌入 $\{\hat{t}_{c,k}\}$ 之间的余弦相似度。
  • 对相似度取平均，并通过缩放 Sigmoid 函数映射到 [0, 1] 概率区间：$p_c = \sigma(\alpha \cdot \text{avg}(\langle \hat{v}, \hat{t}_{c,k} \rangle))$。
  • 整个过程无需任何 OOD 类别的训练标签。

3. 主要贡献与成果

• 任务 1 表现：
  • 在公开开发排行榜上排名第一。
  • Macro mAP: 0.583（领先第二名 0.048）。
  • mAUC: 0.919，mF1: 0.376（均为最佳）。
  • 证明了不平衡感知策略在长尾多标签场景下的有效性。
• 任务 2 表现：
  • 在公开开发排行榜上排名第一。
  • Macro mAP: 0.467（领先第二名 0.102）。
  • mAUC: 0.779（最佳）。
  • 验证了基于 CLIP 的视觉 - 语言模型在无需监督标签情况下识别未见疾病的强大能力。
• 代码开源：模型和代码已开源在 GitHub (https://github.com/hieuphamha19/CXR_LT)。

4. 意义与局限性

• 临床意义：
  • 该方法直接应对了临床实践中数据标注不完整和疾病分布不均的现实挑战。
  • 提出的零样本方案为罕见病或新发疾病的早期识别提供了无需重新标注数据的可行路径。
  • 通过平衡头尾类性能，提高了模型在真实世界场景中的可靠性。
• 局限性：
  • 评估仅基于公开的开发集，最终测试集尚未发布，泛化能力有待进一步验证。
  • 校准度（Calibration, mECE）在部分指标上仍有提升空间（如任务 1 的 mECE 较高）。
• 未来工作：
  • 改进跨站点和采集设置的校准与鲁棒性。
  • 探索更强的图文对齐和标签语义，以优化零样本迁移。
  • 将框架扩展至放射学报告生成和医学视觉问答（VQA）等任务。

总结：该论文通过结合分布平衡损失与采样策略解决长尾分类问题，并利用领域自适应的视觉 - 语言模型解决零样本检测问题，在 CXR-LT 2026 挑战赛中取得了双任务第一的优异成绩，为医疗影像中的监督稀缺问题提供了强有力的技术范例。