💻 computer science

Recurrent Contrastive Learning for Imbalanced Medical Image Classification

本文提出了一种循环对比学习（Recurrent Contrastive Learning, RCL），这是一种利用时间记忆队列（Temporal Memory Queue）来生成时间锚点（Temporal Anchors）并逐步扩展尾部类别的潜在支持区域，从而缓解类别不平衡并改善医学图像分类决策边界的新型框架。

原作者： Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen, Yong Jiang, Yongping Lu, Xin Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别动物园里的不同动物。如果动物园里有 1,000 头狮子，但只有 5 只老虎，机器人会变得非常擅长发现狮子，并且很可能会忘记老虎长什么样，或者更糟的是，它可能会把每一种像猫科动物的东西都误认为是狮子。这是现实世界中医学 AI 面临的一个常见问题，称为“类别不平衡”（class imbalance）。医生拥有大量关于常见疾病的数据，但对于罕见或严重的疾病，数据却非常稀少。当 AI 模型在这些不均衡的数据上进行训练时，它们会向常见事物产生偏见，从而忽略那些罕见且关键的病例。为了解决这个问题，科学家们通常尝试要么向机器人展示更多关于稀有动物的照片（重采样），要么在课程中告诉它要格外关注这些动物（重加权）。但问题在于：这些方法往往只是让机器人更加努力地盯着那几张稀有的照片看，而没有真正让这些稀有动物在机器人的大脑中拥有足够的“空间”来脱颖而出。

这就是志远朱（Zhiyuan Zhu）及其团队提出的一个名为**循环对比学习（Recurrent Contrastive Learning, RCL）**的巧妙构思。与其只是重新洗牌或对着稀有样本大声喊叫，他们决定构建一个“记忆缓冲区”，帮助稀有疾病在 AI 的思维中扩张其领地。想象一下一个拥挤的舞池，受欢迎的孩子们（常见疾病）占据了所有的空间。而稀有的孩子们（罕见疾病）被挤到了一个极小的角落。研究人员的解决方案是引入来自之前练习环节的“幽灵舞者”——即旧版本稀有孩子的舞步——站在他们周围，创造一个保护性的气泡。这个气泡将受欢迎的孩子们推开，给了稀有疾病所需的空间，使它们能够被正确识别。该团队在三个医学数据集上测试了这一方法，包括颈动脉超声扫描、糖尿病视网膜病变图像和膝关节 X 光片，结果发现该方法能比以往的技术更有效地帮助 AI 发现罕见状况。

问题所在：“受欢迎的孩子”效应在医学 AI 中的影响

在医学影像领域，并非所有疾病都是平等的。有些疾病，比如普通感冒或轻微皮疹，经常发生。而另一些，如罕见的遗传性疾病或特定阶段的癌症，则要少见得多。当我们训练 AI 诊断这些情况时，就像是在训练一名学生，他只能看到 1,000 个感冒的例子，却只能看到 5 个罕见疾病的例子。自然而然地，这个学生（AI）成为了感冒专家，但在看到罕见疾病时会感到困惑。它甚至可能把罕见疾病误认为常见疾病，因为在 AI 的“大脑”里，这种罕见疾病没有足够的空间来独立存在。

论文指出，现有的解决方案试图通过向 AI 展示更多稀有疾病的例子（重采样）或告诉 AI 要“多关注”这些少数例子（重加权）来解决问题。虽然这些方法有所帮助，但它们并没有解决根本问题：稀有疾病仍然被挤压在 AI 特征空间中一个狭小、拥挤的角落。由于它们过于紧凑，常见的疾病很容易“侵占”它们的领地，从而导致错误。

解决方案：时空旅行的幽灵与保护性气泡

作者提出了一种新的策略，称为循环对比学习（RCL）。要理解它的工作原理，可以将 AI 的学习过程想象成一系列随时间变化的训练课程。

1. 时空记忆（时间记忆队列/Temporal Memory Queue）
通常，AI 只会记住当前批次训练中所看到的例子。RCL 引入了一个特殊的“时光机”，称为时间记忆队列（TMQ）。这个队列不仅保存当前的图像，还会保存来自之前训练阶段的“特征状态”（即 AI 对图像的理解）。这就像是在记录一份关于 AI 上周、上个月学到了什么的日记。这使得 AI 能够回顾过去是如何理解那些稀有疾病的，即使最近没有看到过很多新的稀有案例。

2. 幽灵舞者（时间锚点/Temporal Anchors）
这里有一个神奇的技巧。当 AI 试图学习某种罕见疾病（“尾部类别”）时，它会查看它的时空旅行日记。它会挑选出“幽灵舞者”——即之前训练阶段中该罕见疾病的旧特征表示。这些幽灵随后被用来创建时间锚点（TAR）。

想象一下，某种罕见疾病是广阔海洋中的一个小岛。附近的常见疾病则是巨大的大陆。如果没有帮助，海洋的波浪（常见疾病的特征）会冲刷掉这座小岛，使其难以辨别。TAR 就像是在岛屿周围放置的一系列浮标或保护屏障。这些浮标是由过去该岛屿的“幽灵”版本构成的。通过在稀有疾病周围放置这些浮标，AI 有效地扩张了该岛屿的领地。它创造了一个“缓冲带”，将常见的疾病推开，确保稀有疾病拥有自己独特的空间。

3. 循环回路
这个过程是“循环”的，意味着它会一遍又一遍地发生。随着 AI 的训练，它会不断更新其记忆队列中的新信息，但同时也会保留旧的锚点。这创造了一个围绕着稀有疾病不断增长、不断扩张的场域，使它们更加稳健，也更容易与常见疾病区分开来。

研究发现：更清晰的图景

团队在三个真实的医学数据集上测试了这种方法：

颈动脉超声： 用于检查血管内斑块的颈部血管图像（3,404 幅图像）。
糖尿病视网膜病变： 用于检查视力丧失的眼部图像（3,662 幅图像）。
膝关节骨关节炎： 用于评估关节炎严重程度的膝关节 X 光片（8,260 幅图像）。

在所有三个案例中，RCL 方法都比现有的最佳方法表现出了持续的改进。

在颈动脉数据集上，新方法实现了 87.10% 的均衡准确率（Balanced Accuracy），超越了之前的最优水平。
在膝关节数据集上，与仅使用基础 AI 模型的方法相比，它将均衡准确率提高了 9.09%。
在眼部数据集上，该方法实现了 0.92 的二次加权 Kappa 值（Quadratic Weighted Kappa），这是一个非常高的分数，表明与人类专家具有极高的一致性。

研究人员还利用 t-SNE 技术（类似于显示不同事物之间距离的地图）可视化了 AI 大脑内部发生的情况。他们观察到，如果没有采用他们的方法，稀有疾病会被挤压成微小的、拥挤的点。而在使用 RCL 后，稀有疾病扩展成了更大、定义更明确的区域，并且与常见疾病之间有着清晰的“缓冲带”。“幽灵舞者”（锚点）成功地创造了一个保护场，防止了常见疾病将稀有疾病挤出。

为什么这很重要

这篇论文表明，我们不仅需要为罕见疾病提供更多的数据，还需要更聪明地利用我们现有的数据。通过利用 AI 自身的历史来为罕见状况建立一个保护场，我们可以让医学 AI 变得更加公平和准确。这至关重要，因为在现实世界中，漏诊一种虽罕见但严重的疾病可能是致命的。作者指出，虽然他们的方法效果很好，但目前仍需要对设置进行一些人工调优（例如保留多少个“幽灵”）。未来的工作将致力于使这个过程自动化。但就目前而言，这种“时空记忆”方法为确保最稀有的患者也能得到我们 AI 医生应有的关注提供了一种充满前景的新途径。

技术摘要：用于不平衡医学图像分类的循环对比学习

问题陈述

医学图像分类经常遇到严重的类别不平衡问题，这是由于疾病发病率的固有差异导致的，即罕见疾病（尾部类别）的样本量显著少于常见疾病（头部类别）。现有的方法（如类别重采样和损失重加权）主要在已观测到的特征分布内进行操作。虽然这些方法调整了特征的权重或采样方式，但它们未能显式地扩大尾部类别的潜在支持区域（latent support region）。因此，尾部类别的表示仍然过于紧凑，且容易被头部类别的特征所侵占，从而导致决策边界偏差和类间可分性降低。这在尾部类别通常对应于严重或罕见疾病时尤为关键，因为准确识别对于临床决策至关重要。

方法论：循环对比学习 (RCL)

作者提出了循环对比学习 (Recurrent Contrastive Learning, RCL)，这是一个从“场扩展”（field-expansion）视角解决类别不平衡问题的框架。RCL 不仅仅是重新加权现有数据，而是主动扩大尾部类别在潜在空间中的支持区域。该方法由三个核心组件组成：

1. 主干网络与特征提取

该框架使用带有 LoRA (Low-Rank Adaptation) 适配器的 DINOv3 作为主干网络。

架构： 输入图像经过处理以提取 1280 维的类别标记（class token, $f_i$ ）。
头部： 分类头 ( $G(\cdot)$ ) 输出用于交叉熵监督的预测结果，而投影头 ( $P(\cdot)$ ) 将特征映射到 256 维归一化嵌入 ( $z_i$ ) 以进行对比学习。
训练策略： DINOv3 主干网络保持冻结，仅优化 LoRA 适配器和头部，从而确保在仅优化少量可训练参数的情况下实现高效适配。

2. 时间记忆队列 (Temporal Memory Queue, TMQ)

为了克服基于 Batch 或 FIFO 队列的对比学习的局限性，RCL 引入了时间记忆队列 (TMQ)。

功能： TMQ 在多个训练轮次（epoch）中保留语料库级别的特征，提供多样化的全局参考。
机制： 在每个轮次 $m$ 中，投影嵌入 $z_i^{(m)}$ 通过指数移动平均 (EMA) 更新存储在记忆库中的特征 $q_i^{(m)}$ ：
$q_i^{(m)} = (1 - \lambda)q_i^{(m-1)} + \lambda z_i^{(m)}$
存储： 更新后的记忆库随时间入队，形成序列 $TMQ = \{Q^{(m)}\}_{m=0}^M$ 。这使得模型能够访问历史全局嵌入，确保用于对比学习的正负样本对在时间上具有多样性，并与不断演进的表示空间保持一致。

3. 时间锚点 (Temporal Anchors, TARs) 与循环对比损失

其核心创新在于构建时间锚点 (TARs)，从而在尾部类别周围构建一个“锚点场”。

锚点构建： 对于尾部类别，模型从历史记忆库（轮次 $m-st$）中检索特征。它对类内特征应用 K-means 聚类，并选择底部的 $k_t$ 个特征（即那些远离聚类中心的特征）。这些选定的特征通过高斯噪声进行扰动，以创建锚点集 $A$ 。
场扩展： 这些锚点被循环利用，以占据尾部类别特征周围的区域。这创造了一个缓冲边际（buffer margin），用以抑制头部类别的侵占。
损失函数： 该框架采用循环对比损失 ( $L_{RCL}$ )，该损失结合了当前 Batch 特征和构建的锚点：
$L_{RCL} = -\log \frac{\sum_{q \in Q_+^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A_+} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}{\sum_{q \in Q^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}$
最终损失是交叉熵与循环对比损失的结合： $L = L_{ce} + \alpha L_{RCL}$ 。

核心贡献

本文概述了三项主要贡献：

RCL 框架： 一种新型的不平衡学习框架，通过向对比学习中注入循环构建的时间锚点来扩大尾部类别的支持区域，从而有效地减轻头部类别的侵占。
时间记忆队列 (TMQ)： 一种在训练阶段保留语料库级历史嵌入的机制，这些嵌入被用于构建 TARs 以实现尾部类别的场扩展。
实证验证： 在三个不平衡医学数据集（一个私有的多中心颈动脉数据集、APTOS 2019 和 KneeOA）上进行了广泛实验，证明了其相对于强基准方法的持续改进。

实验结果

该方法在三个数据集上使用平衡准确率 (Balanced Accuracy, Bacc)、F1 分数、准确率 (Accuracy) 和二次加权 Kappa (QWK) 进行了评估。

性能： RCL 在所有三个数据集上均取得了最佳的平衡准确率。
- 颈动脉数据集 (Carotid)： 87.10% Bacc（相比之下，Vanilla DINOv3 为 79.75%）。
- APTOS 2019： 69.01% Bacc 和 0.922 QWK（超越了原挑战赛中排名第一的 CNN-Ensemble 方法）。
- KneeOA： 70.19% Bacc（相比之下，Vanilla DINOv3 为 61.10%）。
主干网络无关性： 当使用 ResNet50 代替 DINOv3 时，RCL 仍然产生了实质性的提升，甚至在 Carotid 和 KneeOA 数据集上超过了 DINOv3 微调的表现。
定性分析： t-SNE 可视化证实了 RCL 创建了更平衡的特征分布。具体而言，“锚点场”扩展了尾部类别的边界，并占据了头部与尾部类别之间的中间区域，形成了一个有效的缓冲带，将尾部类别的中心从头部类别的分布中推开。

意义与声明

论文声称，RCL 通过超越简单的重加权或重采样，实现了应对类别不平衡的重要转变。通过从场扩展视角解释表示学习，该方法显式地扩大了尾部类别的潜在支持区域。这种方法防止了尾部类别的表示被占主导地位的头部类别“侵占”，从而提高了类间可分性和决策边界的公平性。

作者指出，虽然该框架非常有效，但目前仍依赖于人工超参数微调（例如样本步长和锚点选择比例）。他们将自适应锚点选择的开发确定为未来的研究方向，以解决这一局限性。代码已公开，以促进该领域的进一步研究。