💻 computer science

CoRe: Joint Optimization with Contrastive Learning for Medical Image Registration

该论文提出了一种名为 CoRe 的新框架，通过将等变对比学习直接集成到医学图像配准模型中，联合优化对比学习与配准目标，从而学习到对组织形变具有不变性的鲁棒特征表示，显著提升了腹部和胸部图像在不同模态及跨患者场景下的配准性能。

原作者： Eytan Kats, Christoph Grossbroehmer, Ziad Al-Haj Hemidi, Fenja Falta, Wiebke Heyer, Mattias P. Heinrich

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Eytan Kats, Christoph Grossbroehmer, Ziad Al-Haj Hemidi, Fenja Falta, Wiebke Heyer, Mattias P. Heinrich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CoRe 的新方法，旨在解决医学图像配准（Medical Image Registration）中的难题。为了让你更容易理解，我们可以把这项技术想象成**“给两张不同的地图进行完美拼接”**的过程。

1. 核心问题：为什么给地图拼接这么难？

想象一下，你手里有两张同一个城市的地图：

地图 A 是早上拍的，光线很好，街道清晰。
地图 B 是晚上拍的，灯光昏暗，而且因为拍摄角度不同，街道看起来有点变形（比如路变宽了，或者建筑物被拉伸了）。

医学图像配准的任务，就是要把这两张图（比如病人不同时间拍的 CT 扫描）完美地重叠在一起，让医生能清楚地看到：

这个肿瘤是变大了还是变小了？
手术后的器官位置发生了什么变化？

难点在于：

样子变了： 机器不同、时间不同，导致图像的颜色（亮度）和清晰度不一样。
形状变了： 人的身体不是刚性的，呼吸、心跳、或者生病都会让器官发生弯曲、拉伸或扭曲。

传统的算法就像是一个死板的“拼图机器”，它只看像素点（颜色）是否一样。一旦颜色变了或者形状扭曲了，它就拼不上了。

2. 以前的方法：各走各的路

在 CoRe 出现之前，主要有两种思路，但它们都有点“偏科”：

思路一：先学特征，再拼图（预训练法）。
就像先让一个学生去背“城市地标”（比如识别出哪里是医院，哪里是公园），背熟了之后，再让他去拼图。
- 缺点： 他背的时候没考虑拼图的实际需求，背得再熟，拼的时候可能还是对不准。
思路二：只盯着拼图，不学特征（纯注册法）。
就像让一个学生直接开始拼图，拼错了就改，直到拼好为止。
- 缺点： 他可能为了拼好而强行扭曲图像，忽略了图像本身的解剖结构逻辑，导致拼出来的图虽然重合了，但逻辑是错的。

3. CoRe 的绝招：边学边拼，互相成就

CoRe（Contrastive learning for medical image Registration）就像是一个**“超级实习生”，它采用了一种“联合优化”**的策略。

我们可以用**“练琴与演奏”**的比喻来理解：

以前的做法： 学生先花一年时间练琴（学习特征），练好了再上台演奏（做配准）。练琴时不知道演奏的具体曲目，演奏时也不能改练琴的方法。
CoRe 的做法： 学生一边练琴，一边演奏。
- 演奏（注册任务）： 告诉学生：“我们要把这两张图拼在一起，如果拼错了，说明你理解的‘地标’不对，要调整。”
- 练琴（对比学习）： 告诉学生：“不管这张图怎么旋转、怎么拉伸（模拟身体变形），你都要认出这是同一个地标。”

CoRe 的核心魔法：等变性（Equivariance）
这是论文中最酷的概念。想象你在玩橡皮泥：

如果你把橡皮泥捏扁了（图像变形），传统的算法可能会觉得“这不是原来的橡皮泥了”。
但 CoRe 训练模型时，会特意把图像“捏扁”、“旋转”、“拉伸”，然后告诉模型：“虽然形状变了，但内在的对应关系（比如鼻子还是对应鼻子）必须保持不变，而且这种变化在特征空间里应该是可预测的。”

这就好比教孩子认人：

传统方法：只认照片里的人脸长什么样。
CoRe 方法：教孩子认“这个人”。无论他戴帽子、侧着脸、还是胖了瘦了，孩子都能认出“这还是同一个人”，并且知道他的鼻子相对于眼睛的位置关系没变。

4. 它是如何工作的？（简单三步走）

提取特征： 把两张医学图像（比如肝脏的 CT 图）输入系统，提取出“关键特征”（不是死板的像素，而是像“血管走向”、“器官轮廓”这样的抽象概念）。
双重训练（联合优化）：
- 任务 A（拼图）： 尝试把两张图拼起来，如果拼得不好，就惩罚模型。
- 任务 B（找不同）： 把其中一张图随机旋转、拉伸一下，让模型去识别“变形前”和“变形后”的对应点。如果模型能认出它们是对应的，就奖励它。
- 关键点： 这两个任务同时进行。模型在拼图时，会利用“找不同”学到的经验，变得更聪明、更抗干扰。
输出结果： 最终，模型生成一个完美的“变形场”（就像一张透明的弹性膜），把两张图完美地贴合在一起。

5. 结果怎么样？

论文在两个真实的医学数据集上进行了测试：

腹部 CT（不同病人之间）： 就像把两个不同人的肝脏拼在一起，难度极大。
胸部 CT（同一个人不同时间）： 就像把同一个人呼吸时和屏气时的肺部拼在一起。

结果： CoRe 就像是一个**“全能冠军”**。

它比传统的拼图机器（NiftyReg）更准。
它比只懂拼图的深度学习模型（VoxelMorph）更稳。
它比那些“先练后演”的混合方法（SAMConvex）效果更好。

总结来说：
CoRe 不再把“学习图像特征”和“进行图像拼接”分开处理，而是让它们手牵手、同步成长。通过让模型学会在图像变形时依然保持“认人”的能力，它成功解决了医学图像中那些最让人头疼的扭曲和变化问题，帮助医生更精准地诊断病情。

这就好比给医生配备了一副**“智能眼镜”**，无论病人怎么动、身体怎么变，这副眼镜都能自动把不同时间的检查图像完美对齐，让病灶无处遁形。

这是一份关于论文《CoRe: Joint Optimization with Contrastive Learning for Medical Image Registration》（CoRe：基于对比学习的医学图像配准联合优化）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：
医学图像配准旨在建立不同图像（如不同时间点、不同模态或不同受试者）之间的密集解剖和语义对应关系。然而，该任务面临两大主要挑战：

图像外观的变异性： 由于采集协议、硬件或模态差异，导致强度变化，使得直接基于像素值的比较不可靠。
非线性的解剖形变： 纵向扫描或跨受试者比较中，解剖结构常发生复杂的非线性形变（如病理变化或手术干预）。

现有方法的局限性：

传统方法（如互信息 MI）： 对噪声敏感，难以处理复杂的非线性形变。
手工特征方法： 虽然对强度变化鲁棒，但无法显式建模组织形变。
监督度量学习： 依赖昂贵的精确配准真值数据（Ground Truth），在医学影像中难以获取。
自监督对比学习现有方案：
- 部分方法（如 CoMIR）需要配对的模态数据或已知对应关系。
- 部分方法（如 SAMConvex）采用两阶段训练（先预训练特征提取器，再冻结用于配准），导致特征学习与下游配准任务脱节，无法针对配准需求进行优化。

2. 方法论 (Methodology)

作者提出了 CoRe (Contrastive learning for medical image Registration)，一种将自监督对比学习与可变形图像配准通过统一联合优化框架相结合的新方法。

2.1 整体架构

CoRe 采用“变形前特征提取”范式，包含三个主要组件：

特征提取器 ( $G$ )： 卷积神经网络，从固定图像 ( $I_f$ ) 和移动图像 ( $I_m$ ) 中提取特征。
投影头 ( $P$ )： 将特征映射到嵌入空间。
可微优化模块 ( $H$ )： 基于特征相关性计算位移场 ( $u$ )，实现图像对齐。

2.2 联合优化策略

CoRe 的核心创新在于同时优化特征提取器，使其同时满足两个目标：

配准损失 ( $L_{reg}$ )： 基于伪标签（Pseudo-labels）的自训练方案。利用迭代实例优化生成的位移场作为监督信号，最小化预测位移场与伪真值之间的均方误差 (MSE)。
对比损失 ( $L_c$ )： 引入等变性约束 (Equivariance Constraint)。
- 原理： 对同一图像应用几何变换（如仿射变换 $T_g$ ），要求特征提取器输出的特征在变换前后保持等变性（即变换后的特征应等于原特征经变换后的结果）。
- 实现： 使用 InfoNCE 损失函数，强制同一解剖位置在不同几何变换下的特征嵌入保持一致性。
- 目的： 使特征对组织形变具有鲁棒性，确保在配准过程中，相同解剖位置的特征嵌入是稳定且一致的。

2.3 总损失函数

$L = L_{reg} + \alpha \cdot L_c$
其中 $\alpha$ 是平衡系数。通过联合最小化这两个损失，特征提取器既能生成适合优化模块 $H$ 使用的判别性特征，又能保证特征在几何形变下的等变性。

3. 主要贡献 (Key Contributions)

新颖的联合优化框架： 首次将自监督对比学习直接集成到配准流水线中，无需独立的预训练阶段，也不需要配对的模态数据或已知对应关系。
协同效应验证： 证明了同时优化对比目标和配准目标的效果优于单独优化任一目标。这种联合优化使学到的嵌入既包含对组织形变和强度变化鲁棒的语义解剖信息，又天然适合驱动配准过程。
等变性约束的引入： 在医学图像配准中明确引入几何等变性约束，解决了传统对比学习可能忽略空间结构一致性的问题，显著提升了特征在非线性形变下的鲁棒性。
广泛的实验验证： 在腹部（AbdomenCT）和胸部（RadChestCT）数据集上，涵盖了患者内（Intra-patient）和患者间（Inter-patient）场景，验证了方法的优越性。

4. 实验结果 (Results)

数据集：

AbdomenCT： 30 例患者间腹部 CT，包含 13 种手动标注的解剖结构（用于评估患者间配准）。
RadChestCT： 371 对纵向胸部 CT 扫描（用于评估患者内配准），使用 TotalSegmentator 生成 22 种结构的分割。

评价指标：

Dice 相似系数 (DSC)： 衡量配准精度。
SDLogJ： 雅可比行列式对数的标准差，衡量位移场的平滑度（物理合理性）。
推理时间 ( $T_{inf}$ )： 计算效率。

关键发现：

性能领先： CoRe 在两个数据集上均取得了最高的 DSC 分数。
- AbdomenCT: DSC 52.1% (优于次优的 RegCyc 51.1% 和 SAMConvex 49.2%)。
- RadChestCT: DSC 89.4% (优于次优的 DEEDs 88.5%)。
统计显著性： 与对比方法相比，性能提升具有统计学显著性 (p < 0.0001)。
平滑度： 尽管 DSC 提升，CoRe 的位移场平滑度 (SDLogJ) 与其他先进方法相当，未出现过度形变。
消融实验：
- 联合优化 ( $L_{reg} + L_c$ ) 优于单独使用配准损失或对比损失。
- 几何等变性是关键：仅使用几何变换约束即取得最佳效果。有趣的是，在单模态 CT 数据中，非线性强度增强（Intensity Augmentation）并未带来额外收益，甚至可能降低性能，表明几何形变鲁棒性在此类任务中更为重要。

5. 意义与结论 (Significance)

范式转变： CoRe 打破了传统“预训练特征提取器 -> 冻结 -> 配准”的两阶段模式，提出了一种端到端的联合优化范式，使特征学习直接服务于配准任务。
无需昂贵标注： 利用自监督几何约束，避免了对大规模精确配准真值数据的依赖，降低了医学图像配准模型的训练门槛。
鲁棒性提升： 通过等变性约束，模型能够更有效地处理复杂的组织形变和强度变化，为临床应用（如疾病进展追踪、手术规划）提供了更可靠的工具。
未来方向： 该方法展示了将对比学习深度集成到配准框架中的巨大潜力，特别是在处理复杂解剖形变方面。未来的工作可探索在多模态或强度变化更大的数据集中强度增强的作用。

总结： CoRe 通过联合优化配准任务和几何等变性对比学习，成功解决了医学图像配准中特征鲁棒性与任务适配性的矛盾，在多个基准测试中达到了最先进水平 (SOTA)。