🤖 machine learning

Conformal Risk Minimization for Semi-Supervised Domain Adaptation via Optimal Transport

本文提出了一种用于半监督领域自适应的端到端框架，该框架通过将符合风险最小化与最优传输相结合来生成伪标签，从而使模型能够在目标域有标签数据有限的情况下，训练出能够生成紧凑且覆盖有效的预测集的模型。

原作者： Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Manos Giannopoulos, Yi Shen, Michael M. Zavlanos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在医疗诊断的高风险领域，机器学习模型通常是在一组患者的数据上进行训练，但必须用于诊断另一组不同的患者。这种人口统计学的偏移创造了一个隐藏的差距：模型可能会识别出它从未见过的模式，从而导致可能伤害患者的错误。为了建立信任，医生需要的不仅仅是一个单一的猜测；他们需要知道模型的确定程度。一种被称为“符合预测”（conformal prediction）的方法提供了一种解决方案，它提供的是一份可能的诊断列表，而非单一结果。这份列表被保证在特定百分比的时间内包含正确答案，为临床医生提供了安全网。然而，一个主要问题在于，当这些列表在模型已经训练完成后才生成时，问题就会出现。由于训练过程并未考虑这些列表将如何形成，导致生成的列表往往过于庞大而无法使用，其中包含的可能性之多，以至于医生无法做出决策。

杜克大学的研究人员开发了一种新方法来解决这个问题，特别是针对标注数据稀缺的新患者群体。他们创建了一个系统，在模型学习的过程中，教导模型去思考其未来诊断列表的大小。通过将一种对齐不同患者群体的方法与一种优化更小、更精确列表的方法相结合，他们构建了一个能够产生紧凑且可靠的潜在诊断集合的模型。他们的工作表明，通过在训练阶段而非事后添加不确定性来规划不确定性，医疗人工智能可以变得既准确又实用。

该团队解决的核心挑战被称为“半监督领域自适应”（semi-supervised domain adaptation）。想象一下，一位医生在一家医院学习了数千张皮肤图像，但现在必须在另一家医院诊断患者，而那里的标记图像寥寥无几。新医院的患者可能有不同的肤色、光照条件或设备，这种“分布偏移”会让模型感到困惑。传统方法试图通过教导模型忽略两家医院之间的差异，仅关注对诊断至关重要的特征来弥合这一差距。然而，这些方法通常只旨在寻求单一的最可能答案。它们并不关心模型最终提供的“安全网”的大小。

当研究人员将符合预测作为最后一步应用于这些预训练模型时，安全网往往会变成一张捕捉一切的巨网。这是因为模型从未被训练去最小化它所提供的选项数量。杜克大学的团队意识到，要获得一个有用的列表，模型必须从一开始就带着这个列表的目标进行训练。他们提出了一个名为 CP-JDOT 的框架，该框架将创建小型、高效列表的目标直接整合到训练过程中。这使得模型能够学习一种数据表示，这种表示能自然地导致更紧凑、更自信的预测。

为了使这一过程在目标医院标注样本极少的情况下依然奏效，研究人员使用了一种称为“最优传输”（optimal transport）的数学工具。可以将这个工具想象成一种匹配方式，将新医院中每个未标记的患者与旧医院中相似的患者进行匹配，从而有效地“借用”旧患者的诊断来引导新患者。这创建了一组“伪标签”（pseudolabels），它们充当了桥梁，让模型能够利用源医院丰富的数据，同时适应目标医院的具体需求。随后，系统利用来自目标医院的少量实际标注样本来设定预测列表的大小阈值。

研究人员在两种不同的场景下测试了他们的方法。首先，他们使用了一个标准的物体识别基准测试，涉及来自四个领域（艺术、剪贴画、产品和真实照片）的图像。他们模拟了极其困难的情况，即目标域中每个类别仅有一到三个标注样本。在这些测试中，他们的方法始终产生比现有最佳方法更小的预测列表，将平均选项数量减少了约 5% 到 10%。即使在领域转换非常困难的情况下，这种改进也十分显著，表明该方法具有鲁棒性。

他们还将该方法应用于一项更关键的医疗任务：皮肤病变分类。他们使用来自 HAM10000 数据集的图像作为源数据，并在代表五种不同皮肤成像条件的各种目标数据集上测试了该模型。在这里，结果更加令人瞩目。与之前的方法相比，新方法将预测列表的平均大小减少了高达 12%。这意味着对于观察皮肤病变的医生来说，模型会提供一份更短的潜在病症列表，使诊断更快、更具可操作性，同时仍保持了正确诊断被包含在列表中的严格保证。

除了缩小列表规模之外，研究人员还展示了他们的框架可以经过调整以遵循特定的医学规则。在皮肤癌诊断中，如果一个列表同时包含良性和恶性的可能性，是非常危险的，因为这会给医生提供混乱的信号。团队修改了训练损失函数，以惩罚这种矛盾的列表。这样做之后，这种混乱的、混合性质的列表数量在不同数据集中大幅下降了 60% 到 75%。虽然这导致列表总体大小略有增加，但结果是一套不仅在统计上有效，而且在语义上连贯且具有临床实用价值的预测。

研究结果表明，传统的训练 AI 模型的方式——即优化单一正确答案，然后在事后尝试修复不确定性——存在根本性的局限。通过将高效不确定性量化的目标直接整合到学习过程中，模型学会了产生本质上更适合高风险决策的输出。研究人员证明，即使在数据匮乏的情况下，训练一个能够感知自身局限性和未来预测结构的模型的做法是可行的。这种方法为开发不仅准确而且值得信赖、并符合临床医生实际需求的医疗人工智能提供了一条充满前景的路径。

技术摘要：基于最优传输的半监督领域自适应共形风险最小化

1. 问题定义

在临床高风险应用中，机器学习模型在从源患者群体训练并部署到目标群体时，往往面临分布偏移问题。虽然半监督领域自适应（SSDA）通过利用有标签的源数据和有限的有标签目标数据来提高点预测准确性，但现有的 SSDA 方法无法提供原则性的不确定性量化。

传统的共形预测（CP）提供分布无关的覆盖保证，但通常是针对预训练模型进行事后（post-hoc）应用。这种方法往往会产生过大的预测集，因为底层模型是针对点准确性而非决定集合大小的非共形得分几何结构进行优化的。虽然共形风险最小化（CRM）将集合大小优化直接集成到训练中，但它传统上需要大量的有标签数据集来计算训练期间的非共形阈值——这在 SSDA 场景下是稀缺资源。

核心问题在于：如何在目标域有标签数据有限的情况下，为半监督领域自适应任务优化训练共形预测器？

2. 方法论：CP-JDOT

作者提出了 CP-JDOT，这是一个将共形风险最小化集成到使用最优传输（OT）的联合领域自适应（JDOT）框架中的端到端框架。该方法旨在优化预测模型 $f_\theta$ （由嵌入函数 $g$ 和分类器 $h$ 组成），以在目标域上生成紧凑且覆盖有效的预测集。

2.1 核心组件

训练目标最小化一个复合损失函数：
$\min_{\theta} L_{cls}(f_\theta) + \lambda_1 L_{DA}(f_\theta) + \lambda_2 L_c(f_\theta)$
其中：

$L_{cls}$ : 分类损失（针对跨域学习进行了调整）。
$L_{DA}$ : 领域对齐损失。
$L_c$ : 共形对齐损失（惩罚过大的预测集）。

2.2 训练循环

该算法以迭代随机方式运行，使用两个小批量（minibatch）：一个来自有标签源集（ $S$ ），另一个来自无标签目标集（ $T_u$ ）。

阈值估计： 在每次迭代中，利用少量有标签目标集（ $T_l$ ）计算非共形得分的可微 $(1-\alpha)$ 分位数 $\tau$ 。此 $\tau$ 作为共形阈值。
最优传输耦合： 框架使用联合领域自适应将源域和目标域映射到共享潜空间。它采用最优传输（OT）在源样本与无标签目标样本之间计算耦合 $\gamma$ 。这种耦合将源标签转移为目标实例的伪标签，为无标签目标数据提供了必要的监督信号。
损失优化： 通过随机梯度下降更新模型，以最小化包含以下内容的总体损失：
- 源域 ERM： 在有标签源数据上进行标准交叉熵，以稳定训练。
- 领域对齐 ( $L_{DA}$ )： 使用几何最优传输（GOT）对齐源域与目标域之间的特征分布。
- 共形分类 ( $L_{cls}$ )： 一个可微惩罚项，确保目标样本的共形集合包含经 OT 传播的源标签。
- 共形效率 ( $L_c$ )： 一个惩罚项，旨在最小化无标签目标样本的预期基数（大小）。

2.3 特定领域约束

该框架支持通过修改分类损失为控制损失 ( $L_{control}$ ) 来引入领域知识。这允许对特定的集合构成进行惩罚。例如，在皮肤病变分类中，损失可以惩罚同时包含互斥类别（例如良性和恶性诊断）的预测集，从而在略微增加集合大小的情况下确保语义连贯性。

3. 主要贡献

CP-JDOT 框架： 一种新型 SSDA 训练框架，将 CRM 集成到使用最优传输的联合领域自适应设置中。它通过利用 OT 衍生的伪标签，在全局对齐的特征空间中校准共形预测器，弥补了监督 CRM 与 SSDA 之间的差距，且仅需极少量的有标签目标数据。
受控集合构成： 该方法证明，将共形目标直接纳入训练循环，可以实现针对领域特定需求的惩罚项。这使得控制集合构成（例如，通过排除冲突类别来减轻“覆盖混淆”）成为可能，从而产生统计有效且具有语义意义的预测集。
经验优越性： 严谨的分析表明，端到端方法始终优于随后使用事后共形封装的先进 SSDT 方法。该方法在保持覆盖保证的同时，实现了更小的平均预测集大小。

4. 实验结果

作者在两个基准设置上评估了 CP-JDOT：

Office-Home： 一个标准的领域自适应基准，包含 12 个成对迁移方向（艺术、剪贴画、产品、真实世界），使用 ResNet-34 在 1-shot 和 3-shot 设置下进行测试。
皮肤病变分类： 一个医学成像设置，从 HAM10000（源域）迁移到五个目标域（PH2, Derm7pt, MSK, SONIC, UDA），使用 ResNet-18 且每类仅有 10 个有标签目标样本。

主要发现：

集合大小缩减： CP-JDOT 在所有迁移方向上始终实现了最小的平均预测集大小，在 Office-Home 上比表现最好的基线（如 MME, CDAC, DECOTA）降低了约 5–10%，在皮肤病变数据集上降低了高达 12%。
准确率 vs. 效率： 值得注意的是，即使在 Top-1 准确率比最强 SSDA 基线低至 10% 的情况下，CP-JDFT 仍取得了这些改进。这支持了以下假设：传统的准确率目标与下游共形集合大小效率的目标是不一致的。
语义控制： 在皮肤病变消融研究中，使用 $L_{control}$ 代替标准损失，使“冲突集合”（同时包含良性和恶性类别）的比例在各数据集中降低了 60–75%，而仅导致平均集合大小略微增加。

5. 重要性与主张

本文声称 CP-JDOT 为开发领域自适应模型提供了有用的基础，在这种模型中，不确定性量化不再被视为一个独立的事后处理步骤。通过联合优化领域自适应和共形目标，该框架生成的预测集具有以下特性：

紧凑： 比事后校准准确率优化模型生成的集合显著更小。
覆盖有效： 保持严格的分布无关保证。
临床可用： 能够直接在训练过程中纳入领域特定约束（例如，排除矛盾的诊断），这对于临床决策（例如，避免混合良性和恶性诊断）至关重要。

作者强调，这种方法在医疗等高风险场景中尤为关键，因为预测集的构成（例如，避免良性和恶性诊断的混合）与集合大小本身一样，对于临床决策同样重要。