Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

技术摘要：面向极端标签偏移的领域自适应中基于局部感知的私有类别识别

问题陈述
无监督领域自适应（UDA）通常假设源域和目标域共享相同的标签空间，即封闭集场景。然而，现实世界应用往往涉及“极端标签偏移”，此时标签空间是异构的。这主要表现为两种场景：开放集领域自适应（OSDA），即目标域包含源域中不存在的私有类别；以及部分领域自适应（PDA），即源域包含目标域中不存在的私有类别。

这些场景的核心挑战在于“私有类别识别”。现有方法通常依赖于一个假设，即私有类别的语义偏移始终大于共享类别的领域偏移，从而将私有样本视为异常值。作者指出，这一假设在实践中往往被违背，因为单个共享类别内部的方差可能超过私有类别与另一个共享类别之间的差距。因此，现有方法往往无法可靠地区分私有样本，导致负迁移和对齐失败。

方法论
本文提出了一种新颖的框架，核心在于基于局部感知的私有类别识别，以及一个名为ReOT（基于可靠最优传输的方法）的可靠迁移模型。

1. 基于掩码最优传输（MOT）的局部感知识别：

   • 作者观察到，虽然全局偏移可能具有模糊性，但局部空间结构是成立的：在共享类别簇的局部邻域内，共享样本之间的距离始终小于共享样本与私有样本之间的距离。
   • 他们利用**掩码最优传输（MOT）**来刻画这种局部结构。通过在代价矩阵上应用掩码矩阵，强制传输仅在具有相同预测标签的样本之间进行。
   • 推导出了基于传输质量的评分函数。基于 MOT 的理论性质，从共享类别源传输到私有类别样本的总质量显著小于传输到共享类别样本的质量。
   • 定义评分 $s(z')$ 为 $1/m - \sum \Gamma^*_{ij}$。评分 $s(z') > 0$（或超过某个边界）的样本被识别为私有，而 $s(z') < 0$ 的样本被识别为共享。该方法在局部空间假设下，理论上保证了共享样本与私有样本的分离，而无需依赖全局异常值假设。

2. ReOT 框架：

   • 可靠迁移损失（$L_{rt}$）： 一旦识别出私有和共享样本，ReOT 便最小化共享类别的跨域类内距离，同时最大化共享类别与私有类别之间的距离。这是利用 MOT 的传输计划，仅在已识别的共享集合内对齐条件分布来实现的。
   • 风险最小化（$L_{cls}$）： 模型最小化源域和目标域（对于 PDA 则是源域）中已识别私有样本上的经验分类风险。
   • 重心重构损失（$L_{br}$）： 为了进一步细化表示，模型利用传输计划（重心映射）将目标表示映射回源域，并最小化重构损失。这提供了软监督，推动目标样本向其对应的类别原型靠近。
   • 最终目标函数结合了这些损失：$L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$。

3. 理论分析：

   • 本文提供了极端标签偏移场景下目标风险的泛化上界。该上界将误差分解为与源风险、最大预测误差、标签分布差异以及共享条件间隙相关的项。
   • 作者证明了 ReOT 通过降低源风险、对齐条件分布（减少共享条件间隙）以及有效识别私有类别以最小化这些特定样本上的误差，从而最小化该上界。

主要贡献

• 局部感知识别： 一种利用 MOT 传输质量导出的评分函数来识别私有类别的新方法。它通过利用局部空间结构，放宽了不切实际的全局异常值假设。
• 理论保证： 理论证明展示了评分函数区分共享和私有样本的能力，并给出了极端标签偏移场景下的泛化误差上界，且 ReOT 被证明能最小化该上界。
• 统一框架（ReOT）： 单一算法能够处理 OSDA 和 PDA 设置，通过根据哪个域包含私有类别动态调整传输方向和掩码定义。
• 实证验证： 在四个基准数据集（Image-CLEF、Office-31、Office-Home、VisDA-2017）上进行了广泛实验，证明了 ReOT 在 OSDA 和 PDA 设置下均优于最先进的方法。

实验结果

• OSDA 性能： 在 Image-CLEF、Office-31 和 Office-Home 上，ReOT 在大多数任务中取得了最高的调和平均数（$H$）准确率，优于 ANNA 和 MRJT 等最先进方法。例如，在 Image-CLEF 上，ReOT 的平均 $H$ 达到 84.4%，超过 ANNA 1.5%。
• PDA 性能： ReOT 在 Office-Home 和 VisDA-2017 上表现出稳健的性能，取得了最佳平均准确率（Office-Home 上为 78.7%），并在其他方法性能显著下降的具有挑战性的 VisDA-2017 数据集上保持了高性能。
• 消融研究： 移除迁移损失（$L_{rt}$）或重构损失（$L_{br}$）会导致性能下降，证实了类条件对齐和重心重构的必要性。
• 识别效率： 私有类别识别方法在 OSDA 中成功识别了约 88.2% 的私有样本，在 PDA 中识别了 95.6%，跨数据集表现一致。
• 鲁棒性： 该方法在不同的超参数设置和代价函数选择（平方欧氏距离与基于判别器的方法）下保持稳定。

意义与主张
本文主张，ReOT 通过将焦点从全局异常值检测转移到局部空间结构刻画，解决了现有私有类别识别方法的根本局限性。通过将识别过程建立在掩码最优传输性质的理论基础上，该方法确保了即使在私有类别不是明显异常值的情况下，识别依然可靠。

作者断言，ReOT 为 OSDA 和 PDA 提供了统一解决方案， bridging 了这两个对称但常被分开处理的场景之间的差距。理论上，提出的泛化上界为分解异构标签空间中的误差提供了新视角，表明最小化该上界需要精确的私有类别识别和条件分布对齐。实证结果表明，ReOT 在识别私有样本和保持共享类别性能之间取得了更好的平衡，从而在现实世界的极端标签偏移场景中实现了更稳健的领域自适应。

本文结论较为谦逊，指出虽然 ReOT 对单源/单目标场景有效，但未来的工作可将该框架扩展到多源、多目标以及无源设置。