💻 computer science

Domain-Agnostic Feature Modulation for Semi-Supervised Domain Generalization

本文针对具有挑战性的域标签无关的半监督域泛化任务，提出了一种特征调制策略以构建鲁棒的域不变表示，并引入动态损失缩放函数以缓解域噪声并提升伪标签准确性，从而在不依赖域标签的情况下于主要基准测试上实现了显著的性能提升。

原作者： Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige (Queensland University of Technology), Ranga Rodrigo (University of Moratuwa)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心难题：“新城市”挑战

想象一下，你正在训练一个机器人来识别动物。你给它看了数千张在阳光明媚的公园里拍摄的狗和猫的照片（源域）。机器人学得完美无缺。

但随后，你把这个机器人带到一片黑暗、多雨的森林（目标域）进行测试。光线不同，树木不同，动物看起来也不同。机器人变得困惑起来。它可能会因为“多雨森林”的特征扰乱了它的大脑，而把湿漉漉的狗误认为是猫。

这被称为域偏移（Domain Shift）。在现实世界中，我们往往没有针对每个新环境（比如多雨的森林）的完美标注数据。我们只有一小部分标注数据，以及大量未标注数据（没有名字的照片）。

本文的目标是教导机器人利用大部分未标注数据来处理这些新的、未见过的环境，而无需确切知道每张照片来自哪个环境（域）。

两大主要障碍

作者指出了现有方法存在的两个大问题：

“猜谜游戏”（伪标签）： 由于我们没有新数据的标签，机器人必须猜测标签（例如：“我有 90% 的把握这是一只狗”）。这些猜测被称为伪标签（Pseudo-Labels）。如果机器人被“多雨森林”的背景搞糊涂了，它就会做出错误的猜测。如果你用错误的猜测来训练机器人，它会变得更糟。
“过于严格”的规则： 为了避免错误的猜测，现有方法非常严格。它们只允许机器人从那些它有 95% 把握的猜测中学习。这意味着它们丢弃了 90% 的未标注数据，因为机器人的置信度不够高。这就像一位老师只允许学生学习最简单的问题，而忽略了其余部分。

解决方案：一个两步魔法

作者提出了一种名为**域无关特征调制（Domain-Agnostic Feature Modulation）**的新方法。把它想象成一个修复机器人大脑的两步魔法。

第一步：“搅拌机”（特征调制）

类比： 想象你正在教某人识别一只狗。

问题： 在“照片”世界里，狗有毛发。在“素描”世界里，狗只是线条。如果机器人专注于“毛发”，它在素描世界里就会失败。如果它专注于“线条”，它在照片世界里就会失败。
解决方法： 作者创建了一个特征调制器。把它想象成一个搅拌机。
- 他们提取图片的具体特征（毛发、线条）。
- 将其与“相似平均表示”（SAR）混合。想象 SAR 是一个“超级平均狗”，它是通过将所有不同世界（照片、素描、卡通）中狗的最佳部分混合在一起而创造出来的。
- 这个搅拌机调低了那些在不同世界间变化太大的部分（如背景或光线），并调高了那些保持不变的部分（如吻部的形状）。
结果： 机器人不再关注“多雨森林”的背景，而是开始专注于“狗的形状”。这使得机器人的猜测（伪标签）更加准确。

第二步：“智能音量旋钮”（损失缩放）

类比： 既然机器人现在能做出更好的猜测，作者意识到他们可以不再那么严格。

旧方法： “只听从那些你有 95% 把握的猜测。”（这忽略了大量数据）。
新方法： 他们引入了一个损失缩放函数（Loss Scaling function）。想象一个音量旋钮。
- 如果机器人非常有把握（95%），音量就很大（高权重）。
- 如果机器人比较有信心（75%），音量就低一些，但仍然可听。
- 至关重要的是，他们还会检查“不确定性”（机器人的手有多抖）。如果机器人手抖（不确定），他们会把音量调得更低，以防止它学到错误的东西。
结果： 机器人现在可以从更多数据中学习（包括那些“比较有信心”的猜测），而不会被噪声搞糊涂。

为何这很重要（结果）

作者在四个主要数据集（如 PACS、OfficeHome 等）上测试了这种方法，这些数据集就像不同的图像“宇宙”。

无需域标签： 与其他需要标签说明“这来自照片世界”的方法不同，这种方法可以盲用。它不在乎数据来自哪里。
更高的准确率： 通过清理特征（第一步）并更明智地利用更多数据（第二步），他们的方法以显著优势（约 3-6% 的提升）击败了之前的最佳方法（如 FixMatch）。
“保留率”胜利： 他们成功地在训练循环中保留了更多数据（更高的“保留率”），同时仍保持猜测的准确性。这就像让一个学生多学习 20% 的问题，而不会让他们感到困惑。

一句话总结

本文教导计算机视觉模型忽略不同环境的“背景噪声”，专注于核心物体，使其能够从更大的未标注数据池中学习，而无需确切知道这些数据来自何处。

技术摘要：面向半监督域泛化的领域无关特征调制

问题陈述
半监督域泛化（SSDG）旨在利用少量标注数据结合大量未标注数据，提升模型对未见目标域的泛化能力。尽管现有的 SSDG 方法通常依赖伪标签（PL）处理未标注数据，但它们往往假设训练过程中可获取域标签——这一前提在现实场景中并不总能满足。此外，域偏移会引入“域噪声”，导致伪标签不一致，从而降低模型性能。源自半监督学习基线的方法往往面临伪标签准确率偏低的问题，限制了未标注数据的有效利用。存在一个根本性困境：降低置信度阈值以利用更多未标注数据会增加噪声，而维持高阈值则会丢弃有价值的数据。本文针对领域标签无关的 SSDG设定展开研究，该设定下训练期间未标注数据的域标签不可用。

方法论
所提出的方法引入了一种包含四个关键组件的新框架：相似平均表示（SAR）、特征调制器、基于调制特征的伪标签生成，以及带有不确定性估计的损失缩放函数。

相似平均表示（SAR）：
为减轻特定域信息的影响，作者仅基于类别标签定义类原型（ $P_c$ ），使其具有领域无关性。与那些利用域标签跨域平均特征的方法不同，该方法通过基于余弦相似度对类原型进行加权来计算 SAR（ $R_c$ ）。这构建了一种强调类别特异性信号、同时抑制域相关变化（如背景、纹理）的表示。SAR 作为特征调制的稳健目标。
特征调制：
引入一个可学习的特征调制矩阵（ $M$ ），用于将实例特异性特征（ $z$ ）与 SAR（ $R$ ）进行融合。调制后的特征 $Z_m$ 计算如下：
$Z_m = M \odot Z + (1 - M) \odot R$
矩阵 $M$ 基于各类别内特征的方差进行初始化（方差较高的特征，通常为域特异性特征，会被降低权重），并通过对角损失函数在训练过程中更新。该过程将特征向其 SAR 偏移，鼓励特征提取器形成紧密聚类的域不变表示，并迫使分类器通过关注独特的类别特异性特征而非共享或域特异性特征来区分紧密相关的类别。
基于调制特征的伪标签生成：
为了生成更准确的伪标签，未标注样本的特征在输入分类器之前，先被调制至各类别的 SAR。在调制后的特征上置信度得分最高的类别被分配为伪标签。该策略减少了标签生成过程中的域干扰，从而获得更高质量的伪标签。
不确定性估计与损失缩放：
为解决数据利用与标签噪声之间的权衡，作者采用蒙特卡洛（MC）Dropout 来估计伪标签的不确定性。他们引入了一种动态损失缩放函数（ $l_{scale}$ ），根据伪标签的置信度（ $p_{max}$ ）和不确定性（ $\sigma$ ）调整每个伪标签的贡献。这使得模型能够以受控的方式纳入低置信度伪标签，在不过度引入噪声的情况下提高“保留率”（即使用的未标注数据比例）。

主要贡献

特征调制器： 一种在不依赖域标签的情况下增强类别判别特征并抑制域特异性信息的策略，从而生成更准确的伪标签。
损失缩放函数： 一种根据置信度和不确定性动态调整伪标签影响力的机制，在优化未标注数据利用的同时减轻标签噪声。
领域标签无关设定： 该方法在更具挑战性的设定下解决 SSDG 问题，即域标签不可用，并在四个主要基准测试中证明了其有效性。

实验结果
该方法在四个标准域泛化基准（PACS、OfficeHome、VLCS 和 DigitsDG）上进行了评估，涵盖 5 标签和 10 标签设定。

性能： 所提出的方法（FM）在强基线 FixMatch 之上取得了持续改进，跨数据集的平均准确率分别提升了 3.3%（10 标签设定）和 4.3%（5 标签设定）。
具体增益： 在 OfficeHome（5 标签和 10 标签分别为 57.2% 和 61.0%）、VLCS（75.5% 和 75.3%）以及 DigitsDG（10 标签为 73.0%）上观察到了显著改进。
组件分析： 消融实验证实，特征调制器提高了伪标签准确率，而损失缩放函数显著增加了保留率。两者的结合实现了准确率与数据利用之间的最佳平衡。
对比： 该方法优于其他最先进（SOTA）的 SSDG 方法（如 StyleMatch、FBCSA、DGWM），其中许多方法依赖域标签，且在领域标签无关的设定下表现不佳。

意义
本文声称解决了 SSDG 中实现准确伪标签与最大化未标注数据利用之间的根本困境。通过将特征向相似平均表示（SAR）偏移，模型学会了在不进行显式域监督的情况下区分紧密聚类的类别并形成域不变表示。动态损失缩放进一步使得有效利用通常被丢弃的低置信度伪标签成为可能。作者断言，这些创新使得模型即使在缺乏域标签的情况下也能有效地泛化到未见域，这一设定更好地反映了现实世界的约束。