Joint Distribution Alignment for Universal Domain Adaptation
本文通过提供理论泛化误差界限并提出 JAUA 算法，解决了通用领域自适应（UniDA）场景问题，该算法利用卡方散度进行联合分布对齐，并采用渐进式伪标签策略来有效处理跨领域的分布漂移和类别空间差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在机器学习领域，计算机通常通过学习海量的标注示例（例如成千上万张猫和狗的照片）来学习识别模式。只要计算机看到的照片始终是在相同的光照、相同的相机和相同的角度下拍摄的，这种训练就会运作得非常完美。然而，现实世界是混乱的。一个在阳光充足、高分辨率照片上训练出的模型，在被要求识别同一类动物出现在雾气弥漫、低质量的视频流中时，可能会完全失效。这种干净的训练数据与混乱的现实世界数据之间的差距被称为分布偏移（distribution shift）。为了解决这个问题，科学家们使用了一种称为领域自适应（domain adaptation）的技术，试图将知识从熟悉的训练环境迁移到新的、陌生的环境中。
多年来，这些技术大多在一个严格的假设下运行：即新环境包含与旧环境完全相同类型的物体。如果一台计算机被训练用来识别猫和狗，那么人们就假设新的照片中也只会包含猫和狗。但在现实中，一个新环境可能会引入全新的类别，比如仓鼠或鹦鹉，而这些是计算机从未见过的。这种新数据中既包含熟悉项又包含完全未知项的情况，被称为通用领域自适应（Universal Domain Adaptation）。这是一个更为困难的问题，因为计算机不仅要学习识别新环境，还要在没有人告诉它哪些是陌生项的情况下，弄清楚哪些项是熟悉的，哪些是陌生的。
研究员李世哲及其来自华南理工大学和重庆大学的同事们通过开发一种名为 JAUA 的新方法，应对了这一艰巨挑战。他们的工作解决了该领域的一个关键空白：虽然许多现有方法试图通过试错法来解决这个问题，但很少有方法能为“为什么这样做有效”提供坚实的数学证明。团队首先建立了一个理论上的安全网——一个数学上限，用于预测计算机模型从已知世界迁移到包含已知和未知项的混合世界时可能产生的误差。通过证明这个极限的存在，他们为构建更好的系统创建了一份路线图。
他们新方法的核心是一种对齐两个世界之间数据统计“形状”的策略。想象一下，将训练集中的数据和新集中的数据看作是在空间中漂浮的两团点云。目标是让这两团点云在它们共同了解的项目上尽可能重叠，同时将未知项目保持分离。研究人员通过使用一种量化分布差异程度的特定测量工具，来最小化这两团点云之间的距离，从而实现了这一目标。这确保了计算机在学习熟悉项目的共同特征时，不会被新的、未知的项目所迷惑。
这个过程中的一个主要障碍是，计算机并不知道新图像的标签；它只能看到像素。为了解决这个问题，团队设计了一个渐进式标注系统。该系统并非试图立即猜测每个未知项的身份，而是从对最自信的示例做出最佳猜测开始。然后，它利用这些自信的猜测来完善其理解，逐渐将越来越多的数据纳入学习过程。这种循序渐进的方法防止了计算机被早期的错误误导，使其能够缓慢地建立起可靠的理解，分辨哪些项目属于已知类别，哪些应该被标记为未知。
为了测试他们的方法，研究人员将其应用于六个不同的公开图像数据集，涵盖了广泛的视觉任务。他们将这个新系统与二十四种目前最先进的方法进行了对比。结果显示，他们的方法表现一致优于其他方法，成功处理了已知和未知类别的复杂混合情况。这项研究表明，通过将学习过程建立在坚实的理论极限之上，并使用细致的迭代策略来标注数据，计算机在面对现实世界不可预测的多样性时可以变得更加鲁棒。这项工作不仅为工程师提供了一个新工具，也为理解机器如何适应规则不断变化的各种环境提供了更清晰的理论基础。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。