📊 statistics

Factorizable joint shift revisited

本文提出了一种通用框架，用于分析涵盖分类与回归任务及一般标签空间的因子化联合偏移，在扩展现有成果的同时，引入了一种用于标签分布估计的广义期望最大化算法。

原作者： Dirk Tasche

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Dirk Tasche

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，已经用一套特定的食材和特定数量的食客，完美掌握了一道美味汤品（源分布）的食谱。你确切地知道各种风味是如何相互作用的。

现在，你想将这道汤端给一群新食客（目标分布）。然而，问题出现了：这群新食客口味不同、饮食需求不同，甚至食材的供应情况也不同。这种“环境”的变化，就是数据科学家所称的分布偏移。

如果你直接把旧食谱端给新人群，味道可能会很糟糕。本文旨在探讨如何调整你的食谱，使其适用于新人群，即使你无法直接询问他们喜欢什么（即你没有他们的“标签”或反馈）。

以下是用简单类比对本文主要思想的分解：

1. 问题：两种类型的变化

通常，当食谱对新人群失效时，原因往往是以下两者之一：

协变量偏移（食材变了）： 新人群拥有的蔬菜或香料不同，但他们仍喜欢相同的风味轮廓。（例如：训练数据中主要是红椒，但测试数据中主要是青椒）。
标签偏移（人群变了）： 食材相同，但新人群的偏好不同。也许他们现在都是嗜辣者，而旧人群喜欢温和的食物。（例如：训练数据中 50% 是辣菜，但测试数据中 90% 是辣菜）。

2. 新想法：可分解联合偏移（FJS）

本文引入了一个名为*可分解联合偏移（FJS）*的概念。将其想象为“双重麻烦”场景，其中食材*和人群偏好*都发生了变化，但以一种非常具体、可预测的方式发生。

作者认为，FJS 并非随机的混乱；它实际上是一个两步舞：

首先，人群的偏好发生变化（标签偏移）。
然后，食材根据这些新偏好发生变化（协变量偏移）。
（或者反过来：食材先变，然后偏好随之调整）。

FJS 的奇妙之处在于，尽管两者都发生了变化，但它们并非混乱地变化。它们的变化方式允许我们在数学上“解开”这两种偏移。这就像意识到新汤的味道不同，不仅仅是因为胡萝卜变了，而是因为胡萝卜与土豆的比例按照一种特定的、可计算的模式发生了变化。

3. 重大飞跃：从类别到连续统

以往关于这种“两步舞”的研究仅适用于简单的、类别化的标签（如“辣”与“不辣”，或“猫”与“狗”）。

本文的主要贡献是将数学扩展到处理通用标签空间。

旧方法： 仅适用于离散的桶（分类）。
新方法： 既适用于桶，也适用于温度、高度或金钱等连续尺度（回归）。

想象旧数学只能告诉你汤是“热”还是“冷”。而这个新框架可以告诉你它具体热了多少度，即使食材和人群都发生了偏移。

4. 解决方案：作为智能调整器的“EM 算法”

本文提出了一种使用称为**期望最大化（EM）**的算法来修正食谱的方法。

将 EM 算法想象为一位聪明的副厨师，他试图在不直接询问新人群的情况下猜测他们的偏好。

设置： 你知道旧食谱（源），也知道新可用的食材（目标特征），但你不知道新人群的口味偏好（目标标签）。
过程：
1. 猜测： 副厨师对新人群的偏好做出猜测。
2. 检查： 他们查看这个猜测是否能解释新食材。
3. 修正： 如果猜测不匹配，他们就进行调整。
4. 重复： 他们不断猜测和调整，直到数学表明：“好吧，这是解释新食材最可能的偏好分布。”

本文证明，即使标签是连续数字（如预测房屋的确切价格）而非简单的类别，这种“猜测 - 检查”循环依然有效。

5. “完美匹配”与“足够好”

本文还讨论了一个棘手的情况：如果新人群的偏好如此怪异，以至于无论怎样调整食材都无法完美匹配新现实，该怎么办？

“精确拟合”的梦想： 理想情况下，我们希望找到一种新食谱，能完美匹配新食材和新人群。
现实： 有时，从数学上讲，你无法获得完美匹配。本文表明，在这些情况下，算法会找到“最佳可能”的近似值。它最小化了预测值与实际发生情况之间的“距离”（一种误差的数学度量）。

6. 与“广义标签偏移”的联系

本文还重新审视了一个相关概念，即广义标签偏移（GLS）。

隐喻： 想象你试图通过将新人群的语言翻译成你自己的语言来理解他们。GLS 表明，如果你将食材翻译成一种“简化语言”（一种表示），那么这种偏移看起来就像是偏好的简单变化。
发现： 本文证明，如果这种翻译做得正确，它在数学上等同于前面描述的“两步舞”（FJS）。这意味着你并不总是需要寻找复杂的新的翻译；你通常可以直接使用 FJS 方法。

总结

简而言之，本文将一个关于数据随时间变化的复杂数学问题：

泛化： 它适用于任何类型的数据，而不仅仅是简单的类别。
澄清： 它表明复杂的偏移通常只是按顺序发生的更简单偏移的序列。
提供工具： 它提供了一种稳健的数学方法（更新的 EM 算法）来估计新数据的样子，即使你缺失了一半的信息。

这本质上是一套新的、更强大的工具箱，供厨师（数据科学家）使用，以确保他们的汤（模型）味道正确，即使厨房（数据环境）已经完全改变。

以下是 Dirk Tasche 所著论文《可分解联合偏移再探》（"Factorizable joint shift revisited"）的详细技术总结。

1. 问题陈述

本文探讨了机器学习中分布偏移（distribution shift）（或数据集偏移）的挑战，即在一个源分布 $P$ （训练数据）上训练的模型在部署到目标分布 $Q$ （测试数据）时失效。具体而言，本文关注以下场景：

目标数据集可用特征观测值（ $X$ ）。
目标数据集缺失标签观测值（ $Y$ ）（无监督域自适应）。
标签空间 $\Omega_Y$ 是通用的，不仅涵盖分类变量（分类），还包括连续变量（回归）和混合空间。

现有文献主要集中于特定的偏移假设，如协变量偏移（Covariate Shift， $P(X)$ 变化， $P(Y|X)$ 恒定）或标签偏移（Label Shift， $P(Y)$ 变化， $P(X|Y)$ 恒定）。然而，这些假设往往不足以应对现实世界的任务。可分解联合偏移（Factorizable Joint Shift, FJS）被提出作为一种涵盖上述两种情况的更通用假设，但先前的分析仅限于分类标签。本文旨在将 FJS 推广到任意标签空间，并提供稳健的估计框架。

2. 方法论与框架

2.1. 理论框架

作者利用测度论建立了严格的概率框架：

源分布（ $P$ ）与目标分布（ $Q$ ）： 定义在乘积空间 $\Omega = \Omega_X \times \Omega_Y$ 上。
绝对连续性： 假设目标分布 $Q$ 关于源分布 $P$ 绝对连续（ $Q \ll P$ ），从而允许定义 Radon-Nikodym 导数（密度） $f = \frac{dQ}{dP}$ 。
FJS 定义： 若密度 $f$ 分解为特征函数与标签函数的乘积，则 $P$ 与 $Q$ 通过 FJS 相关联：
$\frac{dQ}{dP} = h(X)g(Y)$
其中 $h$ 和 $g$ 为可测函数。这意味着联合偏移是协变量偏移与标签偏移的组合。

2.2. FJS 的表征

本文证明了 FJS 等价于一系列连续偏移（例如，先发生标签偏移，随后发生协变量偏移）。

定理 3.5： 建立了分解函数（ $h, g$ ）与目标分布边缘密度之间的关系。表明在 FJS 下，目标条件密度是源条件密度的“缩放”版本。
推广： 本文将先前局限于分类 $Y$ 的结果推广到通用标签空间，表明 FJS 意味着目标与源条件密度的比率仅依赖于条件变量。

2.3. 估计算法

本文在 FJS 假设下解决了两个具体问题：

问题 (A)： 目标边缘分布 $Q_X$ 和 $Q_Y$ 均已知。
问题 (B)： 仅已知目标特征边缘分布 $Q_X$ （标准无监督设置）。

广义 EM 算法（第 3.3 节）：
为解决问题 (B)，作者提出了期望最大化（EM）算法的推广形式（最初由 Saerens 等人于 2002 年提出，用于类别先验）。

目标： 在已知目标特征密度 $h(X)$ 的情况下，估计未知的目标标签密度 $g(Y)$ （或目标标签分布）。
迭代过程：
1. 初始化标签密度 $g_0(Y)$ 。
2. E 步： 计算隐含的特征密度 $h_n(X) = E_P[g_n(Y) | X]$ 。
3. M 步： 更新标签密度 $g_{n+1}(Y) = g_n(Y) E_P[\frac{h(X)}{h_n(X)} | Y]$ 。
收敛性： 定理 3.8 证明该迭代过程最小化了预定义的目标特征密度与隐含特征密度之间的 Kullback-Leibler (KL) 散度。该算法收敛至一个解，使得估计的目标标签分布满足 FJS 约束下的联合分布。

问题 (A) 的迭代解：
对于边缘分布均知的情况，提出了一种交替迭代法，以寻找同时满足边缘约束的分解函数 $h$ 和 $g$ 。

2.4. 与广义标签偏移（GLS）的关系

本文分析了 FJS 与广义标签偏移（Generalized Label Shift, GLS）之间的关系，后者是表示学习中的一个概念，指特征被映射到仅发生标签偏移的空间。

命题 4.1： 如果表示映射 $R$ 对特征是充分的（即 $P(Y|X) = P(Y|R)$ ），则映射空间中的 GLS 意味着原始空间中的 FJS。
推论： 这表明可能不需要显式学习表示映射来实现 GLS；相反，可以直接将基于 FJS 的 EM 算法应用于原始特征。

3. 主要贡献

推广至连续/混合标签： 主要贡献是将可分解联合偏移理论从分类标签推广到通用标签空间（包括回归）。这使得 FJS 概念能够应用于回归问题和混合数据类型。
广义 EM 算法： 本文严谨推导了适用于通用空间标签分布估计的 EM 算法。证明了该算法最小化了目标特征分布与模型隐含分布之间的 KL 散度，为无监督域自适应中的应用提供了理论保证。
FJS 的分解： 形式化地证明了 FJS 可被视为一系列连续的标签偏移和协变量偏移，阐明了这些偏移类型之间的结构关系。
与 GLS 的联系： 建立了形式化联系，表明具有充分表示的 GLS 蕴含 FJS，暗示直接 FJS 建模可能是复杂表示学习的替代方案。
处理“精确拟合”： 讨论了目标特征分布在何种条件下可被标签偏移或受限 FJS 完美匹配（“精确拟合”）。指出虽然精确拟合并不总是保证（例如在正态混合模型中），但 EM 算法提供了 KL 散度意义上的最佳近似。

4. 关键结果

定理 3.5： 提供了联合分布满足 FJS 的充要条件，涉及边缘密度和条件期望。
定理 3.8： 证明了广义 EM 算法的收敛性质，表明隐含特征密度序列在 KL 散度意义上单调逼近目标特征密度。
推论 3.17： 表明在有限分类特征和通用标签的情况下，如果后验概率线性无关，则 EM 算法可实现目标特征分布的精确拟合。
示例 3.16： 数值实验展示了该算法在给定离散目标特征分布的情况下估计连续目标标签分布（高斯分布）的能力，表明虽然最终标签密度依赖于初始化，但特征分布能以高精度匹配。

5. 意义

** bridging 分类与回归：** 通过超越分类标签，这项工作统一了分类和回归任务的分布偏移处理，这是一个重要的进步，因为现有大多数域自适应文献主要集中于分类。
实际域自适应： 提出的 EM 算法提供了一种实用且计算可行的方法，用于在目标标签不可用且 FJS 假设成立的情况下对模型进行自适应。这对于医疗诊断（测试数据标签延迟）或金融风险管理等现实应用至关重要。
理论清晰度： 本文阐明了 FJS 的数学结构，解决了其关于协变量偏移和标签偏移关系的歧义，为分布偏移的未来研究奠定了坚实的理论基础。
表示学习的替代方案： 通过将 GLS 与 FJS 联系起来，本文表明在某些情况下，可以绕过复杂的表示学习，转而采用 FJS 下的直接密度估计，从而可能简化自适应流程。

总之，《可分解联合偏移再探》为通用设置下的分布偏移处理提供了全面的理论和算法框架，提供了对标准协变量或标签偏移假设的稳健替代方案，并将这些能力扩展到了回归问题。