技术摘要：TILT：协变量偏移下的目标诱导损失倾斜

问题表述

本文解决了协变量偏移下的无监督域适应问题。在此设定中，预测器在源自源分布 $P$（定义在 $\mathcal{X} \times \mathcal{Y}$ 上）的标记数据上进行训练，并部署在源自目标分布 $Q$ 的输入上。核心假设是：尽管边际输入分布不同（$P_X \neq Q_X$），但给定协变量的响应条件分布保持不变（$P(Y|X) = Q(Y|X)$）。

在源数据上进行标准的经验风险最小化（ERM）在此设定下会失效，因为它最小化的是由源边际加权的风险，而非目标边际。标准的修正方法涉及重要性加权，即通过密度比 $w(x) = q(x)/p(x)$ 对源样本进行重加权。然而，本文指出该方法存在两个主要缺点：

1. 不稳定性：密度比可能具有高度变异性或无界，导致高统计方差和优化不稳定性。
2. 估计困难：该比率通常是未知的，必须被估计，这往往需要一个独立的、显式的估计阶段（例如 KMM、KLIEP、LSIF），从而引入额外的误差。

方法论：目标诱导损失倾斜（TILT）

作者提出了目标诱导损失倾斜（TILT），这是一种一步法，消除了对显式密度比估计的需求。

核心机制

TILT 将预测器分解为加法形式：$f(x) + b(x)$，其中：

• $f \in \mathcal{F}$ 是待部署的主要预测器。
• $b \in \mathcal{B}$ 是一个辅助分量。

该方法在标记源数据 $\{(x_i, y_i)\}_{i=1}^n$ 和未标记目标协变量 $\{\tilde{x}_j\}_{j=1}^m$ 上最小化联合经验目标函数：

$$\hat{\mathcal{L}}(f, b) = \frac{1}{n} \sum_{i=1}^n (f(x_i) - y_i + b(x_i))^2 + \lambda \sum_{j=1}^m b^2(\tilde{x}_j)$$

最终部署的预测器仅为 $f$ 分量。辅助分量 $b$ 被允许拟合源分布（吸收源特定的残差），但在目标协变量上受到惩罚。正则化参数 $\lambda > 0$ 控制这种抑制的强度。

理论基础

在总体水平上，本文证明了最小化关于 $b$ 的辅助超额风险会产生一个轮廓目标函数，该函数等价于 $\lambda$-相对加权的目标超额风险：
$$\inf_b \mathcal{A}(f, b) = \mathbb{E}_Q \left[ \frac{p(X)}{p(X) + \lambda q(X)} (f(X) - f^*(X))^2 \right]$$
其中 $f^*(x) = \mathbb{E}[Y|X=x]$。

关键理论性质包括：

1. 隐式重加权：该方法在不估计 $q/p$ 的情况下诱导了一种相对加权准则。有效权重为 $v_\lambda(x) = \frac{p(x)}{p(x) + \lambda q(x)}$，对于任何源 - 目标对，该权重在 $[0, 1]$ 内一致有界，这与可能无界的 $q/p$ 形成对比。
2. 自定位：最优偏移量 $b^*_f(x)$ 由 $-v_\lambda(x)(f(x) - f^*(x))$ 给出。这意味着随着主预测器 $f$ 的改进（因为误差项缩小），辅助任务变得更容易，且修正被定位到当前的预测误差上。
3. 分类扩展：该方法通过 KL 散度公式（KL-TILT）或交叉熵与蒸馏损失的混合（KD-TILT）扩展到分类（特别是知识蒸馏设置），其中辅助分量作用于 logits。

主要贡献

1. 新颖算法：引入 TILT，这是一种一步过程，它在源数据上拟合加法预测器，同时在目标数据上惩罚辅助分量，完全避免了显式的密度比估计。
2. 总体水平保证：证明了目标侧惩罚诱导的轮廓超额风险等价于相对加权目标风险，其最优偏移量一致有界且自定位到误差上。
3. 有限样本分析：
   • 推导了超额风险的通用Oracle 不等式，将近似误差与源和目标估计项分离。
   • 专门针对稀疏 ReLU 网络，提供了端到端的非参数收敛速率。这些界限通过 $\lambda$ 明确刻画了目标相关性与估计方差之间的权衡。
4. 实证验证：
   • 合成回归：表明 TILT 在协变量偏移严重性方面实现了极小极大最优速率，并优于仅源训练、精确重要性加权（IW）和相对密度比基线（RuLSIF），特别是在高维或设定错误的环境中。
   • CIFAR-100 蒸馏：显示 TILT 变体（KD-TILT, KL-TILT）在图像级协变量偏移（亮度、对比度、模糊）下，相比仅源训练和朴素知识蒸馏，提高了目标域性能，且对正则化参数的依赖稳定。

结果与意义

本文声称，TILT 为传统重要性加权提供了一种稳健的替代方案。通过将无界的密度比替换为有界的、误差定位的辅助修正，TILT 避免了估计 $q/p$ 相关的不稳定性。

• 稳定性：在偏移严重性增加的合成实验中，TILT 保持了稳定的性能，而精确 IW 由于密度比的变异性而迅速退化。
• 最优性：在涉及点质量偏移的极小极大下界实验中，TILT 恢复了理论预测的有效样本量速率，优于随偏移严重性线性缩放的源 ERM。
• 实用性：在 CIFAR-100 蒸馏任务中，TILT 变体在中到高偏移强度下始终优于基线。该方法被证明在中间范围内对 $\lambda$ 的选择具有鲁棒性，避免了纯源 ERM 或不稳定重要性加权的极端情况。

作者将 TILT 定位为一种通过简单的加法分解和目标侧正则化实现协变量偏移修正的方法，有效地“倾斜”了损失，而无需承担密度比估计的计算和统计负担。该工作的范围较为适度，专注于最小二乘回归和特定的分类扩展，并建议未来的工作扩展到一般的 Bregman 损失和更广泛的自然分布偏移。