技术摘要：基于 Neyman 正交性的半参数异质聚类多任务学习中的自适应估计与推断

1. 问题陈述

本文解决了在任务仅部分相关的场景下进行**多任务学习（MTL）**所面临的挑战。具体而言，作者考虑了一个包含 $m$ 个任务的场景，其中：

• 共享结构：目标参数 $\theta^*_j$（有限维）表现出潜在的聚类结构。同一聚类内的任务共享相似的目标参数，而不同聚类间的任务则存在差异。
• 异质性：每个任务 $j$ 都拥有一个任务特定的干扰成分 $\eta^*_j$，该成分可以是无限维的，在结构上具有异质性（例如，不同的特征空间、分布或平滑度），并且可能是高维的。
• 挑战：现有的 MTL 方法通常假设特征空间对齐或任务结构同质，当干扰成分存在显著差异时往往失效。相反，标准的双重机器学习（DML）方法通过 Neyman 正交性处理高维干扰，但作为单任务流程运行，无法利用跨任务的相似性或发现共享结构。简单地将异质环境下的数据合并会导致因模型不匹配而产生的无效推断，而独立估计各个任务则会牺牲统计效率。

2. 方法论

作者提出了一种自适应融合正交估计量，该估计量分两个阶段运行，旨在同时发现潜在聚类并估计具有有效推断的目标参数。

第一阶段：任务局部初始化（结构发现）

• 目标：获得任务相似性的粗略、稳定估计，以构建数据驱动的融合惩罚。
• 过程：对于每个任务 $j$，使用标准（可能是非正交的）损失函数和预计算的干扰估计量 $\hat{\eta}^{\text{init}}_j$ 计算初步估计量 $\hat{\theta}^{\text{init}}_j$。
• 原理：此处不需要正交性；一致性已足够。这些估计量仅用于量化任务间的相似性，不用于最终推断。

第二阶段：通过自适应融合进行聚合

• 目标：执行多任务聚合，同时保持 Neyman 正交性以确保推断有效。
• 过程：
  1. 样本分割：将每个任务的数据集 $D_j$ 分割为两部分，$D_{j,1}$ 和 $D_{j,2}$。
  2. 干扰估计：使用 $D_{j,1}$ 估计干扰参数 $\hat{\eta}_j$。
  3. 优化：通过在 $D_{j,2}$ 上最小化惩罚目标函数来估计目标参数 $\hat{\theta} = \{\hat{\theta}_j\}_{j=1}^m$：
     $$\hat{\theta} = \arg\min_{\theta_1, \dots, \theta_m} \sum_{j=1}^m f^\dagger_j(\theta_j, \hat{\eta}_j) + \sum_{1 \le j' < j \le m} \lambda_{jj'} \|\theta_j - \theta_{j'}\|_2$$
     其中 $f^\dagger_j$ 是经验Neyman 正交损失。
• 自适应惩罚：融合权重 $\lambda_{jj'}$ 基于第一阶段的初步估计量自适应构建：
  $$w_{jj'} = c_w \|\hat{\theta}^{\text{init}}_j - \hat{\theta}^{\text{init}}_{j'}\|_2^{-\gamma}$$
  $$\lambda_{jj'} = \begin{cases} \epsilon_n & \text{if } w_{jj'} \le \tau \\ w_{jj'} & \text{if } w_{jj'} > \tau \end{cases}$$
  该机制强烈融合具有相似初步估计量（可能属于同一聚类）的任务，同时对不同任务不加惩罚。
• 关键特征：干扰估计在整个过程中保持任务局部性。跨任务交互仅通过目标参数发生，允许每个任务利用其自身的特征空间和学习算法。

3. 主要贡献

本文在理论和方法论方面做出了以下贡献：

1. 框架整合：它架起了半参数推断（通过 Neyman 正交性）与聚类多任务学习（通过自适应融合）之间的桥梁，使得在具有异质干扰结构的任务间能够共享信息。
2. 精确聚类恢复：作者证明了所提出的估计量能以高概率恢复潜在聚类结构。同一真实聚类内的任务被融合，而不同聚类则保持分离。
3. Oracle 速率：该估计量实现了与聚类大小（$N_k$）成正比的聚合参数收敛速率。小任务受益于从同一聚类中的大任务借用强度。
4. 渐近正态性：尽管存在数据依赖的正则化和自适应聚合，本文仍建立了每个任务级估计量的渐近正态性。其极限方差与Oracle 过程（即预先知道真实聚类）的方差相匹配。
5. 对异质性的鲁棒性：该框架能够适应聚类内的轻微异质性（即目标参数围绕聚类中心波动）以及变化的干扰维度。

4. 结果

理论保证

在标准正则性条件下（凸性、平滑性以及干扰估计的特定速率），本文建立了以下结论：

• 定理 3.5（聚类恢复）：以高概率，该估计量实现精确聚类，并达到 $O_P(N_k^{-1/2})$ 的误差率，其中 $N_k$ 是第 $k$ 个聚类的总样本量。
• 定理 3.6（渐近正态性）：缩放后的估计量 $\sqrt{N_k}(\hat{\theta}_j - \theta^*_j)$ 依分布收敛于一个正态随机变量，其方差与 Oracle 估计量相同。
• 扩展：结果扩展到近同质聚类（定理 3.7 和 3.8），其中由聚类内异质性引入的偏差，如果异质性相对于聚合速率较小，则在渐近意义上消失。

实证表现

该方法在三个典型的半参数模型上进行了评估：

1. 部分线性模型（PLM）
2. 平均处理效应（ATE）
3. 双重差分法（DID）

发现：

• 准确性：与基线方法相比，自适应估计量始终实现了最低的均方根误差（RMSE），这些基线包括个性化（单任务）估计量、ARMUL（一种参数化聚类 MTL 方法）以及其他基于融合的方法（CN、FC、MeTaG）。
• 聚类恢复：该方法在所有设置下均实现了近乎完美的调整兰德指数（ARI），成功恢复了真实的潜在划分，而无需预先知道聚类的数量。相比之下，当聚类数量被错误设定时，ARMUL 的性能显著下降。
• 分布行为：估计量的经验分布紧密聚集在真实聚类均值周围，且近似正态分布，证实了理论上的渐近正态性。
• 现实世界应用：该方法应用于美国住宅能源消耗数据（RECS 2020）以估计州级电力价格弹性，识别出三个不同的区域聚类（弗吉尼亚州；一组南部州；以及美国其他地区），揭示了单任务方法未能发现的有意义的地理异质性需求响应。

5. 意义与主张

作者声称，这项工作为复杂、异质环境中的多任务学习提供了一个原则性框架，在这些环境中，传统的 MTL 因干扰异质性而失效，而 DML 则无法利用共享结构。

• 推断有效性：一个关键贡献是在多任务设置中保留了有效的统计推断（渐近正态性和置信区间），这一属性在正则化多任务方法中常常丢失。
• 自适应性：与许多现有的聚类 MTL 方法不同，该方法不需要预先知道聚类的数量。
• 灵活性：该框架足够广泛，可涵盖各种统计设置，包括因果推断（ATE、DID）和部分线性模型，并通过样本分割和灵活的机器学习处理无限维干扰参数。

本文结论指出，所提出的自适应融合正交估计量在偏差和方差之间提供了更优的权衡，在模拟和现实世界应用中均优于强大的基线方法，同时为估计和推断提供了严格的理论保证。