技术摘要：面向结果感知的工具变量回归谱特征学习

问题陈述

本文解决了在存在隐性混杂因素的情况下，使用非参数工具变量（NPIV）回归估计因果效应的挑战。核心模型假设存在结构关系 $Y = h_0(X) + U$，其中 $E[U|Z]=0$，$X$ 是处理变量，$Y$ 是结果变量，$Z$ 是工具变量，$U$ 是未观测到的混杂因素。目标是从 $(Y, X, Z)$ 的独立同分布样本中恢复结构函数 $h_0$。

该问题被表述为一个线性逆问题 $T h_0 = r_0$，其中 $T$ 是将 $h(X)$ 映射到 $E[h(X)|Z]$ 的条件期望算子。虽然像 SpecIV (Sun et al., 2025) 这样的最先进方法通过近似 $T$ 的前几奇异子空间来学习谱特征，但作者指出这些特征存在一个根本性的局限：它们是**结果无关（outcome-agnostic）**的。它们捕捉了 $X$ 与 $Z$ 之间关系的显著模态，但如果 $h_0$ 位于 $T$ 的主奇异子空间之外，这些特征可能无法表示结构函数 $h_0$（这种情况被称为“谱失配”）。在这种情况下，标准的谱方法性能会显著下降。

方法论：增强谱特征学习

为了缓解谱失配问题，作者提出了**增强谱特征学习（Augmented Spectral Feature Learning）框架，该框架使特征学习过程具有结果感知（outcome-aware）**能力。

1. 增强算子与损失函数

该方法引入了一个增强算子 $T_\delta$，它整合了来自结果 $Y$ 的信息。具体而言，$T_\delta$ 被定义为 $T$ 的一个秩一扰动：
$$T_\delta: L^2(X) \times \mathbb{R} \to L^2(Z), \quad (h, a) \mapsto Th + a \cdot \delta \cdot r_0$$
其中 $r_0 = E[Y|Z]$，$\delta$ 是控制结果信号强度的超参数。

学习目标被修改为最小化一种新型对比损失 $L^{(d)}_\delta(\theta, \omega)$，它结合了标准谱损失 $L^{(d)}_0$（近似 $T$）与源自结果的正则化项：
$$L^{(d)}_\delta(\theta, \omega) = L^{(d)}_0(\theta) - 2\delta E[Y \psi^{(d)}_\theta(Z)]^\top \omega + \omega^\top C_{\psi^{(d)}_\theta} \omega$$
这里 $\psi^{(d)}_\theta$ 和 $\phi^{(d)}_\theta$ 分别是 $Z$ 和 $X$ 的神经网络特征映射，$\omega$ 是一个辅助变量。最小化该损失在理论上等价于寻找增强算子 $T_\delta$ 的最佳秩-$d$ 近似。

2. 理论机制

通过使用结果信号 $r_0$ 来增强 $T$，该方法放大了与 $h_0$ 相关的 $T$ 的奇异分量。即使 $h_0$ 与 $T$ 的一个“坏”（低奇异值）方向对齐，扰动也可以将 $T_\delta$ 的主奇异子空间移动到与 $h_0$ 对齐的位置。这使得学习到的特征能够捕捉到预测 $Y$ 所需的信号，即使在标准谱特征会失效的情况下也是如此。

3. 估计程序

该框架与两阶段最小二乘法（2SLS）估计器集成。

• 第一阶段： 通过在数据集 $\tilde{D}_m$ 上最小化经验增强损失来学习特征 $\phi^{(d)}_\theta$ 和 $\psi^{(d)}_\theta$。
• 第二阶段： 在单独的数据集 $D_n$ 上使用学习到的特征进行标准 2SLS 回归，以估计结构函数 $h_0$。

核心贡献

1. 识别局限性： 作者正式指出了现有 NPIV 谱方法的局限性，即它们是结果无关的，这会导致在谱失配情况下性能下降。
2. 增强框架： 他们提出了增强谱特征学习，引入了算子 $T_\delta$ 以及相应的包含结果信息的对比损失。
3. 理论保证：
   • 提供了一个 2SLS 估计器的非渐近、高概率误差界，将近似误差与统计误差分离。
   • 分析表明，该方法在“坏”场景（谱失配）下具有鲁棒性。具体而言，如果信噪比足够，即使 $h_0$ 与 $T$ 的低奇异值分量对齐，该方法也可以通过单个特征恢复 $h_0$。
4. 实验验证： 该方法在合成数据、半合成 dSprites 基准测试（包括一个新的、更具挑战性的结构函数）以及强化学习中的离策评估（OPE）任务上得到了验证。

实验结果

• 合成数据： 在谱对齐较差的场景中（即 $h_0$ 与 $T$ 的低奇异值对齐），增加 $\delta$ 与标准 SpecIV ($\delta=0$) 相比，能显著降低均方误差 (MSE)。
• dSprites 基准测试：
  • 在标准的“良对齐”基准测试中，该方法表现出小幅改进。
  • 在一个新的“失配”基准测试 ($h_{new}$) 中，其中结构函数依赖于旋转（一个低奇异值特征），原始 SpecIV 表现极差。通过调整 $\delta$ 的增强型感知结果方法，其性能达到了或略微超过了强有力的竞争对手 Deep Feature IV (DFIV) 的水平。
• 离策评估 (OPE)： 在强化学习设置（CartPole, Mountain Car, Catch）中，该方法展示了鲁棒性。虽然没有一种方法在所有任务中都占据绝对优势，但 Augmented SpecIV 与标准 SpecIV 相比，在应对谱失配方面表现出更强的适应性，特别是在 CartPole 环境中。

意义与主张

本文声称，增强谱特征学习通过确保学习到的表示不仅能预测处理变量，而且与因果结果相关，解决了当前谱方法的一个基本局限。作者强调，这种方法在标准方法因谱失配而失效的机制中提供了鲁棒性。

这项工作被定位为迈向更具自适应性的 NPIV 估计的一步。作者指出，虽然他们目前的方法依赖于秩一增强，但将该框架扩展到更高秩的扰动（例如，使用 $Y$ 的多个函数）仍然是未来研究的一个有前景的方向。文章最后总结道，其方法扩大了谱特征类 NPIV 的适用范围，特别是在目标函数可能动态变化的复杂设置（如离策评估）中。