📈 economics

Debiased Machine Learning: Identification, Estimation, and Shape Constraints

本文建立了一个用于识别和估计自动去偏机器学习中 Riesz 表示元的通用框架，使得在处理内生性问题时能够使用深度神经网络等灵活模型，同时通过引入形状约束来提高精度并缓解维度灾难。

原作者： Qihui Chen, Ka Yan Cheng, Zheng Fang

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Qihui Chen, Ka Yan Cheng, Zheng Fang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图在一个快速扩张、以至于无法追踪每一栋建筑、每一条街道或每一个人的城市中破解谜团的侦探。在数据科学的世界里，这个“城市”就是我们今天收集的海量信息，通常被称为“大数据”。侦探的工作是在这种混沌中寻找一个特定的真相，比如弄清楚一项新政策究竟如何改变了人们的生活。为了做到这一点，他们通常必须先绘制出一张城市的地图（估计一个“干扰”参数），然后才能找到隐藏的真相。但问题在于，现代绘图工具——如强大的机器学习算法——非常擅长记忆城市的细节，以至于它们有时会产生混乱，开始看到并不存在的模式。这就像一个学生背下了练习题的所有答案，却因为没有理解概念而在真正的考试中失败了。这篇论文解决的正是一个这样的问题：如何使用这些超级聪明、有时又过于自信的机器学习工具，在不被自己的错误所误导的情况下找到真相。

这篇名为《去偏机器学习：识别、估计与形状约束》（Debiased Machine Learning: Identification, Estimation, and Shape Constraints）的论文，是一本修复这些错误的指南。作者 Qihui Chen、Ka Yan Cheng 和 Zheng Fang 提出了一种巧妙的新方法来使用机器学习，它就像是这些工具所犯错误的“修正液”。他们展示了即使在数据杂乱、高维且涉及复杂的因果纠缠（例如，一个人的选择会影响其产生的数据）的情况下，我们仍然可以找到正确的答案。他们引入的秘诀是“形状约束”。把这想象成给侦探一本基于常识或经济理论的规则手册——比如，你知道如果一个人变得更富有，他可能不会突然变穷；或者一条代表成本函数的曲线应该以特定的方式弯曲。通过强制机器学习模型遵守这些逻辑规则，作者表明我们可以获得更精准、更准确的结果，即使在面对压倒性的数据时也是如此。

问题所在：过度自信的制图者

想象一下，你正在尝试测量一种新药的效果。你拥有一个庞大的患者数据集，但你还必须考虑成千上上个其他因素，如饮食、睡眠和遗传。机器学习非常擅长处理所有这些因素，但它有一个坏习惯：它倾向于“过拟合”。这意味着它太擅长描述研究中的特定患者，以至于开始将随机噪声视为真实的模式。当你试图利用这张过度自信的地图来衡量药物的效果时，你的结果就会产生偏差——它是错误的，而且你喂给它的数据越多，它可能就会变得越确定地错误。

作者称之为“维度之咒”。这就像是在一个不断扩大的干草堆中寻找一根针。标准方法在这里往往会失效。这篇论文建立在一种称为“去偏机器学习”（DML）的技术之上，该技术试图通过拆分数据来解决这个问题：用一部分数据来构建地图，用另一部分数据来衡量效果。然而，拼图中还缺少一块：一个被称为“Riesz 表示子”（Riesz representer，我们可以称之为“魔法钥匙”）的数学对象。我们需要这把钥匙来完美地抵消机器学习地图所产生的误差。问题在于，这把钥匙通常非常复杂，以至于没人知道它长什么样，或者如何写出它的表达式。

突破：在看不见的情况下找到“魔法钥匙”

本文的第一大贡献是弄清楚了这个“魔法钥匙”在何时以及如何存在，即使我们不知道它的形状。作者证明了，如果这个钥匙能解出一个特定类型的优化问题，那么它就是唯一的。这就像是在一片大雾弥漫的山脉中寻找最高峰。你可能看不见整座山，但如果你知道地形的规则（即“二次泛函”），你就可以确定只有一个最高点。作者表明，这个“魔法钥匙”恰恰就是那个最高点。这是一个重大进展，因为这意味着我们不需要预先知道钥匙的公式；我们只需要知道游戏的规则，计算机就可以自动为我们找到这把钥匙。

他们还将此扩展到了处理“内生性”问题，这是一个专业术语，指的是“当事物交织在一起时”。例如，如果你想知道教育是否导致了更高的工资，但聪明的人也更有可能接受更多教育，那么数据就是纠缠在一起的。论文展示了即使在涉及机器学习工具的情况下，只要我们拥有正确的“魔法钥匙”，我们该如何解开这个结。

秘密武器：形状约束

论文的第二部分，也是最令人兴奋的部分，是他们如何利用“形状约束”来使结果变得更好。机器学习很强大，但它可能是一匹向任何方向奔跑的野马。作者建议给这匹马围上一道“篱笆”。这些篱笆是基于经济理论或常识的规则。例如，我们知道随着一个人的收入增加，他们在基本生活必需品上的支出通常也会增加，而不是减少（单调性）。或者，我们知道生产更多物品的成本通常会呈上升曲线（凸性）。

通过强制机器学习模型留在这些篱笆之内，作者表明模型不必进行过多的猜测。这就像告诉一个学生：“你知道答案是正数，所以别费劲去计算负数了。”这减轻了“维度之咒”，因为模型可以探索的错误路径减少了。论文证明，添加这些约束不仅让模型看起来更合理，实际上还使最终答案更加精确，并且使置信区间（即真实答案可能存在的范围）更加紧凑。

理论测试：模拟与现实生活

为了证明他们的想法有效，作者进行了数千次计算机模拟。他们创建了已知真实答案的虚拟世界，然后尝试使用他们的新方法来寻找答案。他们测试了两种场景：一种是数据比较直接的（外生性），另一种是数据杂乱且纠缠的（内生性）。

在模拟中，他们发现当添加形状约束（如强制模型具有单调性或凸性）时，估计值变得更加准确。例如，在一个涉及“非参数工具变量”模型（一种非常困难的纠缠数据类型）的测试中，未受约束的方法难以找到正确答案，其覆盖率（即真实答案落在估计范围内的频率）低至 10%。但当他们加入形状约束后，覆盖率跃升至接近 95%，这是统计可靠性的金标准。偏差（误差）也显著下降。

他们并未止步于模拟，还将方法应用于两个现实世界的问题。

医疗补助与死亡率： 他们观察了扩大医疗补助（医疗保险）如何影响不同美国州的死亡率。使用他们的形状约束方法，他们发现扩大计划很可能降低了死亡率，且结果比标准方法更精确。约束条件帮助他们即便在各州实施计划的时间存在复杂滞后性的情况下，也能更信任数据。
工作时长与工资： 他们调查了工作时间增加是否会导致工资增长加快。经济理论表明，这种关系可能是“凸性”的（意味着随着工作时间增加，额外工作的收益可能会增加）。当他们施加这种凸性约束时，结果与不受约束的方法相比发生了微小的变化，这表明这种关系确实很微妙，并且约束条件有助于精炼估计值。

总结

这篇论文不仅提供了一个新工具，它还提供了一种关于如何将人工智能应用于科学的新思维方式。它认为，虽然机器学习功能极其强大，但它需要人类逻辑的辅助。通过在数学上证明如何找到“魔法钥匙”（Riesz 表示子），并展示如何围绕学习过程建立“篱笆”（形状约束），作者提供了一个稳健的框架，用于从杂乱的高维数据中获取准确答案。

作者谨慎地指出，虽然他们的方法在模拟和这些特定的现实案例中表现良好，但它是一种改进工具，而非瞬间解决所有问题的魔杖。他们指出，形状约束起到了一种“正则化”的作用，帮助模型学习得更快、更准确，尤其是在数据稀缺或复杂的情况下。最终，这项工作架起了原始算法的力量与经济理论的结构化智慧之间的桥梁，确保当我们利用大数据做出决策时，我们不仅仅是在猜测——我们是在寻找真相。

技术摘要：具有识别、估计与形状约束的去偏机器学习

1. 问题陈述

本文探讨了在参数 $\theta_0$ 由涉及高维扰动参数 $\gamma_0$ 的矩条件确定的设定下的统计推断挑战。虽然去偏机器学习（DML）框架（例如 Chernozhukov 等人，2018, 2022a）已成功缓解了此类设定中的正则化和过拟合偏差，但这些框架依赖于一个额外的扰动参数 $\alpha_0$ （即 Riesz 表示子，Riesz representer）来实现正交性。

现有文献在一般层面上尚未对 $\alpha_0$ 的识别问题进行充分开发，特别是在以下情形下：

第一步扰动 $\gamma_0$ 由具有内生性的模型（如非参数工具变量 (NPIV) 模型）定义时， $\alpha_0$ 的参数空间是未知的。
扰动 $\gamma_0$ 受制于源自经济理论的非线性形状约束（如单调性、凸性）。
$\gamma_0$ 的参数空间是非线性的，这使得标准的线性筛分（linear sieve）逼近变得复杂。

此外，尽管机器学习可以处理高维问题，但在最优收敛速率方面仍受“维度诅咒”的影响。本文认为，引入经济形状约束可以作为一种结构性正则化手段，在不牺牲非参数方法灵活性的同时，提高估计精度。

2. 研究方法

2.1 一般框架与识别

作者在一个广义矩估计（GMM）框架内开展工作，其中 $\theta_0$ 满足 $E[g(X, \theta, \gamma_0)] = 0$ 。使用第一步影响函数 $\phi(X, \theta, \gamma, \alpha)$ 来使矩条件正交化。该方法的核心在于建立使 $\alpha_0$ 被唯一识别的条件。

识别条件： 本文建立了一种条件，即如果与影响函数导数相关的双线性形式 $\Upsilon_0$ 是强制的（coercive），则 $\alpha_0$ 是可识别的。研究表明，在特定意义上，该条件既是充分的也是必要的。
二次特征化： 一个关键的理论贡献是证明了 $\alpha_0$ 当且仅当它唯一优化了一个二次泛函 $C_0(\alpha)$ 时是可识别的。具体而言， $\alpha_0$ 是参数空间 $A_0$ 上的极小化（或极大化）问题的唯一解：
$C_0(\alpha) \equiv \frac{1}{2}\Upsilon_0(\alpha, \alpha) + \Psi_0(\alpha)$
至关重要的是，该优化过程仅取决于原始矩限制和影响函数的泛函形式，而不依赖于 $\alpha_0$ 本身的解析表达式。这实现了“自动”估计。

2.2 估计：带有形状约束的 Riesz 回归

作者提出了一种称为 Riesz 回归 的估计程序，通过在筛分空间（sieve space）上最小化 $C_0(\alpha)$ 的经验对应物来估计 $\alpha_0$ 。

自动估计： 该程序不需要用户知道 $\alpha_0$ 的闭式解。它仅需要了解矩函数 $g$ 和影响函数 $\phi$ 。
处理内生性： 当 $\gamma_0$ 由内生条件（如 NPIV）定义时，连接 $\gamma$ 空间与 $\alpha$ 空间的映射 $\Pi_0$ 是未知的。作者开发了一个两阶段程序，其中 $\Pi_0$ 被估计（例如通过非参数回归或深度学习）并纳入筛分构造中。
引入形状约束： 为了缓解维度诅咒，该框架将 $\gamma_ 0$ 限制在由形状约束（如单调性、凸性）定义的集合 $\Gamma$ 中。这些约束被嵌入到估计器的参数空间中。作者利用特定的神经网络架构（例如具有非负权重和交替激活函数的单调网络；使用 max-affine 子网的凸网络）通过构造方式来强制执行这些约束。

2.3 渐近理论

作者推导了估计器 $\hat{\alpha}_n$ 的收敛速率以及最终去偏 GMM 估计器 $\hat{\theta}_n$ 的渐近正态性。

收敛速率： 收敛速率取决于筛分空间的临界半径（与经验过程的连续模相关）以及扰动参数（ $\hat{\gamma}$ 和 $\hat{\alpha}$ ）的估计误差。
交叉拟合（Cross-Fitting）： 采用了标准的 DML 交叉拟合技术，以消除过拟合带来的偏差。
条件： 该理论依赖于温和的平滑性假设、双线性形式的强制性以及筛分空间（包括深度神经网络）的特定逼近性质。

3. 主要贡献

Riesz 表示子的识别： 本文为自动 DML 提供了关于 $\alpha_0$ 识别的首个一般性条件，特别解决了具有内生第一步和非线性参数空间的情形。文章证明了当且仅当 $\alpha_0$ 唯一优化一个二次泛函时，识别才会发生。
广义 Riesz 回归： 作者将 Riesz 回归扩展到了第一步 $\gamma_0$ 由具有内生性（如 NPIV）的模型定义的场景，以及参数空间为非线性的场景。他们推导了使用惩罚优化和非线性筛分（如神经网络）的估计器的收敛速率。
集成形状约束： 本文开发了一个框架，将经济形状约束（单调性、凸性）直接嵌入到 $\alpha_0$ 和 $\gamma_0$ 的 DML 估计中。这种方法将形状约束视为一种正则化形式，用以提高高维环境下的估计精度。
通过深度学习实现： 作者展示了如何利用现代深度学习架构来实施这些约束，这些架构通过构造保证了单调性或凸性，而非通过后处理实现。

4. 结果

4.1 模拟研究

作者在两种设定下进行了蒙特卡洛模拟：

平均处理效应（外生第一步）： 在高维设定（ $d_z=40$ ）下，对第一步估计器施加单调性和凹性约束显著降低了偏差和均方误差（MSE），同时保持了接近标称水平的覆盖概率。随着约束条件的增加，收益也随之增加。
NPIV 回归的泛函（内生第一步）： 在一个具有挑战性的高维逆问题（ $d_c=d_f=5$ ）中，无约束的 DML 无法实现准确的覆盖（通常低于 10-50%）。施加单调性约束显著改善了覆盖率（上升至 50-80%，取决于维度，甚至接近 95%）并降低了偏差和 MSE。这表明形状约束对于解决高维逆问题至关重要。

4.2 实证应用

Medicaid 扩张与死亡率（双重差分法）： 作者利用县级数据重新分析了 Medicaid 扩张对死亡率的影响。基于“死亡率随贫困程度增加而增加，随收入增加而减少”这一制度性知识，他们施加了单调性约束。形状约束 DML（SDML）估计值与标准 DML 及参数基准相比，显示出不同的量级和统计显著性，特别是在较晚的扩张队列中，这表明形状约束可能会改变实质性的结论。
工作时长与工资增长： 利用 GMAT 面板数据，作者估计了工资增长相对于工作时长的加权平均导数，并基于经济理论施加了凸性约束。结果显示出一种微弱的、通常在统计上不显著的正相关关系，这与文献中关于非线性和异质性回报的描述一致。在此特定应用中，SDML 估计比无约束 DML 更不精确，但仍符合凸性的理论预期。

5. 意义与主张

本文声称提供了一个统一且透明的框架，用于实现自动 DML，从而架起了灵活的机器学习与结构经济理论之间的桥梁。

理论基础： 它填补了文献中的空白，建立了 $\alpha_0$ 的识别条件，而此前该条件在内生设定中被认为是理所当然的或仅限于线性外生设定。
实用价值： 通过整合形状约束，本文为 DML 中的“维度诅咒”提供了解决方案，允许研究人员利用经济理论来提高估计精度，而不必退回到限制性的参数模型。
普适性： 该框架适用于广泛的因果和结构性问题，包括具有内生回归变量和复杂非线性扰动参数的问题。

作者强调，即使不考虑形状约束，其研究结果本身也具有新颖性，特别是在处理内生设定下的 $\alpha_0$ 识别方面。他们将这项工作定位为使 DML 在高维计量经济分析中更加稳健且具有更强理论基础的重要一步。