📈 economics

Lagrange multipliers in Maximum likelihood estimations and Least squares problems with Constraints

本文证明了约束最大似然估计和最小二乘法中的拉格朗日乘子会随着样本量的增加而收敛于零，这一统计学见解不仅证明了以零作为优化算法初始值的合理性，也解释了惩罚类方法在包括深度学习在内的高维场景下的实际成功原因。

原作者： Takeshi Fukasawa

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Takeshi Fukasawa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂的解释，通过类比使概念更加清晰。

核心思想：“幽灵”乘子

想象你正在尝试为一辆送货卡车寻找最佳路线（这就是你的优化问题）。你想节省最多的燃料（最小化成本），但你必须遵守严格的规则：你必须行驶在高速公路上（等式约束），并且不能驶入公园（不等式约束）。

在数学中，为了解决这个问题，我们使用一种叫做**拉格朗日乘子（Lagrange multipliers）**的工具。把这些乘子想象成“幽灵力量”或看不见的手，如果卡车试图偏离高速公路，这只手就会将其推回原位。如果卡车完美地行驶在高速公路上，这只手就不需要用力推；如果卡车偏离得远，这只手就会推得更用力。

论文的发现：
作者深泽武（Takeshi Fukasawa）研究了当你拥有海量数据（比如数百万次送货行程）时会发生什么。他发现了一个令人惊讶的统计学秘密：当你拥有大量数据且模型正确时，这些“幽灵之手”几乎完全处于放松状态。

事实上，随着数据量的增加，这些幽灵之手的强度（即拉格朗日乘子）会不断缩小，直到它们基本上趋于零。

为什么会这样？（两种场景）

论文探讨了我们使用数据的两种常见方式：

极大似然估计 (MLE)： 想象你正试图根据成千上万张照片来猜测云朵的形状。如果你的猜测与真实的云朵完美契合，那么“误差”就是零。论文认为，如果你的模型是正确的，那么维持规则所需的“幽灵之手”就是零，因为解自然而然地落在了它应该在的位置。
最小二乘法 (LS)： 想象你正在一条散点图的圆点中画一条线。如果这些点围绕着这条线随机分布（就像雨水垂直落下一样），且你有足够的点，那么你画出的线自然会满足你的规则，而不需要来自幽灵之手的沉重“推力”。

深度学习的转折：
通常情况下，这种逻辑只有在你拥有比变量更多的观测点时才成立（比如照片的数量多于描述云朵特征的数量）。但论文指出，这也适用于深度学习（在这种情况下，你可能有数十亿个变量，但数据点相对较少），前提是这个人工智能确实具备良好的泛化能力（即对新数据能做出正确的预测）。如果 AI 表现出色，那么“幽灵之手”依然是微弱的。

这对计算机算法意味着什么？

这一发现改变了我们指导计算机解决这些问题的方式。以下是两个主要结论：

1. 从零开始（“空手”策略）

许多高级算法（如增广拉格朗日法或内点法）需要一个关于“幽灵之手”应该推多大的初始猜测值。

旧方法： 随机猜测一个数字，或者尝试计算一个复杂的初始值。
新方法（基于本论文）： 直接从零开始。
类比： 想象你正在尝试用手平衡一把扫帚。如果你知道这把扫帚本身很稳，你就不需要一开始就用力向某个方向推。你只需要稳稳地握住手（零作用力）即可。
结果： 论文在回归（预测数值）和经济模型等领域进行了实验。在几乎所有案例中，从零开始都比从任何其他数字开始让计算机解决问题的速度更快，且步骤更少。

2. 为什么“软性”规则有效（惩罚技巧）

有时，我们并不强制要求计算机严格遵守规则，而是如果违反规则，就在得分中减去一定的“惩罚”。这被称为“软约束”。

类比： 想象一位严厉的老师说：“如果你说话，就要接受留校察看”（硬约束）。而一位较温和的老师会说：“如果你说话，就要扣掉 10 分”（惩罚）。
洞察： 通常人们认为你需要一个巨大的惩罚才能让学生听话。但本文指出：如果“幽灵之手”自然很弱（接近于零），你就不需要巨大的惩罚。 一个适度的惩罚就足以得到正确答案。
为什么重要： 巨大的惩罚往往会让计算机感到困惑并导致计算不稳定。了解“适度惩罚就足够了”这一事实，解释了为什么这些“软性”方法在物理信息神经网络（PINNs）等复杂领域中表现得如此出色。

总结

这篇论文连接了两个世界：统计学（数据如何表现）和数值优化（计算机如何解决问题）。

它证明了在大型、表现良好的数据集中，用于执行规则的数学“力量”自然是非常微弱的。因此，在编写计算机程序来解决这些问题时：

将初始力设为零。 这既节省时间，又有统计学依据。
使用适度的惩罚。 你不需要用巨大的惩罚来压制系统才能获得好的结果。

这是一个让复杂算法运行得更顺畅的简单规则，并且得到了大数据数学理论的支持。

技术摘要：约束极大似然估计与最小二乘法中的拉格朗日乘子

问题陈述

本研究探讨了约束极大似然估计（MLE）与最小二乘（LS）问题的数值优化问题。这些问题广泛存在于从机器学习（约束回归、物理信息神经网络）到计量经济学（结构估计、动态离散选择模型）等诸多领域。

核心关注点在于这些约束优化设置中拉格朗日乘子（ $\lambda$ ）的行为。虽然数值算法（如增广拉格朗日法 ALM、序列二次规划 SQP 和内点法 IP）需要为这些乘子设定初始值，但这些初始值的选择通常是启发式的。本文研究了底层估计问题的统计特性是否可以为初始化这些乘子提供理论基础，特别是在大样本理论和现代高维应用（如深度学习）的背景下。

研究方法

本文结合渐近统计理论与数值分析来推导拉格朗日乘子的性质。

1. 理论推导

作者分析了如下约束优化问题：
$\min_{\theta} Q(\theta) = \frac{1}{N} \sum_{i=1}^N q(w_i; \theta) \quad \text{s.t.} \quad g_E(\theta) = 0, \quad g_I(\theta) \leq 0$
其中 $Q(\theta)$ 是目标函数（对于 MLE 为负对数似然，对于 LS 为残差平方和）。

利用卡罗什-库恩-塔克（KKT）条件，特别是平稳性条件：
$\nabla_\theta Q(\hat{\theta}) + \hat{\lambda}^T \nabla_\theta g(\hat{\theta}) = 0$
作者推导了估计的拉格朗日乘子（ $\hat{\lambda}$ ）在样本量 $N \to \infty$ 时的渐近行为。

对于 MLE： 假设模型是正确指定的（ $f(\cdot; \theta^*) = f^*(\cdot)$ ），目标函数 $Q(\theta)$ 收敛于 Kullback-Leibler 信息准则（KLIC）。在正确指定的条件下，最小 KLIC 为零。作者证明了 $\nabla_\theta Q(\hat{\theta}) = O_p(N^{-1/2})$ 。因此，由于约束梯度是非奇异的（在标准正则条件下）， $\hat{\lambda} = O_p(N^{-1/2})$ 。
对于 LS： 假设残差服从正态分布，最小二乘问题等价于一个 MLE 问题。同样的逻辑也适用，得出 $\hat{\lambda} = O_p(N^{-1/2})$ 。
高维扩展： 本文将这一推理扩展到参数数量可能超过样本量的深度学习设置（例如 PINNs）。该论证依赖于以下条件：泛化性能良好（即经验解 $\hat{\theta}$ 接近总体极小值 $\theta^*$ ）且误差分布近似正态。在这些条件下， $\hat{\lambda}$ 仍保持接近于零。

2. 数值实验

为了验证理论含义，作者使用以下工具进行了 Julia 语言下的数值实验：

增广拉格朗日法 (ALM)
内点法 (IP)（通过 IPOPT 软件包）

实验设置：

约束回归： 带有非线性范数约束（ $\|\theta\|_2^2 = b$ ）的线性回归和逻辑回归。
动态离散选择 (DDC) 模型： 估计一个巴士发动机更换模型（计量经济学中的标准基准），该模型包含源自贝尔曼方程的等式约束以及参数定义域上的不等式约束。

实验通过改变初始拉格朗日乘数值（ $\lambda_0$ ）来观察其对收敛速度（主迭代次数、目标函数评估次数和 Hessian 矩阵评估次数）的影响。

主要贡献

零初始化的统计合理性： 本文为在约束 MLE 和 LS 问题中将拉格朗日乘子初始化为零（ $\lambda_0 = 0$ ）提供了正式的统计依据。研究表明，在模型正确指定（MLE）或残差服从正态分布（LS）的情况下，真实的乘子会随着样本量的增加而趋于零。
向高维设置的扩展： 作者认为，即使在现代深度学习应用（其中 $p > N$ ）中，只要模型实现了良好的泛化性能且残差近似正态，这一性质依然成立。
算法启示：
- 初始化： 选择 $\lambda_0 = 0$ 不仅仅是一种启发式做法，而且在减少 ALM、SQP 和 IP 方法的迭代次数方面具有统计最优性。
- 惩罚方法： 乘子较小的量级解释了为什么基于惩罚的方法（将约束问题转化为无约束问题）在实践中通常表现良好。精确约束解与惩罚解之间的差异与 $\hat{\lambda}$ 的大小成正比。

结果

数值实验支持了理论主张：

约束回归： 在线性回归和逻辑回归任务中，初始化 $\lambda_0 = 0$ 与非零初始化（如 $\lambda_0 = \pm 1, \pm 10$ ）相比，始终能产生最少的迭代次数和目标函数评估次数。
DDC 模型估计： 在复杂的巴士发动机更换模型的结构估计中， $\lambda_0 = 0$ 的表现优于任意非零值以及 IPOPT 求解器的“默认”设置（后者包含了保护策略）。具体而言，对于全数据集（ $N=8260$ ），零初始化所需的客观函数评估次数更少（21.7 对比默认值的 22.2），Hessian 评估次数也更少（17.8 对比 17.7，尽管平均迭代次数略低）。
稳定性： 使用零进行初始化通常能在不同的随机种子和数据集配置下实现更稳定的收敛。

重要性与主张

本文声称，拉格朗日乘子趋于零的观察结果在统计理论中早已得到认可（引用了关于假设检验的前期研究），但在数值优化领域却鲜有明确关注。

这项工作的意义在于弥补了这一差距：

它为一种常见的实践启发式方法（设置 $\lambda_0 = 0$ ）提供了统计学上的合理依据，超越了权宜之计的选择。
它表明，在这些特定的统计语境下，基于惩罚的方法之所以有效，是因为强制执行约束所需的“真实”惩罚自然很小（因为乘子很小）。
作者将这一洞察定位为开发更高效、专门针对 MLE 和 LS 问题的数值算法的基础，并指出以往经济学中的算法（如 SLC, NPL, EPL）可能已经隐式地利用了这一特性。

本研究的研究范围保持适度，专门针对 MLE 和 LS 问题而非通用的约束随机优化问题，并承认虽然零初始化启发式在统计上是合理的，但初始参数向量 $\theta_0$ 的选择对于收敛同样至关重要。