Clarke Differentials and the Envelope Theorem in Dynamic Programming

技术摘要：动态规划中的 Clarke 微分与包络定理

问题陈述
本文探讨了包络定理在确定性动态规划模型中的应用。在标准优化理论中，包络定理指出，价值函数对参数的导数仅取决于参数对目标函数的直接影响，因为通过最优选择产生的间接影响由于一阶条件而消失。然而，在动态规划中，价值函数 $\bar{V}(x)$ 是内生推导出来的，这使得对其进行外生性的可微性假设变得困难。此外，最优策略函数 $y^*(x)$ 可能并不具备可微性。

以往的文献曾尝试解决这一问题。Benveniste 和 Scheinkman [1] 利用凸分析建立了包络定理，但其结果依赖于强假设，包括定义域的凸性和目标函数的凹性。Mordukhovich 和 Sagara [4] 使用 Clarke 微分将这些结果扩展到了非凸情形和随机模型中。然而，他们的方法要求目标函数是有界的，并且定义在整个空间上。这些假设在标准的经济模型中经常被违反，例如具有恒定相对风险厌恶（CRRA）效用函数的拉姆齐-卡斯-库普曼斯（RCK）模型，这类模型是无界的，且定义在受限定义域（如正实数集）上。

方法论
作者采用来自非光滑分析工具的 Clarke 微分，在显著弱化的假设条件下推导出了包络定理。该方法论包括：

1. 框架： 本文利用一个简化形式的确定性动态规划模型，其中价值函数满足贝尔曼方程：
   $$\bar{V}(x) = \max \{ w(x, y) + \delta \bar{V}(y) \mid y \in \Gamma(x) \}$$
   这里，$X$ 是一个 Banach 空间，$w$ 是目标函数，$\Gamma$ 是约束对应关系，$\delta \in (0, 1)$。

2. Clarke 微分工具： 本文定义了局部 Lipschitz 函数的广义方向导数 $f^\circ(x; v)$ 和 Clarke 微分 $\partial^\circ f(x)$。文中确立了基本性质，包括 Clarke 微分与强可微性之间的关系，并证明了对于凸函数或凹函数，Clarke 微分与标准次微分一致。

3. 正则性条件： 文中引入的一个关键概念是函数的正则性（regularity），即广义方向导数等于经典方向导数。本文利用了“在开凸集上的凹函数是正则的”这一事实。

4. 证明策略： 主定理（定理 3）的证明过程如下：

   • 在不假设 $w$ 全局有界的情况下，确立价值函数 $\bar{V}$ 在点 $\bar{x}$ 附近是局部 Lipschitz 连续的。
   • 利用策略对应 $G(x)$ 的上半连续性和约束集的紧致性，构造收敛至最优路径的序列。
   • 将 Clarke 微分的定义应用于贝尔曼方程，从而通过 $w$ 关于状态变量的偏 Clarke 微分来限定 $\bar{V}$ 的广义导数。

主要贡献与结果
主要贡献在于 定理 3，它在满足许多标准经济模型条件的条件下，为确定性动态规划模型建立了包络定理。

• 放宽的假设： 与 Mordukhovich 和 Sagara [4] 不同，定理 3 不要求目标函数 $w$ 有界，也不要求其定义在整个空间 $X^2$ 上。与 Benveniste 和 Scheinkman [1] 不同，它不要求定义域是凸的，也不要求目标函数是凹的（尽管凹性意味着局部 Lipschitz 连续性和正则性，这足以满足要求）。
• 主要结果： 在 $w$ 是局部 Lipschitz 连续、在最优点处正则，且策略对应满足特定连续性和非空交集属性的假设下，价值函数 $\bar{V}$ 是局部 Lipschitz 连续的，且其 Clarke 微分满足：
  $$\partial^\circ \bar{V}(\bar{x}) \subset \partial^\circ_x w(\bar{x}, \bar{y})$$
  其中 $\bar{y} \in \text{cl} G(\bar{x})$。
• 推论 2： 如果目标函数是强可微的，则价值函数也是强可微的，且该包含关系变为涉及强导数的等式。

意义与范围
本文声称其结果具有重要意义，因为其适用范围比以往可能涵盖的模型更广。具体而言，作者展示了该定理适用于具有 CRRA 效用函数（包括对数情形）的 RCK 模型以及 Cobb-Douglas 或 AK 生产技术。这些模型具有无界效用函数和限制在正实数域上的定义域，这违反了 Mordukhovich–Sagara 的有界性和全空间假设，也违反了 Benveniste–Scheinkman 的凸性要求。

作者指出，虽然定理 1（Benveniste–Scheinkman）适用于标准的凹模型，但定理 3 对于那些约束集或目标函数缺乏凸性的模型（例如，存在破坏凹性的政府支出规则的模型）或目标函数无界的模型是必要的。本文结论认为，定理 3 为在无法保证可微性和凸性的“自然经济情境”中推导包络定理提供了一个稳健的工具。