On Discrete-Time Approximations to Infinite Horizon Differential Games

技术摘要：无限时域微分博弈的离散逼近

问题陈述
本文探讨了无限时域非合作 $N$ 人微分博弈中马尔可夫纳什均衡（MNE）的数值逼近。在此类博弈中，$N$ 个参与者随时间进行策略性互动，其中每个参与者 $i$ 旨在最大化目标泛函 $W_i$，同时受状态动力学方程 $\dot{x} = g(x, u_i, u_{-i})$ 的约束。作者聚焦于状态反馈（马尔可夫）策略，相较于开环均衡，此类策略因其子博弈完美性（时间一致性）而更受青睐。

核心挑战在于，MNE 由一组 $N$ 个耦合的哈密顿 - 雅可比 - 贝尔曼（HJB）方程刻画。由于这些方程具有高度的非线性和维度，除特定的线性 - 二次型或线性状态模型外，通常无法获得解析解。因此，必须采用数值方法。本文研究了这些博弈的离散时间近似和完全离散（时间和状态）近似是否收敛于连续时间解，以及由此产生的离散均衡是否可作为原始连续博弈的有效近似（特别是 $\epsilon$-纳什均衡）。

方法论
作者采用半拉格朗日离散化方法，将动力学的时间离散化与相应的目标泛函离散化相结合。

1. 离散时间近似（半离散）：

   • 将连续时间视界以步长 $h$ 进行离散化。
   • 状态动力学采用前向欧拉方案进行近似：$x_{n+1} = x_n + h g(x_n, u_{i,n}, u_{-i,n})$。
   • 目标泛函采用矩形法则进行近似，并引入离散折扣因子 $\beta_h = 1 - \rho h$。
   • 作者分析了离散值函数向连续值函数的收敛性，并确立了离散博弈的马尔可夫纳什均衡构成了连续博弈的一个 $\epsilon$-纳什均衡。

2. 完全离散近似（时间和状态）：

   • 利用有界多面体 $\Omega$ 的三角剖分，以网格尺寸 $k$ 对状态空间进行离散化。
   • 使用分段仿射函数在网格节点上近似值函数和策略。
   • 利用状态空间上的插值算子（$I_k$）定义辅助博弈，以处理离散状态动力学。
   • 分析依赖于定义一个具有插值策略的辅助连续时间问题，以界定完全离散解与连续解之间的误差。

主要贡献与结果
本文对所提出的离散化方案提供了严格的收敛性证明和误差估计：

• 值函数的一致性： 作者证明，随着时间步长 $h \to 0$（随后在完全离散情形下 $k \to 0$），离散博弈的值函数收敛于连续微分博弈的值函数。
• $\epsilon$-纳什均衡性质：
  • 定理 3 与 6： 证明对于任意 $\epsilon > 0$，存在足够小的离散化参数（$h$ 或 $h, k$），使得离散博弈的马尔可夫纳什均衡成为连续博弈的一个 $\epsilon$-纳什均衡。这意味着在连续设定下，任何参与者单方面偏离离散策略所获得的收益不会超过 $\epsilon$。
  • 定理 4 与 7： 在更强的假设下（特别是关于折扣率 $\rho$ 相对于动力学和成本函数利普希茨常数的条件），作者推导出了显式误差界。结果表明，离散时间情形的近似误差阶为 $O(h)$，而完全离散情形的近似误差阶为 $O(h+k)$。
• 数值实验： 理论结果通过两个示例得到验证：
  1. 跨界污染博弈（线性 - 二次结构），数值结果证实了值函数和策略均具有一阶收敛性。
  2. 兰切斯特型微分博弈（非线性、非二次型），该示例同样展示了随着离散化参数的减小，值函数和策略的收敛性。

意义与主张
本文主张为使用半拉格朗日方法求解复杂非合作微分博弈奠定了理论基础。其主要意义在于证明，计算上可处理的离散均衡不仅仅是数值伪影，而且在数学上保证能以任意精度逼近真实的连续时间均衡。

作者指出，虽然获得显式误差界所需的假设（如条件 $\rho > L$）具有局限性，但在实际应用中通常能够满足，特别是当动力学保持在有界且正不变的域内时。该工作将先前关于单参与者最优控制的结果扩展到了多参与者博弈设定，证明了在存在策略性互动时，半拉格朗日方法依然保持稳健。本文结论认为，这些方法为在解析解不可能的模型中计算马尔可夫纳什均衡提供了一条可行路径。