Global Convergence of a Line-Search Filter Differential Dynamic Programming Method

技术摘要：具有线搜索滤波器的微分动态规划方法的全局收敛性

问题陈述
本文旨在解决求解受状态与控制非线性等式约束以及系统动力学约束的离散时间有限时界最优控制问题（OCP）的挑战。虽然由 Mayne 和 Jacobson 最初提出的微分动态规划（DDP）算法是处理已知局部二次收敛性的无约束 OCP 的成熟方法，但其在约束问题上的应用缺乏形式化的全局收敛保证。以往基于序列二次规划（SQP）或原对偶表述的约束 DDP 变体通常仅提供局部收敛结果，而忽略了全局分析。本研究针对的具体空白是：对于 FilterDDP 算法（一种由 Xu 等人提出的、将 Wächter 和 Biegler 的通用非线性规划（NLP）滤波器方法应用于 DDP 框架的线搜索滤波器方法），目前缺乏严谨的全局收敛性证明。

方法论
作者对集成线搜索滤波器程序的 FilterDDP 算法进行了形式化分析。其核心方法论涉及用 DDP 特有的试探点生成过程取代通用 NLP 滤波器方法中常用的阻尼牛顿步，该过程包含两个阶段：

1. 反向递归（Backward Recursion）： 价值函数近似值与拉格朗日乘子的递归更新。此阶段计算扰动 Hessian 矩阵，并求解线性系统以确定控制量、乘子及状态的更新方向（$\zeta, \beta, \psi, \omega$）。
2. 前向模拟（Forward Simulation）： 基于计算出的更新量和步长 $\alpha$ 生成新轨迹的模拟阶段。至关重要的是，此阶段确保在每次迭代中都满足动力学约束（$x_{t+1} = f(x_t, u_t)$），这是 DDP 固有的特性。

算法利用滤波器机制来接受试探点，在降低拉格朗日函数（作为目标度量）与降低约束违反度量之间取得平衡。步长接受准则包括对“L 型”迭代的拉格朗日函数或约束违反度的充分下降条件，以及在步长过小或约束雅可比矩阵秩亏时调用的可行性恢复阶段。

主要贡献
本研究的主要贡献在于确立了 FilterDDP 算法的全局收敛性。作者通过证明 DDP 特有的反向-前向过程满足 Wächter 和 Biegler 所建立的通用 NLP 线搜索滤波器方法所需的相同分析属性，从而实现了这一目标。

该贡献中的关键技术步骤包括：

• 步骤等价性： 证明当从全局收敛分析的角度观察时，DDP 的反向递归和前向模拟在行为上与应用于 OCP 的 KKT 条件的阻尼牛顿步完全一致。
• 引理推导： 建立了一系列引理（等效于 Wächter 和 Biegler 工作中的引理 1–3），用于界定更新规则、建立非最优可行点的下降性质，并证明更新规则在局部线性化滤波器准则（拉格朗日函数和约束违反度）。
• 内点扩展： 通过障碍内点法将全局收敛分析扩展到处理不等式约束（特别是在 $u_t \geq 0$ 的情况下）。这涉及调整 Hessian 近似，并证明迭代过程始终保持在可行区域边界之外，从而确保障碍目标及其导数始终定义良好。

结果
在满足一组标准正则性与光滑性假设（对于等式约束记为假设 G，对于障碍扩展记为假设 B）的前提下，本文证明了以下收敛性质：

1. 可行性： FilterDDP 生成的迭代序列的极限点是可行的；具体而言，约束违反度 $\theta(w_k)$ 在 $k \to \infty$ 时趋于零。
2. 最优性： 如果迭代序列是有界的，则至少存在一个极限点满足约束 OCP 的一阶最优性条件（KKT 条件）。这通过证明由投影梯度分量定义的临界度 $\chi(w_k)$ 的下极限为零来完成。
3. 障碍收敛性： 对于内点扩展，证明了迭代过程始终均匀地远离不等式约束的边界，从而确保了整个优化过程中障碍函数的有效性。

意义与主张
本文通过正式弥合 FilterDDP 的实际成功与严谨理论保证之间的鸿沟来彰显其意义。作者指出，虽然此前已建立了 FilterDDP 的局部二次收敛性（忽略了步长接受准则），但缺失了全局收敛性分析。通过借鉴 Wächter 和 Biegler 的分析，本文证明了 DDP 结构并不会阻碍滤波器方法的全局收敛特性；相反，反向-前向递归实际上起到了与通用 NLP 背景下牛顿步相同的作用。

作者谦逊地指出，该分析依赖于可行性恢复阶段能够成功终止且算法不会在非 KKT 点处过早停止的假设。此外，论文指出建立 FilterDDP 快速局部收敛性（在不忽略步长接受准则的情况下）仍是一个开放性问题，暗示未来可能需要引入类似于通用 NLP 中的二阶校正步。本文并未提出新的应用或实验基准，而是专注于算法的理论收敛性质。