技术摘要：具有公共自由终止时间的连续时间协方差控制

1. 问题阐述

本文研究了在给定初始和终止协方差矩阵之间，对连续时间随机线性时不变（LTI）系统进行协方差控制的最优公共自由终止时间问题。

该系统由以下随机微分方程（SDE）描述：
$$d\mathbf{x}(t) = (A\mathbf{x}(t) + B\mathbf{u}(t))dt + \Gamma d\mathbf{w}(t)$$
其中 $\mathbf{x}(t) \in \mathbb{R}^n$ 是状态，$\mathbf{u}(t) \in \mathbb{R}^m$ 是控制，$\mathbf{w}(t)$ 是标准布朗运动。目标是寻找一个控制策略 $\mathbf{u}(\cdot)$ 和一个公共终止时间 $t_f > 0$，以最小化期望代价：
$$J(t_f, \mathbf{u}(\cdot)) = \mathbb{E}\left\{ \frac{1}{2} \int_0^{t_f} [\varpi + \mathbf{x}(t)^T Q \mathbf{x}(t) + \mathbf{u}(t)^T R \mathbf{u}(t)] dt \right\}$$
受限于边界条件 $\mathbf{x}(0) \sim \mathcal{N}(0, \Sigma_0)$ 和 $\mathbf{x}(t_f) \sim \mathcal{N}(0, \Sigma_f)$。

与终止时间 $t_f$ 固定的标准协方差控制（CS）问题不同，本公式将 $t_f$ 视为决策变量。作者强调，在航天器机动、机器人运动规划和多智能体重构等应用中，预先固定 $t_f$ 可能会导致效率低下或过于保守，因为在这些场景中，任务持续时间是一个关键的设计变量。

2. 方法论

确定性重构

作者首先证明，随机问题的最优控制存在线性状态反馈表示 $\mathbf{u}^*(t) = K^*(t)\mathbf{x}(t)$。这使得随机最优控制问题（SOCP）可以重构为一个仅涉及协方差矩阵 $\Sigma(t)$ 的确定性最优控制问题（OCP）：
$$\dot{\Sigma}(t) = (A + BK(t))\Sigma(t) + \Sigma(t)(A + BK(t))^T + D$$
其中 $D = \Gamma\Gamma^T$。代价泛函变为确定性的，仅取决于协方差的迹和控制增益。

最优性条件与哈密顿零点

通过对确定性重构后的问题使用庞特里亚金极大值原理（PMP），作者推导出了最优性的必要条件。其中的一个核心贡献是推导了针对自由终止时间的哈密顿横截条件。
令 $\mathcal{H}_{t_f}(\Sigma, \Pi)$ 为与协方差及共状态 $\Pi$ 相关的哈密顿量。对于候选最优终止时间 $t_f^*$，横截条件要求：
$$\mathcal{H}_{t_f^*}(\Sigma(t), \Pi(t)) = 0 \quad \forall t \in [0, t_f^*]$$
作者将满足此条件的候选终止时间定义为哈密顿零点（Hamiltonian-zeros）。他们区分了以下两种情况：

1. 有限哈密顿零点： $t_f^* < \infty$。
2. 渐近哈密顿零点： 该条件仅在 $t_f \to \infty$ 时趋于满足。

渐近分析：门道与连接

为了表征解在 $t_f \to \infty$ 时的行为，论文引入了两个新概念：

• 渐近门道（Asymptotic Gateways, AG）： 一个由平稳协方差状态 $\Sigma_s$ 组成的集合 $\mathcal{G}_\infty$，这些状态满足未控制的李雅普诺夫方程（$A\Sigma_s + \Sigma_s A^T + D = 0$）且产生的运行代价为零（$\text{trace}(Q\Sigma_s) = 0$）。
• 渐后连接（Asymptotic Connections, AC）： 有限时界最优解的极限轨迹，这些轨迹趋向于 $\mathcal{G}_\infty$，在其邻域内保持稳定（转折点行为/turnpike behavior），然后离开以满足终止约束。

作者证明，当且仅当 $\varpi = 0$ 且 $\mathcal{G}_\infty$ 非空时，存在渐近哈密顿零点。如果 $\mathcal{G}_\infty$ 为空（例如 $\varpi > 0$ 或 $Q \neq 0$），则保证存在有限的最优终止时间。

数值算法

利用哈密顿量对 $t_f$ 的敏感性，作者开发了一种置信域线搜索算法。该算法：

1. 迭代更新 $t_f$ 以寻找哈密顿量的零点。
2. 计算解析敏感性（针对特定扩散结构）或数值敏感性。
3. 包含一个检测模块（Detector module），用于识别轨迹是否接近渐近门道，从而区分有限时间收敛与最优时间趋于无穷大的渐近机制。

3. 主要贡献

该论文声称其技术贡献如下：

• 首次系统性研究： 提供了对一般随机 LTI 设置下，具有共同自由终止时间的连续时间协方差控制的首次系统性处理。
• 横截条件： 通过确定性重构，推导出了正确的针对公共终止时间的哈密顿横截条件，解决了经典随机极小值原理无法提供自由终止时间必要条件的空白。
• 有限性与渐近性： 建立了有限最优终止时间存在的充分条件，并阐明了最优时间可能仅在渐近意义下趋于无穷的机制（通过渐近门道）。
• 转折点解释： 引入了渐近门道和渐后连接，用以描述控制长时界最优轨迹的不变结构，为长时界机制提供了转折点（turnpike）类型的解释。
• 算法求解： 提出了一种能够检测有限最优时间及无穷时界解机制的置信域算法，并通过数值算例进行了验证。

4. 结果与数值算例

作者通过三个算例验证了其理论和算法：

1. 噪声强度的影响： 一个二维示例，展示了三种行为：
   • 收敛至有限最优 $t_f$（当 $Q=I$ 时）。
   • 向无界渐近门道收敛（当 $Q=0$ 且系统模态趋于临界稳定时）。
   • 向奇异渐近门道收敛（当扩散过程接近奇异时）。
2. 航天器机动： 展示了在克洛西-威尔斯-希尔（CWH）动力学下，对副航天器协方差进行控制的过程。算法成功处理了不同的 $t_f$ 初始猜测，包括哈密顿敏感性几乎为零（平坦区域）的情况，展现了鲁棒性。
3. 高斯混合模型（GMM）控制： 将应用扩展到将一个高斯混合模型引导至目标高斯混合模型。作者定义了**“同步代价”（Price of Synchronization）**，即强制执行所有混合成分的公共终止时间与允许每个成分对拥有各自最优终止时间之间的代价差距。结果表明，公共时间约束可能会增加成本（例如在示例中增加了 14%），而当混合成分合并时，这一差距会缩小。

5. 意义与主张

论文将该工作定位为对不确定性感知控制（如航天、机器人等安全关键领域）的必要进展，在这些领域中，任务持续时间本身就是一个性能指标。

• 理论洞察： 它阐明了自由终止时间问题是“微妙的”，表现出固定时界问题中所不存在的现象，如短时界奇异性和长时界转折点行为。
• 实际效用： 所提出的框架避免了人为固定 $t_f$ 导致的低效，并提供了一种机制，用于检测问题是否对于有限时间解是不适定的（即最优解需要无穷时界）。
• 泛化性： 该公式为更一般的分布控制问题提供了自然的扩展，例如允许不同成分具有不同的到达时间，从而避免“同步代价”。

作者对未来的工作保持谦逊，指出将这些结果扩展到更弱的假设（例如放宽可控性假设或存在固定的渐近极限）仍是一个开放的研究领域。