⚡ electrical engineering

Sub-optimality bounds for certainty equivalent policies in partially observed systems

本文通过允许任意状态估计，将确定性等价原理推广至非线性部分观测随机系统，并针对具有光滑动力学和代价的模型，推导了由此产生的次优性的上界。

原作者： Berk Bozkurt, Aditya Mahajan, Ashutosh Nayyar, Yi Ouyang

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Berk Bozkurt, Aditya Mahajan, Ashutosh Nayyar, Yi Ouyang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在浓雾中开车。你看不清前方的路况（系统的状态），但你能看到仪表盘的灯光并听到引擎的声音（观测值）。你需要决定何时转向、刹车或加速，以便安全且快速地到达目的地。

在机器人学和人工智能领域，这被称为部分可观测系统（Partially Observable System）。“完美”的驾驶方式应该是每一秒都精确知道自己在哪里，但因为你在浓雾中，你必须进行猜测。

这篇论文探讨了处理这种猜测的一种非常常见且实用的方法，称为确定性等价策略（Certainty Equivalent Policy）。

核心思想：“假装你很确定”

作者研究的是一种许多工程师已经在直觉中使用的策略：

猜测你的位置： 利用传感器对你的位置做出最佳猜测（例如，“我觉得我在 50 英里处”）。
假装这个猜测是 10 of 100% 真实的： 忽略你可能会出错的事实。假装你的猜测就是绝对真理。
遵循完美计划： 使用如果你能看清路况时会遵循的驾驶指令，但将其应用到你猜测的位置上。

在论文的语言中，他们称之为确定性等价策略。这就像是在说：“我不知道自己确切在哪，但我会表现得好像我知道一样。”

问题所在：你可能会出错

论文承认这个策略存在一个巨大的缺陷：这种策略并不完美。
如果你在浓雾中，你的猜测稍有偏差，而你又假装它是正确的，你可能会过早转弯或刹车过晚。在复杂的非线性系统（如在风暴中飞行的无人机或正在组装精密零件的机械臂）中，这种“假装”可能会导致错误。

作者提出的核心问题是：这个错误到底有多严重？
这种“猜测并行动”的策略会导致汽车撞车，还是仅仅比完美驾驶员慢了一点点？

解决方案：一个“安全余量”公式

作者开发了一个数学公式，用于计算这种猜测策略的最大可能误差（即“次优界限”）。

你可以把它想象成一个针对错误的限速标志。
该公式会告诉你：“如果你的猜测偏差了这么多，且汽车的物理特性如此敏感，那么你的总行程时间最多只会比完美驾驶员慢 X%。”

该公式取决于两个主要因素：

世界的平滑程度： 如果汽车对转向的反应很温和（平滑动力学），且犯错的代价不会剧烈飙升（平滑代价），那么误差就会保持在较小范围内。
你的猜测有多差： 你的估计越差（雾气越厚），潜在的误差就越大。

“抽象”的转折：简化地图

论文还为非常复杂的系统（例如由 1,000 架无人机组成的机群）引入了一个聪明的技巧。
与其试图猜测每一架无人机的精确位置（这几乎是不可能的），你可能只需要猜测整个群体的平均位置。

作者展示了你仍然可以在这里使用“猜测并行动”的策略。你假装这个平均位置就是真相，并基于此驾驶整个机群。他们的数学证明表明，即使使用了这种简化，只要平均猜测与现实足够接近，机群的表现依然会非常好。

他们使用的现实世界案例

为了证明其数学理论的有效性，他们运行了几个场景：

有界噪声： 想象你的 GPS 始终会有不超过 5 米的偏差。他们的数学表明，如果“偏差 5 米”这个数值很小，那么这种驾驶策略几乎是完美的。
间歇性浓雾： 有时 GPS 工作完美，有时则完全失效。数学计算了基于 GPS 失效频率的平均风险。
学习系统： 想象一个机器人不知道它正在提升物体的重量。它先猜测重量，行动，然后学习。论文显示，如果机器人的猜测随着时间的推移变得越来越好，它的表现会越来越趋于完美。
事件触发通信： 想象一个传感器仅在车辆发生显著移动时才发送数据（以节省电池）。论文表明，即使存在这些“信息间隙”，该策略依然有效。

总结

这篇论文并没有发明一种新的驾驶方式；它验证了一种在浓雾中驾驶的非常古老且常见的方式。

核心结论是：
如果你拥有一个物理规则和犯错“代价”变化平滑（没有突然、混乱的跳变）的系统，并且你的状态估计（你的猜测）是相当可靠的，那么表现得好像你的猜测是完美的一样，是一种安全、高效且近乎最优的策略。

你不需要每次都去解决那个“万一我错了怎么办”的极其复杂的数学问题。你只需要将“完美世界”的计划应用到你的“最佳猜测”上，而论文保证了你的表现不会离最佳结果太远。

技术摘要：部分观测系统中确定性等价策略的次优界限

问题陈述

在机器人、自主系统和金融等许多领域，决策者在部分可观测的情况下运行，这被建模为部分可观测马尔科夫决策过程（POMDP）。求解最优 POMDP 是计算上难以实现的（属于 PSPACE-hard），且寻找近似最优策略同样困难。虽然存在启发式方法，但它们通常缺乏可证明的性能保证。

**确定性等价（Certainty Equivalence, CE）**原则在线性二次高斯（LQG）控制中已得到广泛验证，该原则表明，对于随机系统，可以通过将对应确定性系统的最优状态反馈策略应用于状态的最小均方误差（MMSE）估计来获得最优动作。然而，对于一般的非线性部分观测系统，CE 策略（使用任何状态估计值）通常不是最优的。

本文解决的核心问题是量化一般 POMDP 中确定性等价策略的次优程度。具体而言，作者试图推导出 CE 策略与最优 POMDP 策略之间的性能差距的显式上界，特别是在系统动力学和成本平滑且状态估计误差较小时的情况。

方法论

本文将 CE 原则推广到任意 POMDP 和任意状态估计器（不限于 MMSE）。其方法论依赖于**近似信息状态（Approximate Information State, AIS）**框架。

系统建模：
- 作者考虑一个离散时间 POMDP $\mathcal{P}$ ，其具有状态空间 $\mathcal{S}$ 、观测空间 $\mathcal{Y}$ 和动作空间 $\mathcal{A}$ 。
- 他们定义了一个对应的全可观测马尔科夫决策过程（MDP） $\mathcal{M}$ ，其中控制器可以访问真实状态 $S_t$ 。
- 确定性等价策略 $\mu^E$ 定义为 $\mu^E_t(h_t) = \pi^M_t(E_t(h_t))$ ，其中 $\pi^M$ 是全可观测 MDP $\mathcal{M}$ 的最优策略， $E_t$ 是将历史 $h_t$ 映射到状态估计值的任意状态估计器。
状态抽象：
- 为了处理大规模系统，该框架通过抽象函数 $\phi: \mathcal{S} \to \tilde{\mathcal{S}}$ 引入了抽象状态空间 $\tilde{\mathcal{S}}$ ，从而扩展到了状态抽象。
- 通过来自原始 MDP 的随机核 $\lambda^P$ 和 $\lambda^c$ ，构建了一个抽象 MDP $\tilde{\mathcal{M}}$ 。
- CE 策略随后使用抽象 MDP $\tilde{\mathcal{M}}$ 的最优策略以及抽象状态的估计值来定义。
平滑性假设：
- 分析假设系统动力学和每步成本是“平滑”的，这种平滑性由凹的、非减的函数 $F^P_t$ 和 $F^c_t$ 来定义。
- 具体而言，转移核之间的 Wasserstein-1 距离以及成本之间的差异，受这些函数关于状态（或抽象状态）距离的约束。这推广了标准的 Lipschitz 连续性假设。
近似信息状态 (AIS) 框架：
- 作者利用 AIS 框架来限制次优差距。他们证明了由状态估计器、抽象成本函数和抽象动力学组成的元组构成了一个 $(\epsilon, \delta)$ -AIS 生成器。
- 参数 $\epsilon_t$ （成本近似误差）和 $\delta_t$ （动力学预测误差）是根据最坏情况下的条件期望估计误差 $\eta_t$ 显式推导出来的。

核心贡献

本文做出了三个主要贡献：

显式的次优界限： 作者推导了确定性等价策略次优性的显式上界。这些界限取决于系统的“平滑度”（Lipschitz 常数或广义函数 $F^P, F^c$ ）以及状态估计器的质量（通过最坏情况下的期望估计误差 $\eta_t$ 来衡量）。
- 界限由 $W^{\mathcal{P}, \mu^E}_t(h_t) - W^{\mathcal{P}}_t(h_t) \leq 2\alpha_t$ 给出，其中 $\alpha_t$ 是 $\epsilon_t$ 和 $\delta_t$ 的递归函数。
向状态抽象的扩展： 研究结果被推广到涉及状态抽象（量化或特征提取）的情景中。这使得该框架能够应用于大规模系统，其中全状态被聚合为低维的抽象状态。这些界限同时考虑了来自抽象过程和状态估计的误差。
说明性示例： 论文提供了几个具体的示例，展示了所推导界限的适用性：
- 有界观测噪声： 展示了次优界限随噪声半径呈线性缩放。
- 间歇性退化的观测： 处理观测偶尔质量较差的情景。
- 状态量化： 分析量化误差与观测噪声的共同影响。
- 学习/自适应控制： 将界限应用于系统参数未知的参数估计问题。
- 事件触发通信： 分析仅在估计误差超过阈值时才触发通信的控制系统。
- 非齐次多粒子系统： 将框架应用于具有全局平均场分量和局部粒子动力学的系统。

结果

主要理论结果（定理 2）确立了：如果系统动力学和成本满足特定的平滑条件（假设 5），且估计器具有有界的最坏情况误差（假设 6），则 CE 策略与最优策略之间的性能差距是有界的。

对估计误差的依赖性： 界限与估计误差 $\eta_t$ 成正比。当 $\eta_t \to 0$ （完美估计）时，次优差距消失。
对平滑度的依赖性： 差距的大小受动力学和成本函数的 Lipschitz 类常数缩放。
状态抽象： 当使用抽象状态时，界限除了包含估计误差外，还包括与抽象误差（真实状态与其抽象表示之间的距离）相关的项。

在说明性示例中，作者展示了对于具有有界噪声或频繁准确观测的系统，CE 策略可以实现接近最优的性能，为求解完整的 POMDP 提供了一种计算上可行的替代方案。

意义与主张

本文声称提供了一种针对一般 POMDP 的确定性等价原则的推广，超越了受限的 LQG 设置。其意义在于：

理论证明： 它为在非线性、部分观测设置下使用 CE 策略提供了严谨的理论基础，并根据估计质量精确量化了策略可能“变差”的程度。
实际可行性： 它表明在精确的最优 POMDP 解在计算上难以实现的情景下，CE 策略提供了一个实用的替代方案。如果状态估计误差较小，这些策略可以在无需面对信念状态动态规划的指数级复杂度的情况下，实现接近最优的性能。
统一框架： 通过引入状态抽象，该框架架起了控制理论与大规模系统设计之间的桥梁，允许对量化或基于特征的控制策略进行分析。

作者明确指出，其分析依赖于 AIS 框架和平滑性假设。他们并未声称 CE 策略对于所有模型都是最优的（例如，他们在备注 3 中提到，在需要通过主动感知来学习状态的模型中，CE 策略可能会失效）。研究结果是以界限的形式呈现，旨在表征次优程度，而非提供最优性保证。