⚡ electrical engineering

On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

本文对比了丢包条件下不确定线性系统的自适应量化控制（AQC）与深度确定性策略梯度（DDPG）算法，结果表明，尽管 DDPG 在其训练环境中提供了更快的瞬态响应，但 AQC 在模型不确定性和动态切换下提供了更优越的鲁棒性和稳定性保证。

原作者： Moh Kamalul Wafi

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Moh Kamalul Wafi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教两种不同类型的飞行员，在暴风雨中驾驶一架非常摇晃且难以预测的飞机。这架飞机有一个奇怪的缺陷：有时它的无线电会完全中断（丢包），有时它的控制系统只能以“阶梯式”而非平滑的方式运作（量化）。

这篇论文对比了两位试图保持飞机稳定的飞行员：

“数学飞行员”（自适应量化控制 - AQC）： 这位飞行员依赖于严格、经过验证的物理和数学规则。他们拥有一本特殊的规则手册，即使飞机在飞行途中突然更换了发动机类型，或者无线电失灵，也能保证飞机不会坠毁。
“电子游戏飞行员”（深度确定性策略梯度 - DDPG）： 这是一位通过在飞行模拟器中练习了数千小时才学会飞行的 AI。当它驾驶那架“完全相同”的飞机时，它的反应极其迅速且平滑，但它并没有被教导事物运作背后的底层数学原理。

以下是论文对他们表现的分析：

训练场

研究人员设置了一个模拟环境，其中飞机的初始状态是一个“标称”（标准）的不稳定模型。

数学飞行员是根据考虑了无线电可能中断情况下的方程从零开始设计的。它使用“确认消息”——就像飞行员在问：“你听到我上一个指令了吗？”如果无线电沉默了，飞行员知道需要立即做出调整。
电子游戏飞行员仅在标准飞机模型上进行了训练。它学会了快速且平滑地做出反应以保持飞机稳定，但它从未被明确教导在飞机突然变得更加不稳定或无线电失效时该如何应对。

测试：突发变化

研究人员引入了混乱情况来测试：

丢包： 无线电开始随机中断。
动态切换： 飞行途中，飞机的发动机被更换成了一个更加狂野、更加不稳定的版本。

结果

在“平静”的模拟器中（无丢包）：
电子游戏飞行员 (DDPG) 令人印象深刻。它的反应更快，比数学飞行员能更好地平滑颠簸。因为它的“练习”非常充分，动作显得自然且流畅。当一切按计划进行时，它是全场的明星。

在“风暴”中（丢包和模型切换）：
这是数学飞行员 (AQC) 取得领先的地方。

当无线电中断时，电子游戏飞行员变得困惑。由于它没有接受过如何处理缺失数据的训练，它开始摇晃并最终失去控制。
然而，数学飞行员并没有惊慌。因为它手中的规则手册（李雅普诺夫稳定性）保证了它能够处理不确定性，它能瞬间调整策略。即使发动机变成了“超不稳定”版本，它依然保持了飞机的稳定。

核心结论

论文的结论指出，这其中存在一种权衡，就像是在选择赛车还是坦克：

DDPG（赛车） 在完美的赛道上更快、更平滑。如果你留在练习过的赛道上，它会获胜。但如果赛道突然变成了沼泽或山脉，它可能会翻车。
AQC（坦克） 在完美的赛道上可能不像那么华丽或快速，但它是为了生存而建造的。它拥有一个“安全保证”，确保即使地形发生意外变化或通信线路被切断，它也不会坠毁。

简而言之： 如果你需要一个用于已知会发生什么的系统的控制器，AI (DDPG) 非常出色。但如果你处理的是一个可能出现故障、无线电可能失效或机器本质可能发生变化的系统，那么基于数学的自适应控制 (AQC) 是更安全、更可靠的选择，因为它拥有内置的“防坠毁”保证。

技术摘要：在存在丢包与不确定性的线性系统中，强化学习与自适应控制的对比研究

问题陈述
本文研究了在受数据包丢失和输入量化影响的通信信道下，对不确定线性系统的控制问题。具体挑战在于稳定一个在运行过程中会发生从标称不稳定配置向更不稳定配置动态切换的系统。本研究对比了两种截然不同的控制范式：一种是基于模型、利用确认消息（acknowledgment messages）的自适应量化控制（AQC）；另一种是基于数据驱动、在未考虑确认消息的情况下基于标称模型训练的深度确定性策略梯度（DDPG）强化学习方法。核心问题在于评估学习型方法在瞬态性能与自适应控制在模型不确定性和通信约束下的鲁棒性之间的权衡。

研究方法
研究采用了一个离散时间不确定线性系统模型，其控制信号通过具有丢包概率 $\bar{p}$ 的信道进行传输。控制输入受对数量化影响，该量化被建模为随时间变化的扇区有界非线性函数。

自适应量化控制 (AQC)：
- 框架： 基于前人工作 [11, 12]，AQC 利用时变反馈增益 $K(k)$ 和量化器 $q(k, u(k))$ 。
- 机制： 控制器依赖于确认消息来确定数据包是否成功接收（ $\eta(k)=1$ ）或丢失（ $\eta(k)=0$ ）。该信息用于更新控制律和量化器参数。
- 稳定性： 设计基于李雅普诺夫（Lyapunov）稳定性理论。通过求解 Riccati 方程来确定稳定增益，且自适应律确保系统即使在丢包情况下也能实现概率意义上的稳定性，前提是丢包率满足由李雅普诺夫函数导出的特定条件。
深度确定性策略梯度 (DDPG)：
- 框架： 使用前馈神经网络（FFNN）的 Actor-Critic 架构。Actor 直接将状态映射为连续控制动作，而 Critic 估计动作价值函数。
- 训练： DDPG 智能体仅在标称系统模型（不含丢包或动态切换）上进行训练，其奖励函数基于跟踪误差。
- 实现： 在评估阶段，将训练好的策略应用于系统，并使用与 AQC 相同的时变量化器，但不使用确认消息。智能体必须通过泛化其策略来处理丢包以及向更不稳定系统（ $A_w$ ）的切换。

核心贡献

对比分析： 本文针对量化、丢包和动态系统切换的相同条件，对经过严格设计的自适应控制器与现代深度强化学习控制器进行了直接的数值比较。
鲁棒性评估： 研究了当系统动力学从标称不稳定状态变为更不稳定状态时（此场景未出现在 DDPG 训练阶段），两种方法的表现。
量化集成： 两种控制策略均采用了时变对数量化器，从而能够公平地比较它们处理有限带宽约束的能力。

数值结果
在具有不同初始条件和切换时间（ $t_d$ ）的二阶不确定系统上进行了仿真。

训练环境性能： 在不存在丢包且处于标称动力学范围内的情形下，DDPG 控制器表现出比 AQC 更快的瞬态响应和更好的阻尼特性。
不确定性与丢包下的鲁棒性：
- AQC： 在所有测试场景中（包括高丢包率 $\bar{p} > 0.5$ 和动态切换）均能稳定系统。确认消息的使用使控制器能够补偿丢失的数据包，根据李雅普诺夫理论维持了稳定性。
- DDPG： 虽然对于接近训练环境的微小偏差表现有效，但当面临显著的模型不确定性（切换至高度不稳定动力学）或高丢包率时，DDPG 控制器无法稳定系统。由于缺乏确认消息，控制器无法适应控制信号的丢失，从而导致不稳定。
稳定性范围： 文中表 1 指出，虽然 DDPG 控制器仅在参数变化接近训练集时保持稳定，但 AQC 在更广泛的系统参数范围内都能保持稳定性。

意义与结论
本文得出结论，数据驱动的性能与基于模型的鲁棒性之间存在明显的权衡。

性能 vs. 鲁棒性： 当运行环境与训练分布高度匹配时，DDPG 提供卓越的瞬态性能。然而，得益于其严谨的李雅普诺夫稳定性保证，AQC 在面对模型不确定性、丢包和动态切换时提供了更优的鲁棒性和保证的稳定性。
适用性： 结果表明，尽管强化学习在处理高维空间方面极具前景，但在缺乏显式稳定性机制或涵盖全范围不确定性训练的情况下，其在网络化不确定系统中的应用受到限制。
未来方向： 作者指出，未来的工作将侧重于将这些框架扩展到网络化多智能体系统，特别是解决通信延迟、分布式交互以及开发具有严谨稳定性保证的协作控制强化学习算法。

训练场

测试：突发变化

结果

核心结论

类似论文