🤖 machine learning

Adaptive Reinforcement Learning for Unobservable Random Delays

本文引入了一种通用的交互层框架和一个基于模型的延迟自适应（ACDA）Actor-Critic 算法，使强化学习智能体能够动态适应不可观测且随时间变化的延迟与丢包，在运动基准测试中显著优于现有方法。

原作者： John Wikman, Alexandre Proutiere, David Broman

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： John Wikman, Alexandre Proutiere, David Broman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款高速视频游戏，你控制着一个机器人。在一个完美的世界里，你看到屏幕，按下按钮，机器人立即移动。但在现实世界中，情况是混乱的。你的信号可能会堵在交通中，机器人的大脑可能需要一点时间来思考，或者信息可能会完全丢失。当你的指令终于到达时，机器人已经移动了，而你的指令现在已经错误了。

这就是研究人员 John Wikman、Alexandre Proutiere 和 David Broman 所解决的问题。他们发现，标准的 AI 训练假设一切都是瞬间发生的，但这在处理现实世界中随机且对 AI 不可见的延迟时会失效。

“旧方法”与真实问题
以前的方法试图通过采取极其保守的策略来解决这个问题。它们假设最坏的情况：“如果延迟是 10 秒怎么办？”于是，它们让 AI 在行动前精确地等待 10 秒，即使延迟通常只有 1 秒。这就像一名司机为了以防万一，即使绿灯通常只亮 2 秒，也会在绿灯时总是等待 10 分钟才起步。这很安全，但极其缓慢且低效。

其他方法试图预测延迟，但往往会失败，因为 AI 在做出决策时并不能真正“知道”延迟会有多长。论文反对这种僵化的、固定延迟的方法，认为它们过于保守，无法适应现实网络中的混乱。

新解决方案：“交互层”
该团队引入了一个被称为**交互层（Interaction Layer）**的聪明新框架。可以把它想象成一个位于 AI 大脑和机器人之间的智能“指挥中心”。

与其发送像“现在跳跃”这样单一的命令，AI 发送的是一个未来动作矩阵——一个巨大的可能性网格。这就像一个棋手，不仅制定一个走法，而是写下一整本走法手册：“如果对手走这里，我就走那里；如果对手走那里，我就走这里。”

AI 为许多种不同的未来延迟情况填写这个网格。它不知道哪一行会被实际使用，因为它不知道消息需要多久才能到达。但交互层充当了裁判的角色。当消息终于到达时，该层会检查时间，计算出延迟究竟有多长，并从网格中选取正确的一行来执行。如果一条消息丢失或到达顺序错误，该层也有备份行可供使用。

“带延迟自适应的演员-评论家算法”（ACDA）
为了使之奏效，他们构建了一种新的 AI 算法，称为 ACDA。这个 AI 简直有点像预言家。因为它看不见未来，所以它使用一个“模型”来想象当它的动作最终落地时，世界会是什么样子。

想象一下，你正向一个正在逃跑的朋友投球。你不仅仅瞄准他“现在”所在的位置，而是瞄准你认为球到达时他“将会”在的位置。ACDA 在数学上也是这样做的。它计算出一个关于机器人未来位置的“分布”，并基于这种预测生成动作。它不是在盲目猜测；它利用学习到的机器人运动模型来填补缺失信息的空白。

数据说明
研究人员在 MuJoCo（一个机器人物理引擎）中通过模拟世界测试了该算法，涵盖了五个不同的环境：Ant-v4、Humanoid-v4、HalfCheetah-v4、Hopper-v4 和 Walker2d-v4。他们使用的不仅仅是模拟延迟，还使用了从大学图书馆和办公室的 WiFi 网络中收集的真实世界数据。

结果非常明确：

在具有特定模拟延迟（GE1,23）的 Ant-v4 环境中，旧的最佳方法（BPQL）得分为 2691.88，而 ACDA 得分为 4112.78。
在具有相同延迟的 Humanoid-v4 环境中，BPQL 得分为 585.19，而 ACDA 得分为 4608.76。
即使面对来自图书馆的真实 WiFi 延迟（DLib），ACDA 始终优于现有的最先进方法。

论文指出，在几乎所有测试的场景中，ACDA 都取得了比现有最佳方法更高的平均回报。只有一个例外：在 Ant-v4 环境中采用特定类型的延迟（MM1）时，BPQL 的表现略好。然而，在测试的 25 个基准测试中，有 15 个 ACDA 是表现最好的。

他们有多确定？
作者基于他们的模拟实验和重放的真实世界数据，对这些结果非常有信心。他们在 100 万步的训练过程中运行了测试。然而，他们也很谨慎地指出，虽然结果很强，但他们并没有在数学上证明该算法在每种可能的情况下都能收敛到完美解。其成功是通过他们在特定测试中的表现来衡量的，而不是通过它在每个宇宙中都能 100% 奏效的理论保证。

核心结论
这篇论文表明，通过让 AI 发送一份“未来动作菜单”，并让一个聪明的中间层根据实际到达的时间来挑选正确选项，我们可以比单纯等待或盲目猜测更好地处理混乱且不可预测的延迟。它将一个混乱、不可预测的问题变成了一个可控的“如果……会怎样”的游戏，使得机器人在信号被堵在交通中时依然能平稳移动。

技术摘要：针对不可观测随机延迟的自适应强化学习

问题陈述

标准的强化学习（RL）算法，如近端策略优化（PPO）和软行动者-评论家算法（SAC），通常假设系统是一个马尔可夫决策过程（MDP），即智能体能够瞬时观测系统状态并在无延迟的情况下执行动作。然而，在现实世界的网络化物理系统中，由于观测传输、计算和执行过程中的交互延迟，这一假设经常失效。

现有的处理延迟的方法通常分为两类：

部分可观测马尔可夫决策过程 (POMDPs)： 将延迟建模为过时的观测值，但这限制了智能体获取关于延迟期间环境演化信息的能力。
固定延迟假设： 通过动作缓冲区强制执行恒定的延迟（通常是针对最坏情况的上界）。虽然这简化了决策过程并提供了关于动作执行时机的完美信息，但这种做法过于保守。它迫使智能体即使在实际延迟极小时也必须在最坏情况下的延迟下运行，从而导致次优性能。

在处理不可观测、随时间变化的随机延迟方面，存在一个关键性的空白。在许多现实场景（如网络控制）中，智能体在决策时无法知道一个动作需要多久才能执行，也无法预测是否会发生丢包或乱序到达。现有的方法如 DCAC 虽然可以处理不可观测的延迟，但缺乏对动作何时应用的控制；而其他前沿算法（如 BPQL、VDPO）则依赖于固定延迟范式。

方法论

1. 交互层框架 (The Interaction Layer Framework)

作者引入了一个名为“交互层”的新颖框架，该层位于智能体与受控系统之间。该层通过观测器 (Observer) 和 动作缓冲区 (Action Buffer) 两个组件来管理不可观测延迟带来的不确定性。

观测数据包 (Observation Packets)： 观测器对系统状态进行采样，并将观测数据包发送给智能体。该数据包包含状态、当前动作缓冲区的内容、更新缓冲区的该数据包的延迟以及一个偏移计数器。
动作数据包 (Action Packets / 矩阵生成)： 智能体不再发送单个动作，而是生成一个包含候选动作矩阵的动作数据包。
- 该矩阵具有 $L$ 行（预测长度）和 $h$ 列（动作缓冲区步长）。
- 第 $i$ 行对应于如果数据包在时间 $t+i$ 到达时应执行的动作序列。
- 列处理没有新数据包到达的情况：如果特定步骤缺失数据包，系统将转向缓冲区中的下一列。
执行逻辑： 当动作数据包到达交互层时，系统利用本地时钟计算往返延迟 ( $\delta$ )。随后，系统选择矩阵中与该延迟相对应的特定行。如果延迟超过了矩阵行数 ( $L$ ) 或数据包到达顺序错误，则该数据包将被丢弃。

2. 带有延迟自适应的行动者-评论家算法 (ACDA)

基于交互层，作者提出了 ACDA，这是一种旨在动态适应变化的延迟的模型化强化学习算法。

假设先前动作的启发式方法： 由于智能体无法确切知道在生成数据包到其到达之间系统应用了哪些动作，ACDA 采用了一种启发式方法。它假设如果当前数据包的延迟为 $k$ ，则之前的数据包延迟也为 $k$ 。这使得智能体能够重建应用于系统的动作序列，从而能够预测当前的系统状态分布。
基于模型的分布智能体： 标准神经网络（MLP）需要固定大小的输入，但 ACDA 中“记忆”的动作序列长度是变化的。为了解决这个问题，ACDA 使用了一个多步分布模型，将变长的动作历史嵌入到固定大小的潜在表示中。
- EMBED (编码)： 将当前状态编码为潜在分布。
- STEP (步进)： 一个门控循环单元 (GRU)，通过模拟应用序列动作的效果来更新潜在分布。
- EMIT (发射)： 在训练期间使用的解码器，用于确保潜在表示能准确预测未来状态（最小化 KL 散度）。
- 策略 $\pi_\theta$ 则基于该未来状态分布的固定大小嵌入，而非原始的状态-动作历史来生成动作。
训练： ACDA 遵循基于软行动者-评论家算法 (SAC) 的行动者-评论家设置。评论家在无延迟的系统状态上评估价值，因此算法需要在训练期间从无延迟 MDP 的视角重建轨迹。

核心贡献

交互层框架： 一个通用的框架，通过生成未来动作矩阵，使智能体能够处理不可观测、随机的延迟和丢包。这实现了在不假设固定延迟的情况下进行知情的决策。
ACDA 算法： 一种利用交互层的模型化强化学习算法。它引入了估计已应用动作的启发式方法，以及基于分布的嵌入机制来处理变长动作历史，使策略能够对未来状态分布进行推理。
实证验证： 在 MuJoCo 运动任务上进行了全面的评估，使用了模拟的延迟过程（Gilbert-Elliot 和 M/M/1 排队模型）以及真实的测量 WiFi 延迟。

结果

论文将 ACDA 与包括 SAC（带有常数延迟增强）、Dreamer、BPQL、VDPO 和 DCAC 在内的最先进基准算法进行了对比评估。

性能： 在各种环境（Ant, Humanoid, HalfCheetah, Hopper, Walker2d）和延迟过程中，ACDA 始终优于所有基准算法。
真实世界延迟： 在使用记录的 WiFi 网络延迟（DLib 和 DOff）进行的实验中，ACDA 展示了卓越的性能，特别是由于真实世界的延迟表现出 ACDA 所设计的时序相关性。
鲁棒性： 虽然 ACDA 假设延迟具有时序相关性，但在独立同分布 (i.i.d.) 延迟过程中仍能保持可接受的性能，尽管优势幅度较小。
与固定延迟方法的比较： 依赖于最坏情况固定延迟的方法（如带有常数延迟增强的 BPQL 和 VDPO）表现明显较差，凸显了在随机环境下使用保守假设的低效性。

重要性与主张

作者声称，这项工作代表了第一个允许智能体在随机、不可观测延迟下进行知情且受控决策的框架。通过超越固定延迟范式，交互层和 ACDA 使智能体能够适应系统的实际延迟，而非保守的上界。

论文强调，尽管在深度强化学习下的随机延迟（POMDP 形式）的收敛性证明在理论上仍是开放性的问题，但实证结果表明，ACDA 实现的平均回报显著高于当前最先进的方法。这项工作表明，直接处理延迟的不确定性，而不是强制实施人工恒定性，是更有效的策略，适用于在现实世界的网络化物理系统中部署强化学习。未来的研究方向包括扩展该框架以处理更复杂的交互行为，以及优化动作数据包结构以减少计算和通信开销。