🤖 machine learning

Streaming Reinforcement Learning under Partial Observability with Real-Time Recurrent Learning

本文介绍了循环迹单元，这是一种对角循环架构，能够实现具有线性复杂度的精确实时循环学习，使流式强化学习智能体能够在不依赖经验回放缓冲区或批量更新的情况下，有效处理部分可观测性和长期依赖问题。

原作者： Noah Farr, Aryaman Reddi, Carlo D'Eramo, Jan Peters

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Noah Farr, Aryaman Reddi, Carlo D'Eramo, Jan Peters

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人穿越迷宫，但你必须遵守两条非常严格的规则：

禁止使用笔记本：机器人不能回顾过去的经历。它只能从当前时刻学习，然后立即遗忘数据。
蒙眼状态：机器人无法一次性看到整个迷宫。它只能看到正前方极小的一片区域，因此它必须记住几秒钟前发生的事情，才能理解当前的处境。

这就是本文要解决的挑战：部分可观测性下的流式强化学习。

以下是他们解决方案的通俗类比解析。

问题：“单步”记忆鸿沟

大多数现代人工智能通过查看“回放缓冲区”（replay buffer）来学习——那是一个巨大的笔记本，里面存储了成千上万次过去的动作以供日后研究。但在现实世界（如自动驾驶汽车或工厂地板上的机器人）中，你往往无法存储如此大量的数据。你必须“即时”学习，一步一个脚印。这被称为**流式（Streaming）**学习。

当机器人也处于“蒙眼”状态（部分可观测）时，它需要记住过去才能理解现在。通常，人工智能通过回顾过去几步的历史来实现这一点。但如果你无法存储过去，你就只能回顾一步。

类比：想象一下试图解开一个谜团，但你只能问：“刚才现在发生了什么？”如果你需要的线索发生在 10 步之前，你就束手无策了。本文将这种情况称为“单步梯度视界”，它会导致人工智能在需要长期记忆的任务中失败。

旧方案：昂贵的计算器

有一种数学方法叫做RTRL（实时循环学习），它可以在不使用笔记本的情况下完美地记住一切。它会计算每一个过去的步骤如何影响当前时刻。

问题：进行这种数学计算极其沉重。对于标准的人工智能大脑，计算量增长得极快（就像雪球变成雪崩），以至于无法在实时中运行。这就像试图在跑马拉松的同时在脑海中解数独谜题。

新方案：“对角线”捷径

作者发现了一种巧妙的方法，可以将这种沉重的数学计算变得轻量。他们使用了一种特定类型的神经网络层，称为RTU（循环迹单元）。

类比：将标准的人工智能大脑想象成一个繁忙的城市，每条街道都与其他所有街道相连。为了计算交通流量（梯度），你必须检查每一个十字路口。
RTU 技巧：RTU 改变了城市布局，使每条街道只与自身相连。这是一种“对角线”道路系统。由于连接如此简单，数学计算变得快速且简单（线性时间），允许机器人在不使用笔记本的情况下，实时执行完美的“记住一切”计算。

他们如何将其整合

团队将现有的“流式”算法（一步一个脚印地学习）与这些特殊的RTU层进行了替换。

结果：机器人现在可以从单一数据流中学习，记住长链条的事件，并即使在无法看到全貌的情况下也能弄清楚该做什么。

证据：它奏效了吗？

本文在三种类型的挑战上测试了这种方法：

“记忆链”测试：想象一个游戏，你必须记住 100 步之前给出的一个秘密数字。
- 旧流式人工智能：在大约 16 步后就忘记了数字。
- 新人工智能：完美地记住了长达 64 步的数字。这证明了“捷径数学”（RTRL）是关键，而不仅仅是架构。
"POPGym"记忆游戏：这些是逻辑谜题，要求人工智能记住随时间变化的模式。
- 结果：新的流式方法解决了全部五个谜题，其表现与存储过去数据的“笔记本”方法（批处理 PPO）一样好。
“蒙眼”机器人（MuJoCo）：他们测试了一个必须行走但无法看到自身速度或位置的机器人（它必须基于记忆进行猜测）。
- 结果：流式机器人学会了行走，恢复了“笔记本”机器人大部分的性能，尽管它从未回顾过旧数据。

“陈旧性”问题（一个小缺陷）

本文还注意到一个小的副作用。由于机器人是在移动的同时进行学习，它用来记住过去的数学计算会略微“陈旧”（就像阅读一张一秒前绘制的地图，而地形已经发生了轻微变化）。

他们测量了这种“陈旧性”，并发现了一种数学“修正”（泰勒修正），可以使地图更准确，从而显著减少误差。

总结

本文并未声称这是适用于所有任务的绝对最佳人工智能。相反，它声称填补了一个特定的空白：它证明了你可以教人工智能记住长期事件并处理“蒙眼”情况，而无需使用记忆笔记本。这是通过使用一种特殊的、轻量级的数学技巧（RTU + RTRL）来实现的，该技巧使得完美的记忆在实时中成为可能。

技术摘要：基于部分可观测性的实时循环学习流式强化学习

问题陈述

流式强化学习（RL）是一种在线学习范式，智能体从每个传入样本立即更新其策略或价值函数，无需维护经验回放缓冲区或使用批量更新。虽然近期研究已成功利用资格迹（eligibility traces）将流式 RL 扩展到完全可观测环境中的深度函数近似，但将其扩展到部分可观测环境（POMDP）仍是一个未解决的挑战。

在部分可观测环境中，智能体必须依赖循环架构来维护一个捕捉历史上下文的隐藏状态。然而，标准的循环学习方法在流式设置中面临权衡：

截断时间反向传播（TBPTT）： 在单样本更新设置中，TBPTT 退化为单步视界（TBPTT(1)）。这仅提供单步梯度，不足以解决长时序依赖中的信用分配问题。
实时循环学习（RTRL）： RTRL 增量地维护前向模式梯度，理论上非常适合流式学习。然而，对于通用循环架构（如 GRU 或 LSTM），RTRL 的计算复杂度极高，随隐藏维度 $n$ 呈四次方增长（ $O(n^4)$ ）。

本文旨在解决 POMDP 中长视界信用分配需求与流式更新计算约束之间的差距。

方法论

所提出的方法将**循环迹单元（RTUs）与精确实时循环学习（RTRL）**集成到现有的流式 RL 算法中。

核心架构：循环迹单元（RTUs）

RTUs 是一种对角复值循环架构。与通用循环单元不同，RTU 层定义为：
$h_t = \Lambda h_{t-1} + W x_t$
其中 $\Lambda$ 是包含复数元素 $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$ 的对角矩阵。由于每个隐藏单元仅连接到自身（对角循环），梯度计算显著简化。这种结构使得精确 RTRL 的计算相对于参数数量具有线性的时间和内存复杂度，避免了标准 RTRL 的 $O(n^4)$ 瓶颈。

与流式 RL 的集成

作者在标准流式算法的观察编码器和前馈头（价值或策略）之间插入单个 RTU 层（具体为基于价值的 QRC( $\lambda$ ) 和基于策略的流式 AC( $\lambda$ )）。

更新机制涉及两个自然组合的迹：

资格迹： 流式 RL 中用于随时间累积梯度的标准时间信用分配迹（ $z_t$ ）（ $z_t = \gamma\lambda z_{t-1} + g_t$ ）。
RTRL 迹： RTU 层维护的前向模式灵敏度矩阵（ $S_t = \partial h_t / \partial \psi$ ），用于通过循环状态传播梯度。

梯度计算策略：

循环参数（ $\psi$ ）： 使用精确 RTRL 迹 $S_t$ 计算梯度，并在每一步向前更新。
头参数（ $w$ ）： 由于没有时间依赖，使用标准反向传播。
编码器参数（ $\theta$ ）： 为了避免在深度编码器中维护精确迹的过高成本，作者使用单步近似。编码器仅因其对当前隐藏状态的即时影响而获得信用，忽略其通过过去状态产生的影响。这是流式体制下深度编码器必要的近似。

陈旧性分析与修正

本文承认，在流式更新下，参数 $\psi$ 在每一步都会变化。因此，RTRL 灵敏度矩阵 $S_t$ 累积了基于过时参数评估的雅可比矩阵，导致“陈旧性”。

作者推导了这种陈旧性误差的理论界限，表明其随步长和信用分配视界线性增长。
他们提出了一种针对灵敏度更新的一阶泰勒修正。通过基于参数更新 $\Delta \psi$ 近似即时雅可比矩阵的变化，他们将陈旧性误差从 $O(\eta)$ 降低到 $O(\eta^2)$ 。

主要贡献

算法： 一种用于部分可观测环境的流式深度 RL 算法，使用经精确 RTRL 训练的 RTUs。它不需要经验回放缓冲区，也不需要批量更新。
诊断验证： 一个 MemoryChain 实验表明，这种组合能够维持长达 64 步链长的信用分配，而使用前馈网络、TBPTT(1) 的 GRUs 或 TBPTT(1) 的 RTUs 的流式基线在此类链长下会崩溃。
实证性能： 在五个 POPGym 记忆任务和部分可观测 MuJoCo 连续控制任务上的证据表明，该流式方法与批量 PPO 具有竞争力，解决了所有 POPGym 任务，并在 MuJoCo 上恢复了批量性能的大部分。
陈旧性分析： 对流式更新下 RTRL 灵敏度陈旧性的定量分析，提供了稳态误差界限，并证明一阶泰勒修正在收紧该界限方面的有效性。

实验结果

MemoryChain（信用分配视界）

在一个要求智能体在 $L$ 步后回忆二进制线索的诊断任务上：

基线： 前馈网络、TBPTT(1) 的 GRUs 以及 TBPTT(1) 的 RTUs 在链长 $L > 16$ 时均崩溃至接近零回报。
所提方法： 结合精确 RTRL 的 RTU 在 $L=48$ 时保持高性能，并在 $L=64$ 时仍具竞争力。这证实了对于流式环境中的长视界信用分配，梯度方法（RTRL）而不仅仅是架构是关键因素。

POPGym（离散记忆任务）

在五个任务（Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst）上进行了评估：

将两种流式变体（QRC( $\lambda$ )-RTU 和流式 AC( $\lambda$ )-RTU）与批量 PPO-RTU 基线进行了比较。
两种流式方法具有互补性：流式 AC( $\lambda$ )-RTU 在 QRC( $\lambda$ )-RTU 失败的三个任务上取得了成功，反之亦然。
结果： 总体而言，流式方法解决了所有五个任务，在不存储过去轨迹的情况下达到了与批量 PPO 相当的性能。

Masked MuJoCo（连续控制）

在带有掩码速度或位置的移动任务（Ant, HalfCheetah, Hopper, Walker2d）上进行了评估：

流式方法（流式 AC( $\lambda$ )-RTU）在多个任务上与批量 PPO-RTU 具有竞争力（例如，在 HalfCheetah-P 上表现相当，在 Walker2d-V 上表现更优）。
虽然在某些任务上（如 Walker2d-P）落后于批量 PPO，但它恢复了批量性能的大部分，证明了在不使用经验回放缓冲区的情况下，部分可观测性下的连续控制的可行性。

KMemoryChain（陈旧性量化）

MemoryChain 的一个变体，旨在持续锻炼 RTRL 迹：

陈旧性被测量为在线灵敏度矩阵与使用当前参数重新计算的参考矩阵之间的 $\ell_2$ 距离。
陈旧性随记忆视界 $K$ 增加而增加，与理论界限一致。
泰勒修正显著降低了陈旧性，特别是在较长视界（ $K=16$ ）下，并且对应于高陈旧性区域中更快的学习和更稳定的训练曲线。

意义与主张

作者明确对其主张保持谦逊：

无最先进（SOTA）主张： 他们不声称在与无约束批量方法相比的任何单一基准测试中实现了绝对最佳性能。
主要贡献： 其意义在于缩小流式 RL 与部分可观测性之间的差距。他们证明，通过将 RTUs 与精确 RTRL 相结合，可以在严格流式约束（无经验回放缓冲区、单样本更新）下在 POMDP 中执行深度 RL。
适用性： 该方法定位于资源约束真实的场景，如设备端学习、实时控制和终身学习，在这些场景中存储过去轨迹是不切实际的。

本文结论指出，虽然在某些连续控制任务中与批量性能的差距仍然存在，但所提出的方法成功地将流式范式扩展到了复杂的、部分可观测的环境中，验证了具有线性复杂度的精确 RTRL 在深度 RL 中的可行性。