🤖 machine learning

MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings

本文提出了 MATE，一种通过用聚合求和的记忆替代不可处理的后验信念来解决上下文马尔可夫决策过程的记忆架构，从而在避免 Transformer 和循环神经网络计算与梯度限制的同时，实现了与标准序列模型相当的性能。

原作者： Himchan Hwang, Hyeokju Jeong, Gene Chung, Seungyeon Kim, Sangwoong Yoon, Frank Chongwoo Park

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Himchan Hwang, Hyeokju Jeong, Gene Chung, Seungyeon Kim, Sangwoong Yoon, Frank Chongwoo Park

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一台试图学习如何行走的机器人，但每次你开始一个新的“回合”（即一次新的尝试）时，脚下的地面都会发生变化。有时是滑溜的冰面，有时是厚重的泥浆，有时则是崎岖的道路。你无法直接看到这些变化；你只能通过迈步时脚底的感觉来感知它们。这就是论文中所称的上下文马尔可夫决策过程（CMDP）。这里的“上下文”就是隐藏的地面类型，而你的任务就是仅通过回顾你迈步的历史来推断出它是什么。

这篇论文为机器人（或人工智能体）引入了一种记忆这些步骤的新方法，称为MATE（累积转换嵌入记忆）。以下是其工作原理的简化概念分解：

问题：如何记忆而不被压垮

为了推断地面类型，机器人需要审视其过去所有步骤的完整历史。

旧方法（RNN）： 想象一台机器人试图通过一次一个字地对自己低语一个故事来回忆过去。随着故事变长，记住开头变得越来越难，而且低语可能会变得含糊不清（这就是论文中提到的“梯度不稳定性”）。
流行方法（Transformer）： 想象一台机器人在每次需要做出新决策时，都要重读其完整的历史书。如果书很短，这没问题。但如果机器人已经行走了很长时间，这本书就会变成一部庞大的百科全书。每一秒都重读整本书极其缓慢且昂贵（这就是“二次方成本”问题）。

解决方案：MATE（记忆的“桶”）

作者们发现了一个巧妙的点：你迈步的顺序实际上对于推断地面类型并不重要。 无论你是先滑倒然后踩进泥里，还是先踩进泥里然后滑倒，这两个事件的组合告诉你的关于地面的信息是一样的。这个“上下文”是置换不变的（它不关心顺序）。

MATE 利用这一洞察构建了一个像桶一样简单的记忆系统：

嵌入： 每当机器人迈一步，它就将该体验转化为一个小的“令牌”或数字鹅卵石。
求和： 机器人不再撰写故事或阅读书籍，而是直接将鹅卵石丢进桶里。
记忆： 机器人的记忆 simply 就是桶里鹅卵石的总堆。

为什么这很重要

抗顺序干扰： 由于机器人只是将鹅卵石添加到堆中，无论它是按 A-B-C 还是 C-A-B 的顺序丢入，最终的堆看起来都是一样的。这完美契合了该问题的数学现实。
速度快：
- 更新： 向桶中添加新鹅卵石所花费的时间极短且恒定，无论桶里有 10 颗还是 10,000 颗鹅卵石。这比“重读整本书”的方法快得多。
- 并行处理： 因为机器人只是在添加鹅卵石，它可以一次性计算整个历史（就像一群工人同时丢下鹅卵石），这是“低语故事”方法无法做到的。
能力强： 论文从数学上证明，尽管这种“桶”方法看似简单，但它实际上足够聪明，可以完美地解决问题。它不会丢失任何必要信息；只是以不同的方式组织了信息。

“归一化”技巧

这里有一个小陷阱：如果机器人行走了百万步，鹅卵石桶就会变成一座山，机器人的大脑会被这堆东西的巨大规模压垮。为了解决这个问题，作者添加了一个“筛子”或归一化步骤。他们将鹅卵石堆缩小到标准尺寸（就像将其投影到球面上），这样机器人的大脑就能保持冷静和专注，而不会丢失信息的形状。

结果

研究人员在三个不同的“训练场地”上测试了 MATE：

MuJoCo： 模拟机器人在不同表面上行走。
Meta-World： 机器人尝试打开不同类型的门或拾取不同的物体。
T-Maze： 机器人在迷宫中导航，它必须记住之前看到的线索才能找到出口。

在所有这些测试中，MATE 的表现与复杂的“读书”（Transformer）和“低语”（RNN）方法一样好，但它所需的计算资源更少，训练时间更快。

简而言之： MATE 是一个聪明且高效的记忆系统，它认识到“一堆经历与一段经历的故事同样有效”，从而使人工智能能够在变化的环境中更快、更高效地学习。

技术摘要：MATE——利用累积转移嵌入记忆解决上下文马尔可夫决策过程

1. 问题陈述

本文解决了**上下文马尔可夫决策过程（CMDPs）**的求解挑战，这是一类由未观测的潜在上下文 $c$ 参数化的马尔可夫决策过程。在这些设定中，转移核 $P_c$ 和奖励函数依赖于 $c$ ，而智能体无法直接观测到 $c$ 。为了采取最优行动，智能体必须基于其交互历史 $x_{1:t} = (s_0, a_0, r_0, \dots, s_t)$ 推断上下文的后验信念 $p(c|x_{1:t})$ 。

标准的状态依赖策略在 CMDPs 中会失效，因为它们无法适应潜在上下文。虽然基于记忆的强化学习（RL）通过将历史编码为潜在记忆状态提供了一种解决方案，但现有架构面临显著的权衡：

循环神经网络（RNNs）： 在长视野下存在梯度不稳定性，并且在训练更新期间阻碍时间并行化。
Transformer： 擅长长程记忆，但在训练更新和轨迹 rollout 期间，相对于序列长度会产生二次计算成本（ $O(T^2)$ ），通常因此需要限制上下文窗口。

此外，标准序列模型（如因果 Transformer）对顺序敏感，而 CMDPs 中的最优后验信念在理论上对于转移的顺序是置换不变的。

2. 方法论：MATE 架构

作者提出了MATE（累积转移嵌入记忆），这是一种旨在利用上下文后验的置换不变性，同时避免 RNN 和 Transformer 的计算与优化缺陷的记忆架构。

核心机制：
MATE 将记忆状态 $m_t$ 表示为转移嵌入的简单求和聚合：
$m_t = \sum_{i=1}^{t} E_\psi(x_i)$
其中 $E_\psi$ 是一个转移编码器（例如神经网络），将每个转移 $x_i$ 映射到嵌入向量。

关键设计特征：

置换不变性： 根据设计，求和操作是可交换的。这与后验 $p(c|x_{1:t})$ 对转移顺序具有不变性的理论属性相一致（通过贝叶斯规则及给定 $c$ 条件下转移的条件独立性推导得出）。
计算效率：
- Rollout： 通过更新规则 $m_{t+1} = m_t + E_\psi(x_{t+1})$ ，MATE 保持每步恒定的推理成本（ $O(1)$ ），与 RNN 的效率相匹配。
- 训练： 与 RNN 不同，MATE 在更新步骤中支持序列维度上的时间并行化，类似于 Transformer，但具有线性计算复杂度（ $O(T)$ ）而非二次复杂度。
超球面归一化： 为了防止累积记忆的范数无界增长（这会导致内部协变量偏移），作者引入了一种归一化技术。记忆被投影到超球面上： $\hat{m}_t = (m_t + \Psi) / \|m_t + \Psi\|$ ，其中 $\Psi$ 是一个可训练的偏移向量，用于防止归一化过程中的信息丢失。

3. 主要贡献

理论表达能力： 本文提供了理论证明（命题 3.1），即使用转移嵌入求和聚合的记忆架构在理论上足以表示 CMDPs 中的最优策略。具体而言，它证明了在嵌入维度足够大（$m = 2nT + 1$）的情况下，简单的单层 MLP 编码器结合求和可以将转移的多重集单射地映射到记忆状态，从而保留最优策略所需的信息。
架构创新： MATE 用简单的求和聚合替代了复杂的注意力机制和循环连接。它是首个完全利用 CMDP 后验置换不变性而无需辅助推理目标的黑盒基于记忆的 RL 智能体。
实证验证： 广泛的实验表明，MATE 在多样化的基准测试中实现了与标准 RNN（LSTM）和 Transformer（GPT-2）基线相当或更优的性能，同时提供了更优越的计算效率。

4. 实验结果

作者在三个基准测试中评估了 MATE：MuJoCo、Meta-World 和 T-Maze。

MuJoCo（适应动力学/奖励）： 在涉及奖励变化（Ant-Dir, Cheetah-Vel）和系统动力学（Walker-Param, Hopper-Param）的任务中，MATE 的表现与多种基于记忆的基线（LSTM、Transformer 变体）相当。
Meta-World（多任务适应）： MATE 始终优于 RNN 和 Transformer 基线，尽管其架构轻量，但实现了更高的回报和改进的样本效率。
T-Maze（长程记忆与信用分配）：
- 在被动设定中，MATE 和 GPT-2 在所有上下文长度下均实现了最优回报，而 LSTM 的性能随着序列长度的增加而下降。
- 在主动设定（需要探索以发现上下文）中，MATE 在变化的走廊长度（长达 600 步）下保持了稳定的性能，而 GPT-2 显示出较低的回报，LSTM 的性能在较长长度下则出现下降。
计算成本： 正如论文复杂度分析所总结的，MATE 实现了 $O(T)$ 的 rollout 和更新成本，并支持可并行化的更新，这与 Transformer 的 $O(T^2)$ 更新成本以及 RNN 的不可并行化更新形成对比。

5. 意义与主张

本文主张 MATE 为现有的 CMDP 记忆架构提供了一种计算高效且理论扎实的替代方案。其意义在于：

** bridging 理论与实践：** 它验证了置换不变性的归纳偏置（通常因倾向于顺序敏感的序列模型而被忽视）不仅足以达到最优性，而且在计算上也具有优势。
效率： 它解决了 Transformer 的梯度稳定性/并行化与 RNN 的恒定步长效率之间的权衡。
简洁性： 它证明了如果架构与问题固有的对称性保持一致，复杂的注意力机制对于 CMDP 中的有效上下文推断并非绝对必要。

作者得出结论，MATE 在 rollout 过程中有效地识别了相关的上下文信息，并建议未来的工作是将此架构与深度自监督 RL 框架集成，以进一步增强可扩展性。