🤖 machine learning

Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference

本文介绍了潜在记忆宫殿（Latent Memory Palace, LMP），这是一个将控制推理建模为潜空间内自回归变分推理的框架，通过迭代检索和一种新型的可变长度动作分词器，实现了自适应的测试时计算分配并提升了策略性能。

原作者： Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人完成一项棘手的任务，比如拿起一个滑溜溜的茄子并小心翼翼地将其放入碗中。你可以直接告诉机器人：“这是图片，这是动作，”然后寄希望于它能瞬间完成。但人类并不是这样工作的。有时我们会进行反射性动作（比如接住掉落的水杯），但有时我们会停顿、思考并深思熟虑（比如规划一着棋步）。我们在处理困难决策时会投入更多的精神能量，而在处理简单决策时则较少。

这篇论文介绍了一种教机器人实现这种灵活思维的新方法，称为潜空间记忆宫殿（Latent Memory Palace, LMP）。

问题所在：机器人的“千篇一律”

目前的机器人大脑通常试图通过一次巨大的跨越来搞定一个动作。作者认为，这就像试图通过直接猜出答案来解决复杂的数学题一样。这对于简单的事情有效，但对于精确且棘手的任务，这还远远不够。

一些研究人员尝试通过让机器人“用语言思考”（像聊天机器人一样）来解决这个问题，即在移动前生成一段很长的文本步骤。但论文指出，这对机器人来说是个坏主意。为什么？因为语言擅长表达概念，但在处理抓取工具或滑动方块所需的微小、精确的动作时却表现糟糕。机器人需要用“运动”来思考，而不仅仅是用“句子”。

解决方案：隐形的宫殿

与其用语言思考，作者建议机器人应该在“潜空间记忆宫殿”中思考。

想象一下，机器人的大脑内部有一条神奇的、隐形的走廊。

宫殿： 这条走廊是由一系列隐藏的“房间”（潜空间标记/latent tokens）组成的。
行走： 当机器人看到一项任务时，它不会直接跳到答案。它开始沿着这条走廊行走。
停顿： 在每一步，它都会停下来检查：“我需要思考更多吗？”
- 如果任务很简单（比如“手臂向前移动”），它可能只走两步就说：“明白了！”
- 如果任务很难（比如“将销钉对准一个小孔”），它会继续行走，访问更多的房间，收集更多的细节，直到它感到足够自信。
出口： 当机器人生成一个特殊的“停止”信号（称为 EOS token）时，行走会自动停止。这是关键所在：机器人会自行决定需要多少思考量。

这被称为自适应计算（adaptive computation）。机器人只在情况需要时才会投入更多的“脑力”（测试时计算量），并在答案显而易见时节省能量。

他们是如何教学的：“猜与查”的游戏

你不能直接命令机器人“思考得更深入”。作者必须使用一种基于数学的、被称为**变分推理（Variational Inference）**的巧妙“猜与查”游戏来教它。

把这想象成一名侦探试图破案：

侦探（机器人）： 观察现场（观测结果）并试图重建罪犯的行为（动作）。
线索（潜空间标记）： 侦探生成一系列隐藏的线索（在宫殿中的行走）来解释这起案件。
规则： 如果侦探能完美地重现动作，并且没有采取不必要的步骤，就会获得奖励。如果他们在处理简单案件时走了太多步，会受到惩罚；如果他们在处理复杂案件时停得太早，则无法解释清楚。

论文表明，通过玩这个游戏，机器人学会了针对每种情况生成完美数量的“思考步骤”。他们在计算机模拟和真实机器人上都进行了测试，结果令人鼓舞：机器人在处理棘手任务时表现得更好，并且比以往的方法能处理更广泛的任务。

“标记”的小技巧

论文还发现了一个有趣的副作用。由于机器人学会了将动作分解为这些变长的“步骤”并在宫殿中进行，这个系统可以被用作一个分词器（tokenizer）。

想象你有一个冗长且混乱的句子。分词器会将它分解成整齐、微小的单词。作者发现，这种“记忆宫殿”方法将复杂的机器人运动分解成了比其他方法更优秀的“单词”（标记）。当他们使用这些特殊的标记来训练其他的机器人大脑时，那些大脑的表现显著提升。这就像是给了机器人一套更优秀的词汇量来描述它们的动作。

论文说了什么（以及没说什么）

它是有效的： 论文展示了该方法在模拟环境（如 LIBERO 和 RoboMimic）以及真实机器人（如 DROID 平台）上的良好效果。在现实世界测试中，新的机器人策略（LMP-π）在多项任务上击败了之前表现最好的扩散策略（Diffusion Policy），例如在“清理桌面”任务中达到了 95% 的成功率。
它不是魔法： 作者明确排除了让机器人仅仅“用语言思考”（像聊天机器人那样）来进行物理控制的想法。他们认为，语言缺乏物理空间运动所需的精确度。
它还不是完美的解决方案： 作者承认该方法对设置方式（超参数）非常敏感，并且如果训练不当，有时会陷入困境。这表明未来的工作可以将“走廊”从离散步骤变为连续过程，或者让机器人能够跨越更长时间段来记忆其想法。

核心结论

这篇论文表明，让机器人变得更聪明的秘诀不仅在于让它们变得更大或更快，而在于教它们在隐藏且高效的空间里停顿并深思。通过让机器人根据任务难度自行决定思考量，我们得到了一台既能快速反应，又能在需要时进行周密思考的机器。这是迈向让机器人不仅能做出反应，而且能真正对如何运动进行“推理”的一大步。

技术摘要：潜意识记忆宫殿 (Latent Memory Palace, LMP)

问题陈述

人类的决策展现出一种从反射性动作到深思熟虑的多步推理的连续谱系，其投入的时间和精力随任务复杂度而缩放。虽然大型语言模型（LLMs）通过迭代式 Token 生成（例如思维链，Chain-of-Thought）已成功展示了类似的自适应“推理”能力，但将这种能力迁移到连续机器人控制策略中仍然具有挑战性。直接在语言空间进行推理往往缺乏空间理解和精确运动控制所需的粒度。此外，标准的变分推理控制方法通常依赖于固定维度的潜变量，无法根据特定输入的具体需求来调整其计算深度。核心问题在于，如何使机器人策略能够在为动作预测而端到端学习的潜空间中，进行迭代式、自适应的计算，从而在提高决策效率与提升泛化能力之间取得平衡。

方法论

作者提出了 Latent Memory Palace (LMP)，该框架将控制中的推理形式化为自回归变分推理。

1. 核心公式

LMP 将动作 $a$ 视为观测 $o$ 的直接预测结果，而是将其视为中间潜计算 $z$ 的产物。策略由变分下界 (ELBO) 定义：
$\log p(a | o) \geq \mathbb{E}_{z \sim q_\theta(z|o,a)} [\log p_\phi(a | o, z)] - D_{KL}(q_\theta(z | o, a) \parallel p_\theta(z | o))$
与标准方法不同， $z$ 不仅仅是一个单一向量，而是一个变长的自回归序列 $z = (z_1, z_2, \dots, z_{T(z)})$ ，该序列从包含终止符 (EOS) 的词表中采样。序列在生成 EOS 时终止，允许模型根据决策的复杂程度自适应地分配计算步骤。

2. 通过压缩实现自适应推理

为了诱导模型仅在需要时才使用更多步骤的自适应行为，LMP 引入了压缩机制。动作解码器 $p_\phi$ 被参数化为一个各向同性高斯分布，其方差 $\sigma(T(z))$ 随潜序列长度 $T(z)$ 指数级衰减：
$\sigma(T(z)) = \gamma^{T(z)} \sigma_0, \quad \gamma \in (0, 1)$
这施加了一个长度惩罚：每一个额外的潜步骤都会使高斯分布变得更加尖锐。因此，模型只有在预测动作的精度足以证明减少方差是有意义时，才会“负担得起”生成额外的步骤。这迫使策略在处理复杂决策时投入更多计算，而在处理简单或本质上具有不确定性的决策（例如夹爪闭合的精确时机）时减少计算。

3. 通过潜空间强化学习实现可处理的优化

通过非微分自回归采样来优化 ELBO，通过标准反向传播是难以处理的。作者推导出了一个针对潜轨迹的强化学习 (RL) 目标：

潜回合 (Latent Episode)： 从后验分布 $q_\theta$ 中采样轨迹，直到遇到 EOS。
奖励 (Reward)： 由重构奖励 ( $\log p_\phi(a|o,z)$ ) 和相对于先验的 KL 惩罚组成。
方差缩减： KL 项被分解为基于自回归结构的逐步奖励，从而实现逐步信用分配。
优化： 作者采用了类 PPO 的截断代理目标来稳定训练并防止潜坍缩 (latent collapse)，利用在缓冲区中收集的在策略 (on-policy) 展开进行训练。

4. 动作标记化 (LMP-tok)

通过移除变分框架中的观测条件，该架构实例化为 LMP-tok，一种变长动作标记器。它将连续的动作块压缩为离散的潜 Token，随后可用于训练下游的自回归策略。与需要精确重建离散变换（如 FAST）的标记器不同，LMP-tok 允许将任意长度的序列解码为有效的动作。

核心贡献

Latent Memory Palace (LMP)： 一种将推理形式化为带有自回归潜分布的变分推理的新颖框架，实现了机器人控制中的迭代式、自适应计算。
LMP- $\pi$ (策略)： 一种在测试时生成变长“推理”轨迹的控制策略，能够根据任务难度和不确定性自适应地分配计算资源。
LMP-tok (标记器)： 一种变长动作标记器，通过将动作压缩到离散潜空间，显著提升了下游自回归策略的性能。
优化框架： 一种可处理的基于 RL 的方法，用于优化变长自回归采样的变分下界，包括用于稳定对抗潜坍缩的训练技术。

实验结果

作者在真实世界 (DROID) 和模拟环境 (LIBERO, D3IL, RoboMimic) 基准测试中对 LMP 进行了评估。

策略性能 (LMP- $\pi$ )：
- 零样本与微调： 在 DROID 平台上，LMP- $\pi$ 在零样本设置下优于 Diffusion Policy (DP)，并在微调的高精度任务中实现了更高的成功率（例如，在多物体清洁任务中达到 95%）。
- 泛化能力： 在 LIBERO-90 上，LMP- $\pi$ 在表现最差的 10% 困难任务上的性能底线明显高于 DP，表明其减少了跨任务干扰并具备更好的检索能力。
- 迭代 vs 非迭代： LMP- $\pi$ 一致优于非迭代基线（VAE Policy, VQ-BeT），证明了固定长度的潜表示缺乏复杂操纵所需的粒度。
标记器性能 (LMP-tok)：
- 当用于训练下游自回归策略时，LMP-tok 在 RoboMimic 和 LIBERO 任务上显著优于基线（VQ-VAE, FAST, OAT）。
- 值得注意的是，LMP-tok 是唯一在 RoboMimic 高精度“悬挂工具 (tool-hang)”任务上取得非平凡性能的方法，而其他标记器由于精度或重构约束而失败。
自适应计算分析：
- 可解释性： 可视化显示，潜推理步骤的数量与任务复杂度相关。模型在夹爪运动（其时机具有本质上的变异性）期间使用较少的步骤，而在精确对齐任务期间使用较多的步骤。
- 压缩： 消融研究确认，只要平衡好以避免过度的重构误差，更强的压缩（更快的方差衰减）会带来更好的泛化能力。
- 模态寻求 (Mode-Seeking)： 在测试时截断潜步骤并不会显著降低性能；相反，模型表现出“模态寻求”行为，即致力于特定的有效动作模态，而不是对多种模态取平均。

意义与主张

本文声称确立了自回归变分推理作为机器人学习中迭代式、自适应计算的一种实用且原则性的框架。通过类比“记忆宫殿”这一记忆术，这项工作证明了通过在变长潜空间中组织信息，策略可以：

模仿人类决策的变异性： 使计算量随决策复杂度而缩放。
提高泛化能力： 通过学习高效分配计算资源，在多样化的任务和环境中实现鲁棒性能。
增强标记化能力： 为自回归建模提供一种更优的连续动作离散化方法。

作者将 LMP 定位为连接基础模型（Foundation Models）的推理能力与机器人控制的精度要求之间的桥梁，提供了一个全新的视角，即“推理”是一个通过变分推理和强化学习优化的隐式、潜层过程。