🤖 AI

RoboSSM: Scalable In-context Imitation Learning via State-Space Models

该论文介绍了 RoboSSM，这是一个可扩展的上下文内模仿学习框架，它通过使用 Longhorn 状态空间模型取代 Transformer，从而在 LIBERO 基准测试中实现了线性时间推理以及在长程和未知任务上的卓越泛化能力。

原作者： Youngju Yoo, Jiaheng Hu, Yifeng Zhu, Bo Liu, Qiang Liu, Roberto Martín-Martín, Peter Stone

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Youngju Yoo, Jiaheng Hu, Yifeng Zhu, Bo Liu, Qiang Liu, Roberto Martín-Martín, Peter Stone

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人做一项新家务，比如“拿起橙汁并把它放入篮子中”。

旧的方法（“Transformer”机器人）：
以前，机器人使用一种叫做“Transformer”的系统来学习。这就像一个学生，每当遇到一个新问题时，都必须重新阅读整本教科书。如果你给机器人看一段演示任务的短视频，它表现得很好。但如果你尝试给它看一段包含许多示例的长视频（即“长提示词”），这个学生就会感到不知所措。当他们看到视频结尾时，就已经把视频开头的细节给忘了，性能也会随之崩溃。由于他们每次都要从头开始重新阅读，所以速度也会变得非常慢。

新的方法（RoboSSM）：
这篇论文介绍了一种名为 RoboSSM 的新方法，它使用一种不同的脑部架构——**状态空间模型（State-Space Model, SSM）**来教机器人。

以下是 RoboSSM 的工作原理，我们使用简单的类比：

1. “无限滚动” vs. “图书馆”

Transformers（图书馆）： 想象一位图书管理员，他必须走到书架上的每一本书前，才能找到它们之间的联系。如果增加更多的书（更多的演示示例），图书管理员寻找答案的时间就会变长。如果书架变得太长，他就会迷失方向。
RoboSSM（无限滚动）： RoboSSM 就像一个会随着你的阅读而自动更新的智能卷轴。它不需要每次都重新阅读整个历史记录。它会在自己的“记忆”中保留一个实时更新的摘要。这意味着它可以处理比训练时多出 16 倍示例的视频，而不会变慢或产生混乱。

2. “Beta” 调节（音量旋钮）

论文提到了一个特别的技巧，叫做 $\beta$ -scaling。

想象你正在听一支合唱团。有时你想平等地听到整个团体的声音；有时，你想集中精力听独唱者（即你刚刚展示给机器人的新演示）。
RoboSSM 有一个“音量旋钮”（ $\beta$ 参数），它可以调高或调低。当机器人看到一个新任务时，它会调高新示例的“音量”，以确保它能密切关注这些示例，从而帮助它在不忘记旧规则的情况下更快地学习。

3. 结果：他们发现了什么？

研究人员在著名的机器人测试 LIBERO 上对它进行了测试，该测试涉及拿起碗、打开抽屉和堆叠物品等任务。

“长视频”测试： 他们用一段短视频（2 个示例）训练机器人，然后用一段很长的视频（32 个示例）对其进行测试。
- 旧机器人 (ICRT)： 表现糟糕。它无法处理额外的长度。
- RoboSSM： 随着看到的示例增多，表现反而变得更好。仅仅通过观看一份长长的示例列表，它就成功拿起了它从未见过的物体。
“慢动作”测试： 他们放慢了演示视频的速度（时间膨胀），以模拟机器人移动缓慢或犹豫不决的情况。
- 旧机器人： 感到困惑并失败了。
- RoboSSM： 保持冷静并成功完成任务，证明它能够处理现实世界中的时间变化。
“速度”测试：
- 旧机器人： 随着视频变长，它变得越来越慢。
- RoboSSM： 无论视频有多长，它都能保持快速且高效。

大局观

论文声称，RoboSSM 是第一个证明你可以通过向机器人展示一系列长示例，从而在不重新训练机器人大脑的情况下，即时教授其新任务的系统。它比之前的“Transformer”方法更快，能更好地处理更长的指令列表，并且对速度或时间的变化更具鲁棒性（稳健性）。

简而言之，如果旧机器人是一个读了 5 页书就会疲惫的学生，那么 RoboSSM 就是一个可以阅读 80 页书、能完美记住第一页内容，并且依然能快速回答问题的学生。

技术摘要：RoboSSM – 基于状态空间模型的可扩展上下文模仿学习

1. 问题陈述

上下文模仿学习（In-context Imitation Learning, ICIL）使机器人能够在无需在部署时更新参数的情况下，通过少样本演示来适应新任务。虽然近期的 ICIL 方法已成功采用基于 Transformer 的架构将模仿学习表述为序列建模问题，但它们面临着显著的可扩展性限制。Transformer 相对于序列长度表现出二次方时间复杂度（ $O(L^2)$ ），并且在处理超出训练时所见提示长度的任务时表现不佳。因此，现有的 ICIL 方法在处理比训练时更长的测试时提示（例如，更多的演示或长程任务）时，性能会剧烈下降，这限制了它们在需要大量上下文的复杂现实场景中的应用。

2. 方法论：RoboSSM

作者提出了 RoboSSM，这是一个可扩展的 ICIL 框架，它使用 状态空间模型（State-Space Models, SSMs） 取代了 Transformer，并专门利用 Longhorn 作为骨干架构。

架构与编码

输入处理： RoboSSM 将多模态观测（通过 CNN 处理视觉数据，通过 MLP 处理本体感受数据）编码为嵌入（embeddings）。值得注意的是，输入表示排除了动作标记（action tokens）和任务语言指令，以迫使模型仅从上下文演示中推断任务意图。
Longhorn 骨干网络： 观测嵌入序列由 Longhorn 处理，该网络维护一个通过线性递推更新的记忆状态矩阵 $s_t$ 。与 Transformer 中的自注意力机制不同，Longhorn 使用一种源自在线凸优化的递推规则：
$s_t = \text{argmin}_{s} \left( \|s - s_{t-1}\|_F^2 + \|s k_t - x_t\|_{\text{diag}(\beta_t)}^2 \right)$
该公式平衡了保留先验状态信息与整合新信息之间的关系。
$\beta$ -缩放（ $\beta$ -Scaling）： 为了在 ICIL 设定下特别鼓励对演示提示的关注，作者引入了一种测试时缩放机制，其中权重向量 $\beta_t$ 被一个因子 $\gamma \in (0, 1]$ 进行缩放。这调节了状态保留与新信息整合之间的权衡。

训练与推理

训练： 模型在一个多任务数据集上进行训练，其输入由一个提示（一组包含 $N_{train}$ 个演示轨迹的集合）和一个查询轨迹组成。模型根据提示预测查询轨迹的动作。
推理： 在测试时，策略利用包含 $N_{test}$ 个演示的提示来适应未见过的任务。模型基于初始观测和由提示提供的上下文迭代地预测动作，且无需任何参数更新。

3. 核心贡献

可扩展的 ICIL 框架： 引入了 RoboSSM，这是第一个利用 SSMs 实现上下文模仿学习的方法，实现了线性时间推理（ $O(L)$ ）和强大的外推能力。
长上下文外推： 证明了 RoboSSM 可以有效地处理比训练时长达 16 倍 的测试时提示，而 Transformer 类方法在此类场景下表现乏力。
高效推理： 随着提示长度的增加，由于 SSMs 的线性复杂度对比 Transformer 的二次方复杂度，RoboSSM 实现了显著更低的推理运行时间。
对长程任务的泛化： 展示了该模型如何从短程训练分布泛化到长程、多阶段任务以及时间扩张（time-dilated）的场景。

4. 实验结果

实验在 LIBERO 基准测试 上进行，涵盖了多种操纵任务（包括 Object, Goal, Spatial, Long, 和 90 系列）。

提示长度泛化：
- 当使用仅 2 个演示进行训练（ $N_{train}=2$ ）时，随着测试演示数量（ $N_{test}$ ）增加到 32，RoboSSM 能够维持甚至提高成功率。
- 相比之下，基于 Transformer 的基准模型（ICRT）经历了剧烈的性能下降，并在 $N_{test} > N_{train}$ 时成功率跌至 0%。
长程与时间扩张：
- RoboSSM 成功解决了长程任务（例如，“将物体 A 和物体 B 都放入物体 C 中”）以及具有时间扩张演示（最高达 16 倍时间拉伸）的任务，而 ICRT 则完全失败。
分布内性能：
- 即使在 $N_{train} = N_{test}$ 的情况下，RoboSSM 在大多数场景中也始终优于 ICRT，特别是在 LIBERO-90 Study 和 Living Room 场景中。
与多任务学习（MTL）的比较：
- RoboSSM 和 ICRT 显著优于标准的 MTL 基准（后者需要语言指令且不使用上下文提示），证实了 ICIL 范式的有效性。
潜在空间分析：
- 潜在表示的可视化表明，RoboSSM 生成的轨迹始终保持在提示演示簇附近，显示出稳定的外推能力。相反，随着上下文长度增加，ICRT 的轨迹会显著偏离提示流形（prompt manifold）。
运行时间：
- RoboSSM 表现出近乎随提示长度线性缩放的特性，而 ICRT 的运行时间呈二次方增长，这为长上下文场景下的 RoboSSM 创造了不断扩大的性能优势。

5. 意义与主张

本文声称 RoboSSM 通过确立 状态空间模型作为一种高效且可扩展的骨干网络，实现了上下文模仿学习的范式转变。其主要意义在于克服了 Transformer 的计算和外推瓶颈，使机器人能够：

在无需重新训练的情况下，处理大幅度增加的测试时上下文窗口。
利用少样本提示，适应未见的、长程的以及时间变化的各项任务。
通过简单地摄取新的演示提示，支持面向终身学习的持续适应，而无需进行任务特定的参数更新。

作者总结道，尽管 RoboSSM 展示了 SSMs 用于长上下文 ICIL 的潜力，但未来的工作可能需要更广泛、更多样化的训练语料库，以进一步增强其对新任务的泛化能力。他们还指出，虽然实机机器人验证并非本研究的核心贡献，但这仍是未来展示泛化能力的潜在途径。