💻 computer science

Key-Gram: Extensible World Knowledge for Embodied Manipulation

Key-Gram 是一种条件记忆框架，通过将特定任务先验存储于外部记忆以实现高效检索与注入，从而将可扩展的语言世界知识与具身操作中的视觉推理解耦，进而在各类基准测试中显著提升组合式 grounding、迁移能力及现实世界表现。

原作者： Jingjing Fan, Siyuan Li, Botao Ren, Zhidong Deng

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingjing Fan, Siyuan Li, Botao Ren, Zhidong Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做饭。你给它一条复杂的指令：“把那个黄白相间的马克杯放进微波炉，然后关上炉门。”

当前的机器人“大脑”（AI 模型）试图在同一时刻完成两项截然不同的任务，这导致其思维过程发生了“交通拥堵”：

“是什么”任务：记忆关于世界的事实（例如，“微波炉有门”、“马克杯易碎”、“存在黄白相间的马克杯”）。
“怎么做”任务：观察视频流并规划物理动作（例如，“机械臂太靠左了，向右移动”、“握住把手”）。

在大多数现有机器人中，这两项任务被强行合并到一个巨大的大脑中。“事实”与“视频”争夺注意力，就像嘈杂的人群试图听清一位发言者。如果你希望机器人学习一个新事实（例如“不要把金属放入微波炉”），通常必须重新训练整个大脑，这不仅缓慢且充满风险，因为它可能会忘记如何移动机械臂。

解决方案：Key-Gram

这篇论文提出了Key-Gram，一种重新组织机器人“大脑”的新方法。你可以将其想象为给机器人一本智能的外部笔记本，它可以瞬间翻阅。

以下是其工作原理，通过一个简单的类比来说明：

1. “索引卡片”系统（分解）

机器人不再通读整句“把黄白相间的马克杯放进微波炉”，而是将其拆解为若干张具体、微小的“索引卡片”，称为Key-Grams。

卡片 A：“把马克杯放进微波炉”
卡片 B：“关上微波炉门”
卡片 C：“黄白相间的马克杯”

2. “即时查找”（哈希）

机器人无需通读整本图书馆来寻找答案。它使用魔法哈希码（就像条形码扫描器）瞬间跳转到笔记本中存储答案的确切页面。

它查找卡片 A，找到规则：“微波炉有门。”
它查找卡片 C，找到规则：“这是一种特定类型的马克杯。”

这种查找是即时的（ $O(1)$ ），意味着无论笔记本有 10 页还是 1000 万页，所需时间都相同。

3. “智能助手”（融合）

一旦机器人从笔记本中提取出这些事实，它并不会简单地将它们堆砌在屏幕上。它使用一个智能过滤器（一个门控机制）来决定何时以及何地使用这些事实。

当机器人观察微波炉门时，过滤器会说：“嘿，看看‘关门’这个事实！”
当机器人观察马克杯时，过滤器会说：“嘿，看看‘黄白相间的马克杯’这个事实！”

主机器人大脑（“视觉骨干”）现在可以完全专注于最困难的部分：观看视频并移动机械臂。它无需浪费精力去记忆事实；只需在需要时向笔记本查询即可。

为何这意义重大

该论文声称，这种方法解决了三个主要问题：

不再“遗忘”：由于事实存储在独立的笔记本中，你可以添加新页面（新知识）而无需重写机器人的大脑。如果你想教机器人关于烤面包机的知识，只需在笔记本中添加一页。机器人移动机械臂的能力将保持完全不变。
更擅长复杂任务：在测试中，使用 Key-Gram 的机器人在长流程、多步骤任务（例如先分拣面包，然后将其放入盒子，最后移动盒子）中表现优异得多。它们不会感到困惑或忘记中间步骤，因为“事实”始终就在笔记本中。
处理新组合：当研究人员混合搭配机器人从未见过的物体组合时（例如，拿起一支笔和一个打火机，而它从未作为一对执行过此操作），Key-Gram 机器人的成功率要高得多。它们可以瞬间将“拿笔”的事实与“拿打火机”的事实结合起来。

结果

研究人员在模拟机器人和真实的双臂机器人上测试了该方法。

在模拟中：机器人在困难任务上的成功率提高了约30%。
在现实世界中：在真实机械臂上，对于复杂的装配任务，改进更为显著，成功率从 52% 跃升至66%（相对提升 27%）。

核心结论

Key-Gram 就像是给机器人一本独立且可扩展的百科全书来存储事实，同时让其主大脑专注于执行物理工作。这种分离使机器人更智能、更能适应新指令，并且更不容易遗忘已知内容。

技术摘要：Key-Gram

问题陈述

具身操作要求模型在动作执行过程中，同时保留可复用的世界知识（物体、技能、关系、约束）并持续适应动态的视觉状态。当前的视觉 - 语言 - 动作（VLA）模型和世界 - 动作模型（WAMs）通常将语言知识与视觉计算耦合在共享的主干网络或条件路径中。这种设计导致了两个主要问题：

模态竞争：在密集融合方法中，少量指令令牌与同一注意力流中大量持续变化的视觉令牌相互竞争，可能导致特定指令信息被稀释。
脆弱的知识扩展：在条件生成模型中，语言往往仅充当类似提示的引导信号，而组合式世界知识则隐式地固化在生成主干中。因此，适应新的物理环境或获取新知识通常需要进行梯度更新，这可能会覆盖先前获得的世界知识，使得持续适应和模块化扩展本质上非常脆弱。

方法论：Key-Gram

作者提出了Key-Gram，这是一种条件记忆框架，在功能上将语言衍生的世界知识与视觉状态推理解耦。其核心理念是：视觉计算应专注于场景动态（状态演变与动作），而语言则作为抽象任务先验的紧凑、可复用索引。

1. 稀疏 Key-Gram 检索

系统不处理原始令牌，而是将语言指令 $I$ 分解为一小组特定任务的Key-Grams（例如，“将杯子放入微波炉”、“关门”）。

提取：一个轻量级解析器从指令中提取固定长度、承载知识的单元。
哈希查找：每个 Key-Gram 被转换为固定长度的整数键，并通过确定性哈希查找映射到静态记忆嵌入。这涉及乘法 - 异或（multiplicative-XOR）哈希，以在多个哈希头（ $H$ ）和层（ $\ell$ ）上计算记忆索引。
可扩展性：记忆被组织为由多个物理子表构成的逻辑表。这使得系统能够随指令长度（通过增加 Key-Gram 槽位）和任务复杂度（通过增加并行子表）进行扩展，而无需修改主干网络。

2. 上下文自适应融合

检索到的嵌入通过残差模块注入到视觉主干网络选定的 Transformer 层中：

门控：使用视觉隐藏状态（ $H^{(\ell)}$ ）与投影后的记忆键（ $K_m^{(\ell)}$ ）之间的缩放点积计算逐令牌门控。该门控（ $A^{(\ell)}$ ）决定了检索到的语言记忆对每个视觉令牌的相关性，确保先验仅在有用时被注入。
卷积细化：门控后的记忆特征通过轻量级长跨度卷积，在注入前混合异构的指令级知识组件。
残差注入：细化后的特征被添加到原始隐藏状态中（ $\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$ ），随后进行标准的注意力计算。

3. 预测头

记忆引导的主干网络支持两个下游路径：

视觉推理：最终层的隐藏状态通过交叉注意力进行适配，以预测紧凑的未来视觉潜在变量（视觉预见）。
动作推断：一个轻量级动作专家利用主干网络的 KV 缓存作为条件上下文，通过流匹配去噪来解码动作轨迹。

4. 系统效率

记忆表的设计旨在相对于总记忆大小实现O(1) 查找。在推理过程中，索引完全由指令和固定哈希函数确定，这使得大型知识表可以驻留在主机（CPU）内存中，而主干网络则专注于视觉推理。

主要贡献

功能解耦框架：Key-Gram 将指令侧的世界知识检索与视觉侧的物理推理分离，减少了具身控制中的模态竞争。
可扩展的外部记忆：它将可复用的语言先验存储在通过确定性哈希查找访问的结构化记忆中。这实现了模块化知识扩展（添加新物体、技能或关系），而无需重写主干权重。
一致的性能提升：该方法展示了在不同语言表述和环境中的组合式 grounding、迁移和适应能力的提升。

实验结果

作者在RoboTwin2.0、LIBERO、LIBERO-Plus以及真实世界双臂操作任务上，使用 $\pi0$ 和 $\pi0.5$ 主干网络评估了 Key-Gram。

RoboTwin2.0：Key-Gram 将 $\pi0$ 的平均成功率提高了29.5%，将 $\pi0.5$ 提高了9.9%。在“困难”设置和更长视野的任务中，提升尤为显著。
LIBERO-Plus 迁移：在从 LIBERO 训练模型到 LIBERO-Plus 的零样本迁移中（无需目标域微调），Key-Gram 使 $\pi0$ 实现了**35.8%的相对提升， $\pi0.5$ 实现了4.5%**的提升。
真实世界长视野任务：在 Piper 双臂平台上，Key-Gram 将平均性能提高了15.4%（ $\pi0$ ）和8.1%（ $\pi0.5$ ）。在组装任务中观察到了最大的提升，表明记忆有助于维持物体关系和子目标结构。
扩展任务：在未见的组合配对中（例如，重新组合物体和目标），Key-Gram 显著提升了性能（例如，在特定迁移任务中， $\pi0$ 分别提升了 +34.6% 和 +41.7%），而基础模型在这些重组场景中往往失败。
消融研究：层放置分析显示，在早期层（例如第 1 层）注入记忆最为关键，深层注入的收益递减。这支持了以下假设：外部先验在 processing pipeline 的早期减轻了主干网络在指令处理方面的负担。

意义与主张

该论文主张，将语言侧的世界知识检索与视觉侧的物理推理分离，比密集令牌融合或粗略的生成式条件化，能为具身智能提供更有效的归纳偏置。

Key-Gram 通过将语言视为可扩展索引而非竞争的令牌流，解决了静态世界知识与在线物理推理之间的张力。通过将知识外化为模块化记忆表，该框架允许：

模块化知识增长：新知识可以作为新条目追加，而无需覆盖现有权重。
免受梯度干扰：在主干网络适应期间，现有记忆受到保护，使该架构天然兼容开放世界部署和持续积累。
高效扩展：O(1) 查找模式以及记忆与计算的分离，使得能够高效处理大型知识库，而不会增加视觉主干的计算成本。

作者得出结论，这种轻量级且可扩展的方向为改善具身操作中的组合式 grounding 和迁移提供了一种实用机制。