💻 computer science

Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation

本文介绍了 RGMP-S，这是一个结合了用于鲁棒 3D 场景理解的长时程几何先验技能选择器（Long-horizon Geometric Prior Skill Selector）和用于高效数据驱动运动合成的递归自适应脉冲网络（Recursive Adaptive Spiking Network）的新型框架，使人形机器人能够在多样化的模拟及真实世界环境中泛化复杂的操纵任务。

原作者： Xuetao Li, Wenke Huang, Mang Ye, Jifeng Xuan, Bo Du, Sheng Liu, Miao Li

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuetao Li, Wenke Huang, Mang Ye, Jifeng Xuan, Bo Du, Sheng Liu, Miao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人像人类服务员一样行动。你希望它听到一个请求，比如“我能要一罐可乐吗？”，然后能够成功地抓起易拉罐并递给你。

问题在于，机器人通常在这方面表现得很糟糕。如果是一个标准的机器人，你向它要一罐可乐，它可能会完美地抓起一个普通的圆柱形罐子。但如果你递给它一个被压扁、变形的可乐罐，机器人就会感到困惑。它看到了“可乐”这个词，于是尝试用抓取圆罐的方式（从两侧挤压）去抓，但因为罐子是扁平的，这种抓取方式失败了，机器人把罐子掉在了地上。

这篇论文介绍了一个名为 RGMP-S 的新系统来解决这类问题。作者构建了一个结合了两种特殊技能的机器人大脑：几何常识与增强记忆学习。

以下是它的工作原理，我们使用简单的类比来解释：

1. “几何常识”大脑 (LGSS)

问题： 标准的机器人大脑（称为视觉语言模型）擅长识别标志和物体，但不擅长理解物理特性。它们知道什么是“可乐罐”，但并不直观地理解一个被压扁的罐子需要用“捏”而不是“挤”。

解决方案： 作者添加了一个“几何先验”模块。你可以把它想象成赋予机器人一套关于形状的常识规则。

类比： 想象一位人类服务员。如果他们看到一个圆杯子，他们会抓握两侧；如果看到一张扁平的餐巾纸，他们会用手指捏住。他们不需要每次都被教导这样做，他们只是根据形状“直觉地知道”该怎么做。
工作原理： 机器人的系统会观察物体，确定其形状（例如，“圆柱体”对比“扁平状”），并使用一套规则手册来决定最佳的抓取方式。这能防止机器人尝试去挤压一个扁平的物体。这使得机器人即使面对从未见过的奇怪形状，也不会出错。

2. “脉冲记忆”肌肉 (RASNet)

问题： 机器人通常需要通过大量人类演示（示例）来学习如何移动。这就像是通过看1000段别人骑自行车的视频来学习骑车一样。这种方式既慢又贵，而且机器人可能只是死记硬背了特定的视频，而不是学会了这项技能。此外，标准的学习模型在面对杂乱的视觉背景时，往往会变得“嘈杂”并遗忘重要的细节。

解决方案： 作者创建了一个名为 RASNet 的新学习引擎，它利用了“脉冲”（Spiking）特征。

类比： 标准机器人的学习过程就像一个试图背诵教科书中每一个单词的学生。它很沉重且缓慢。
“脉冲”的区别： RGMP-S 机器人的学习更像是一个使用脉冲的人类大脑。想象一个神经元，它只有在看到真正重要的东西（比如杯子的边缘）时才会“放电”（发送信号），并忽略背景噪音（比如带有花纹的桌布）。
优势： 因为它只关注这些“脉冲”（即重要的细节）并随时间记住它们，所以它只需通过 40 个示例就能学会一项复杂的任务，而不是 200 个。这就像是在看了几段视频后就直觉地理解了平衡感，从而学会了骑自行车。

3. 整合在一起

该系统分为两个步骤：

规划器 (LGSS)： 机器人听到“给我那罐可乐”，看向桌面，看到一个被压扁的罐子，然后心想：“啊，那是扁平的。我需要用‘捏’的动作，而不是‘抓’的动作。”
执行器 (RASNet)： 机器人随后执行动作。由于它拥有“脉冲”记忆，它会忽略混乱的背景，完全专注于罐子的形状和位置，从而平滑地移动手臂。

实验结果

作者在真实的类人机器人和计算机模拟中进行了测试。

更高的成功率： 机器人在任务中的成功率比之前的最优方法高出约 19%。
更快的学习速度： 它学习新任务所需的数据量比其他机器人少 5 倍。
现实世界验证： 他们在倒水、折叠毛巾以及从杂乱的箱子中捡取物品等任务上进行了测试。机器人处理这些“漫长且棘手”的任务的能力比以前有了显著提升。

简而言之： 这篇论文展示了一种不仅能“看到”物体，还能理解物体形状，并利用智能记忆高效移动物体的机器人，即使面对从未见过的特定物体也能应对自如。

技术摘要：面向类人机器人操控的 RGMP-S

1. 问题陈述

类人机器人的操控需要连接高层语义推理与底层动作生成。当前框架面临两个关键瓶颈：

语义-几何鸿沟（Semantic-Geometric Gap）： 视觉语言模型（VLMs）擅长语义规划，但在将抽象指令转化为物理可执行技能方面往往表现不佳。它们缺乏显式的几何推理能力，导致在物体几何形状发生形变（例如，尝试侧向抓取被压扁的易拉罐）或违反空间约束时出现失败。
数据低效与高延迟： 最先进的生成式策略（如扩散策略 Diffusion Policies）虽然具有高表达能力，但由于迭代去噪过程的存在，面临着极高的推理延迟。相反，基于 Transformer 的方法通常需要海量数据集才能实现泛化，忽略了操控中内在的时空机制，从而在稀疏演示场景下导致过拟合。

本文旨在解决如何在保持实时响应的同时，实现对未知环境的鲁棒且高效的数据泛化。

2. 方法论：RGMP-S

作者提出了 RGMP-S（带有脉冲特征的递归几何先验多模态策略），这是一个由两个核心模块组成的统一框架：

A. 长程几何先验技能选择器 (LGSS)

该模块通过在不进行沉重 3D 重建的情况下将几何常识集成到 VLM 中，来解决语义-几何鸿沟问题。

机制： 它采用了一种轻量级的、基于规则的几何微调策略。系统接收自然语言指令和 RGB 图像，利用 VLM (Qwen-vl) 定位物体，并使用分割模型 (YOLOv8n-seg) 提取形状属性（例如“圆柱体”、“被压扁的”）。
推理： 思维链 (CoT) 协议强制执行几何一致性检查。系统将语义指令与潜在的几何约束对齐，从而从预定义的库中选择合适的操控原语（例如，针对圆柱体的“侧向抓取”，针对压扁物体的“捏取”）。
效率： 该方法避免了计算昂贵的 3D 重建，以极低的延迟（总推理时间约 105ms）运行。

B. 递归自适应脉冲网络 (RASNet)

该模块旨在解决动作生成的效率与时空建模问题。

架构： RASNet 是一种前馈递归架构，旨在捕捉内在的时空机制。它取代了标准的递归模型，以避免梯度消失和噪声累积。
关键组件：
- 自适应衰减机制 (ADM)： 动态调节历史上下文的保留，使模型能够专注于任务关键特征，同时抑制冗余的背景噪声。
- 旋转位置嵌入 (RoPE)： 通过几何旋转编码位置信息，增强模型在无需可学习位置参数的情况下捕捉相对空间依赖关系的能力。
- 自适应脉冲神经元 (ASN)： 集成脉冲动力学以调节特征保留。与固定衰减的脉冲神经元不同，ASN 通过通道级注意力学习自适应衰减因子 ( $\tau$ )，使网络能够过滤时间噪声并放大任务相关的信号。
- 脉冲密集特征提取 (SDFE)： 从密集的视觉输入中提取细粒度的空间特征，减少冗冗余。
动作生成： 网络输出通过多尺度机制融合的特征，并使用高斯混合模型 (GMM) 近似动作分布。这使得策略能够捕捉多模态动作分布，避免了单高斯模型中常见的“回归均值”问题。

3. 核心贡献

LGSS 框架： 一种新型技能选择器，它将 VLM 与低秩几何适配器相融合。它能够基于形状层级的几何常识偏差进行精确的参数化技能选择，确保物理可行性，而无需针对特定任务进行微调。
RASNet 架构： 一种利用递归脉冲动力学和自适应衰减来从稀疏演示中提取鲁棒技能的策略架构。它有效地捕捉了方向性的空间依赖，并在数据匮乏的情况下减轻了过拟合。
高效的数据泛化： 该框架在多种物理平台和模拟基准测试中展示了鲁棒的性能，与基于扩散的基准相比，能以显著更少的训练轨迹实现高成功率。

4. 实验结果

作者在 ManiSkill2 模拟基准测试 以及 三个真实机器人平台（一个定制类人机器人、一个桌面双臂机械臂和一个商用 Aloha 机器人）上对 RGMP-S 进行了评估。

性能对比 SOTA： 在 10 个操控任务中，RGMP-S 的表现优于包括 Diffusion Policy、Octo、OpenVLA 和 Dex-VLA 在内的最先进基准模型。
- 零样本抓取（Zero-Shot Grasping）： 实现了 89% 的平均成功率，超过表现最好的基准模型 (Dex-VLA) 12%。它展示了对仅在 Fanta 罐数据上训练过的未知物体（如喷雾瓶、人手）的鲁棒迁移能力。
- 长程任务： 在毛巾折叠和倒水等任务中，RGMP-S 分别达到了 0.86 和 0.92 的成功率，显著优于缺乏显式几何引导的模型。
- 模拟基准测试： 在处理关节物体（如橱柜门、橱柜抽屉）时，RGMP-S 在 ManiSkill2 上取得了最高平均分 (16.24%)，明显超过了 Diffusion Policy (10.01%) 和 ManiSkill2-1st (10.69%)。
数据效率： RGMP-S 仅使用 40 条轨迹 即可达到与使用约 200 条轨迹训练的 Diffusion Policy 相当的性能（实现了 5 倍 的数据效率提升）。
实时推理： 该框架运行频率为 75.2 Hz，显著快于 Diffusion Policy (1.01 Hz) 和 OpenVLA (3.6 Hz)，使其适用于实时控制。

5. 意义与主张

本文声称 RG-MP-S 代表了具身智能领域的重大进展，因为它有效地弥合了高层语义推理与底层物理执行之间的鸿沟。其意义在于：

克服语义-几何鸿沟： 通过将几何先验直接注入决策过程，系统确保了语义计划在物理上是可执行的，即使在未知或变形的情景下也是如此。
不牺牲效率的有效性： 脉冲动力学和自适应机制的集成使得从有限数据中进行鲁棒学习成为可能，挑战了依赖大规模数据集和算力的“暴力缩放”范式。
可复现性： 作者强调该框架是完全可复现的，源代码和视频演示均已公开，为高效且可泛化的机器人学习研究提供了强大的基准。

作者承认在需要极端感知精度（例如毫米级插入或操作紧贴桌面的织物）的场景中存在局限性，并指出这些挑战反映了内在的物理复杂性，而非仅仅是算法缺陷。