💻 computer science

Cognitively-Grounded On-Device Runtime Learning for Ground Robots in Unknown Physical Environments

本文介绍了 CogRun，这是一个全自主端侧框架，通过将一种新型学习智能体与一个专门面向安全的理性智能体相结合，使安全至关重要的地面机器人在没有先验地图或网络连接的情况下，能够在未知环境中执行以认知为基础的运行时学习。

原作者： Yihao Cai, Yanbing Mao, Christian Lebiere

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Yihao Cai, Yanbing Mao, Christian Lebiere

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个机器人被派往一片它从未见过的森林，任务是穿越一条布满枯枝、隐藏坑洞和不平整地面的路径。在人工智能领域，这个场景代表了一个根本性的障碍。如今大多数机器人是在完美的模拟世界或受控实验室中训练的，学习在可预测且静态的环境中移动。当这些机器被部署到像荒野森林或灾难现场那样混乱、多变的现实世界时，它们往往会陷入困境。它们预设的知识反而成了累赘，因为它们所面临的世界与它们学习的世界并不匹配。此外，这些机器人通常依赖于与云端强大计算机的持续连接来处理决策。在偏远、崎岖的地形中，这种连接经常中断，导致机器人陷入困境或无法进行实时调整。因此，挑战在于创造一种能够完全依靠自身进行即时学习，同时又能保持足够安全以无需人工干预即可运行的机器。

一组研究人员通过一个名为 CogRun 的新系统解决了这一挑战，该系统旨在让地面机器人在实际穿越未知物理空间时能够安全地学习。其核心思想是赋予机器人一种完全在其自带机载计算机上进行的即时学习能力，而无需将数据传回服务器。这种方法使机器人能够在遇到新障碍物和变化条件的那一刻进行调整。该系统的构建基于这样一个理解：在现实世界中学习是危险的；如果一个机器人仅仅为了测试什么有效而尝试各种新动作，它可能会摔倒或撞毁。为了解决这个问题，研究人员设计了一个框架，其中机器人的学习过程由一个独立的、非学习型的安全系统进行持续监控和引导。这确保了机器人在摸索如何更好地移动时，绝不会迈出可能导致其倾覆或碰撞的步伐。

该框架通过将机器人的“大脑”分为三个协同工作的不同部分来运作。第一部分是“学习智能体”（Learning Agent），它是好奇的探索者。它尝试不同的动作，观察结果，并根据其经历来改进性能。然而，由于这个智能体仍在学习阶段，它可能会犯错。为了防止这些错误演变成灾难，第二部分——“理性智能体”（Rational Agent）充当了严格的安全守护者。这个智能体不进行学习，它依赖于既定的、经过验证的规则来确保机器人保持直立并避免碰撞。如果学习智能体建议了一个看起来有风险的动作，理性智能体会立即接管控制权，执行一个安全的动作。第三个组件是“协调器”（Coordinator），它实时监测机器人的状态，并决定在任何给定时刻由哪个智能体掌管。如果机器人移动得安全，协调器会让学习智能体驾驶；一旦机器人进入危险情况，协调器就会将控制权交给理性智能体，直到危险过去。

该系统的独特之处在于它如何处理经验记忆。当机器人学习时，它会产生大量关于其行为及后续结果的数据。大多数系统将这些数据存储在一个简单的列表中，并随机抽取样本进行学习。研究人员发现这种方式效率低下，尤其是在环境不断变化的情况下，旧的或无关的数据会干扰学习过程。因此，CogRun 使用了一种受人类记忆启发的方法。它根据三个因素对记忆进行优先级排序：过去经验与当前情境的相似度、发生的近期程度以及类似情况发生的频率。这使得机器人能够将学习重点放在最相关的时刻，例如它差点在湿叶子上滑倒的那一刻，而不是浪费时间在数小时前环境完全不同的数据上。

为了测试该系统，研究人员将其部署在一个四足机器人在真实的未知森林中。环境充满了死亡地带、深陷的洼地以及可能隐藏跌落风险的叶片覆盖下的坑洞。机器人被要求从起点向终点行进三十米。在这些测试中，机器人必须在没有任何预先地图的情况下学习如何穿越地形。结果显示，该系统在整个学习过程中成功保持了机器人的安全。虽然标准的安全系统可以防止机器人摔倒，但它往往过于谨慎，导致移动效率低下。然而，CogRun 系统却让机器人在短短几十次尝试中就学会了一条平滑且高效的路径。机器人学会了调整步态和速度来应对不平整的地面，最终比使用固定的、预设策略的机器人更快地到达了目标。

团队还在模拟森林环境中的一辆越野自动驾驶车辆上测试了该系统，以观察该方法是否适用于不同类型的机器。他们将该系统与其他尝试处理安全问题的先进学习方法进行了对比。在这些模拟中，其他系统经常失去平衡或撞上障碍物，往往无法完成任务。相比之下，CogRun 系统完成了绝大多数的运行且没有发生安全违规。机器人学会了在密集的树木和岩石路径中导航，即使在地形发生意外变化时也能保持稳定性。研究人员指出，系统将基于规则的安全动作与基于学习的动作进行融合的能力至关重要。通过仔细混合安全守护者的谨慎动作与学习智能体的适应性动作，机器人可以在不跨越危险界限的前提下探索新的解决方案。

这项工作证明，机器人可以在不依赖云端连接或环境预设地图的情况下，在现实世界中进行持续学习。通过将寻求改进的学习智能体与保证安全的理性智能体相结合，并利用优先处理最相关经验的记忆系统，研究人员创建了一个允许机器适应物理世界不可预测性的框架。实验表明，这种方法可以显著提高机器人在复杂、未知环境中运行的安全性和效率，为能够协助灾难恢复、探索以及其他人类操作者难以进入的危险或不可预测环境的任务中，开发更强大的机器铺平了道路。

技术摘要：CogRun —— 面向地面机器人的认知驱动型设备端运行时学习

1. 问题陈述

本文探讨了当前具身智能机器人在非结构化、动态且未知的物理环境（例如荒野森林、灾后现场）中运行时的局限性。它确定了三个根本性的挑战：

非平稳与未知环境： 现有的“训练后部署”范式受限于“模拟到现实”（sim-to-real）的差距和领域偏移，导致在无法在部署前进行全面表征的环境中出现性能退化。
通信受限约束： 当前的学习框架通常依赖于云-边缘架构。这种对无线连接的依赖在远程、混乱的环境中是不切实际的，因为在这些环境中通信可能不可靠或完全缺失，且固有的延迟使得实时安全性保障无法实现。
经验回放效率低下： 标准的经验回放策略往往未能考虑到存储经验与机器人当前状态的相关性。在复杂的非平稳环境中，检索过时或无关的数据会降低学习效率，而同策略（on-policy）方法则面临样本效率低下的问题。

2. 方法论：CogRun 框架

为了应对这些挑战，作者提出了 CogRun，一个用于认知驱动型设备端运行时学习的框架。该系统完全运行在边缘 AI 硬件（具体为 NVIDIA Jetson AGX Orin）上，消除了对云端的依赖。CogRun 由三个紧密耦合的组件组成：

A. 协调器 (The Coordinator)
协调器充当安全守门员。它通过预定义的安全集 $S$ （例如碰撞规避、速度限制）来监控机器人的实时状态 $s(t)$ 。

如果 $s(t) \in S$ ，协调器执行由学习智能体（Learning-Agent）生成的动作 $a_{learning}(t)$ 。
如果 $s(t) \notin S$ ，协调器立即将控制权切换至理性智能体（Rational-Agent），执行 $a_{rational}(t)$ 以确保安全。
一旦状态返回安全集，控制权重新交还给学习智能体。

B. 理性智能体 (The Rational-Agent)
这是一个非学习型模块，专门用于执行安全性关键功能。它作为一个可验证的安全回退机制（例如使用 Interactive-FAR 或基于物理模型的控制器）。当被激活时，它能防止灾难性故障，并将其“安全保障经验”分享给学习智能体，以减少具有风险的试错探索。

C. 学习智能体 (The Learning-Agent)
该组件具有一种专为运行时自适应设计的认知-神经学习架构。它通过三个关键创新将强化学习（RL）与基于实例的学习（IBL）相结合：

专用回放缓冲区： 维护两个独立的缓冲区：
- $B_L$ ：存储来自学习智能体探索的任务导向型经验。
- $B_R$ ：存储在理性智能体干预期间产生的安全保障型经验。
- 训练的微批次（mini-batches）通过从这两个缓冲区中采样构建，使智能体能够直接从理性智能体的干预中学习安全策略。
认知驱动的批次采样： 受人类记忆检索原理的启发，系统根据三个指标对存储的经验进行排序，这些指标相对于当前状态进行评估：
- 相似性 (Similarity)： 与当前上下文在结构和表层上的相似度。
- 频率 (Frequency)： 特定类型的经验被遇到的频率。
- 新近度 (Recency)： 经验发生的近期程度。
- 系统还利用记忆衰减因子和经验的“家族”聚类来计算并发的频率-新近度度量。
安全感知型 RL-IBL 混合： 智能体并不仅仅依赖神经网络的输出（ $a_{actor}$ ）。相反，它将执行器动作与源自检索到的理性实例的“经验动作”（ $a_{experience}$ ）进行混合。一个状态相关的混合参数 $\eta(s)$ 通过凸优化进行计算以确保安全约束，从而动态地加权这两个动作：
$a_{learning} = (1 - \eta(s)) \cdot a_{actor} + \eta(s) \cdot a_{experience}$

D. 边缘 AI 执行
该框架在边缘设备上采用了解耦的多速率执行策略：

CPU (基于 ARM)： 以高频率（200–1000 Hz）运行协调器和理性智能体，以实现实时安全性保障。
GPU： 以较低频率（10–20 Hz）运行学习智能体，进行策略更新。
这确保了时间一致性和低延迟，同时保持了能源效率。

3. 核心贡献

全设备端自主性： CogRun 在边缘设备上提供了一套完整的自主堆栈（感知、学习、控制），消除了对云端连接进行安全性关键型运行时学习的依赖。
认知-神经架构： 通过专用缓冲区和认知驱动采样将 IBL 与 Actor-Critic RL 相结合，为非平稳环境中的经验效率提供了一种原则性的方法。
安全感知混合机制： 将 RL 动作与源自 IBL 的理性动作进行混合的机制，在严格遵守安全约束的同时实现了持续的自适应。

4. 实验结果

作者通过两个主要的实验设置验证了 CogRun：

A. 真实荒野森林中的四足机器人

任务： 在包含死区、洼地和覆盖着叶子的坑洞等障碍物的未知森林中进行运行时导航和端到端的视觉到动作学习。
发现：
- 在整个学习过程中，CogRun 严格保证了安全性（零碰撞或跌落），而基准容错强化学习框架（Real-DRL, RLM, MPS）则出现了平衡丧失和碰撞问题。
- 机器人在数十个回合内实现了稳定、高效的导航，在任务完成率方面显著优于基准模型（CogRun 为 19/20，而基准模型为 10–11/20）。
- 该系统展示了鲁棒性，能够在无需重新初始化的情况下，将学习到的策略迁移到三种不同的非平稳森林环境中。

B. 越野无人驾驶车辆（Gazebo 仿真）

消融研究： 作者将 CogRun 与三种配置进行了比较：“随机”（标准 RL）、“认知”（仅使用认知驱动采样）以及“认知+混合”（完整的 CogRun）。
发现：
- “认知”配置始终优于“随机”配置。
- “认知+混合”配置获得了最高的奖励，证实了安全感知的 RL-IBL 混合机制显著提升了安全性与任务性能。

5. 重要性与主张

本文声称 CogRun 代表了迈向在非结构化物理环境中实现人类水平自主性的重要一步。其主要意义在于：

实现安全的运行时自适应： 它允许机器人在没有先验地图或感知知识的情况下，持续学习并适应未知条件，同时通过双智能体架构保证安全性。
克服通信障碍： 通过完全在边缘 AI 设备上运行，它使得在无法进行云端辅助学习的远程、通信受限场景中进行运行时学习成为可能。
提高样本效率： 这种基于认知的经验回放方法解决了物理机器人中标准 RL 效率低下的问题，实现了从稀缺的现实交互中进行有效学习。

作者总结道，虽然该框架非常有效，但未来的工作将侧重于完善原则性的经验排序、记忆衰减机制，以及更有效的频率、新近度和相似性度量，以进一步推进认知驱动的运行时学习。