技术摘要：训练缓慢的硅基神经元以控制极速机器人（基于脉冲强化学习）

问题陈述

自主机器人面临着关键的能量效率瓶颈。虽然大规模神经网络已取得前所未有的成功，但其训练和推理成本（兆瓦时量级以及快速消耗电池电量）与运行在毫瓦预算下的移动平台并不兼容。相反，人类大脑能以约 20 W 的功率实现复杂的运动学习，且仅需极少的训练样本。虽然神经形态硬件通过异步、事件驱动的处理为实现高能效提供了路径，但现有的脉冲神经网络（SNN）强化学习（RL）演示大多局限于简化的基准测试（例如具有离散动作和低维观测值的 2D 游戏）。

本研究解决的核心挑战是将神经形态强化学习扩展到具有以下特征的现实世界机器人操控中：

1. 高维度： 一个 6 维连续状态空间（冰球的位置/速度和末端执行器的坐标）。
2. 物理约束： 具有机械延迟的精确末端执行器控制。
3. 时间动力学： 冰球轨迹速度为 1.0–1.5 m/s，要求在 50 Hz 控制频率和 1 ms 物理积分下进行预测性规划。

作者研究了运行在混合信号神经形态处理器上的紧凑型“慢速”硅基神经元网络，是否能够控制一个“极速”机器人完成高速冰球任务。

方法论

实验设置

系统采用使用 MuJoCo 模拟的空气冰球环境进行**硬件在环（HIL）**配置。

• 机器人： 一个拟人化机械臂控制一个柄状末端执行器，在 1.038 × 1.948 m 的台面上运行。
• 控制循环： 以 50 Hz 运行。智能体选择两个离散动作之一，对应于预定义的运动原语（目标位置 Home 或 前向目标 Forward）。这些原语通过嵌入的逆运动学求解器作为开环弹道轨迹执行。
• 物理： 以 1000 Hz 进行集成，以模拟无摩擦冰球动力学和弹性碰撞。

网络架构

系统利用 DYNAP-SE 模拟-数字混合信号神经形态芯片。架构是一个具有可塑性输出层的储备池计算（reservoir computing）设置：

• 输入层： 60 个基于 FPGA 的脉冲发生器。六个状态变量（冰球 $x, y, v_x, v_y$ 和末端执行器 $x, y$）通过在 10 个神经元中分布高斯活动轮廓的群体编码（population codes）进行编码。
• 隐藏层（储备池）： 1020 个具有固定随机前馈突触的硅基 AdEx-LIF 神经元。该层捕捉任务的时间结构，无需更新权重。
• 输出层： 两个线性单元，代表选择动作 0 或动作 1 的概率。连接隐藏层到输出层的权重是具有可塑性的。
• 学习规则： 系统采用 e-prop（弹性传播）算法，这是一种近似随时间反向传播（BPTT）的局部学习规则。权重更新仅取决于局部的前/后突触活动以及全局奖励信号，从而实现了完全的在线学习。更新规则为：
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  其中 $\bar{s}$ 是滤波后的活动，$r_t$ 是奖励，$\pi$ 是动作概率。

奖励函数

每个步骤计算标量奖励 $r_t$，以鼓励冰球向前运动并实现精确拦截：

• +20： 如果冰球经过目标点（$x_p > 1.5$ m）且具有前向动量（$v_x > 0.1$ m/s），则给予终止奖励。
• $0.2 v_x$： 当末端执行器在冰球 0.08 m 范围内时，与前向速度成正比的塑造奖励（shaping reward）。
• -0.1： 每步惩罚，以最小化回合长度。

训练协议

训练过程每个实验运行进行 2000 个回合，并重复 10 次独立的随机种子，以考虑芯片的随机性。系统仅进行“清醒”学习（在此特定实现中没有离线“梦境”阶段），依赖于实时交互。

核心贡献

论文声称其主要贡献在于将神经形态强化学习从游戏扩展到物理机器人领域：

1. 超越玩具级 RL： 从简单的网格游戏转向具有自适应精度连续状态编码的真实空气冰球。
2. 从离散到连续控制： 演示了用于执行弹道轨迹的连续运动原语（50 Hz）的神经形态强化学习，这需要预测性而非帧级决策。
3. 不确定性下的泛化： 尽管冰球位置和速度被随机化（1.0–1.5 m/s），系统仍实现了鲁棒的学习（96–98% 成功率），证明了系统可以适应变化的初始条件。

结果

• 学习效率： 系统在 1500–2000 个回合内实现了稳健的游戏表现。
• 性能：
  • 静止冰球： 200 次尝试内达到 100% 成功。
  • 恒定速度： 1000 个回合后达到 100% 成功。
  • 变速（1.0–1.5 m/s）： 1500 个回合后成功率稳定在 96% 以上。
  • 随机位置与速度： 1300 个回合后成功率稳定在 98% 以上。
• 可扩展性测试：
  • 窄速度范围（[0.7, 0.9] m/s）在约 150 个回合内达到 >97% 的成功率。
  • 宽速度范围（[0.7, 1.5] m/s）需要约 700 个回合，且渐近成功率略有下降（从 97% 降至 93%），表明系统表现出的是平滑退化而非灾难性失败。
• 行为整合： 训练前的行为是混乱且随机的。训练后，智能体表现出一种确定性的、时间精确的策略，其特征是早期对拦截轨迹的承诺，随后进行精确的修正动作。

意义与主张

作者将这项工作定位为第一个肯定的回答，即神经形态强化学习系统能否扩展到典型现实机器人任务中的高维状态、连续时间控制和严格的时间约束。

• 弥合差距： 这项工作证明了受脑启发的方法可以处理高速交互任务（1.5 m/s 冰球速度），同时支持智能机器的“始终在线”学习。
• 效率： 系统仅使用 1020 个神经元就实现了稳定的性能，相比之前需要约 10,000 个神经元的类脑强化学习空气冰球模拟，减少了 10 倍。
• 实用性： 通过将硬件与学习算法协同设计（在 DYNAP-SE 上使用 e-prop），该系统实现了在计算机与神经形态芯片在环的情况下进行实时学习，验证了在不依赖非局部、高计算成本学习规则的情况下，训练用于自主机器人系统的脉冲神经网络的可行性。

论文总结指出，复杂的传感器运动学习可以通过紧凑的混合信号神经形态处理器来实现，这凸显了在自主机器人领域实现高能效、自适应控制的潜力。