🤖 AI

Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

本文证明了通过结合脉冲神经元动力学与代理梯度的预测控制框架进行端到端训练的全脉冲神经网络，能够有效地控制高维机械臂，其性能可与非脉冲基准模型相媲美，同时使用的参数量显著减少。

原作者： Justus Huebotter, Pablo Lanillos, Marcel van Gerven, Serge Thill

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Justus Huebotter, Pablo Lanillos, Marcel van Gerven, Serge Thill

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教机器人大脑学会“脉冲式”思考

想象一下，你正在尝试教一个机械臂去抓取一个杯子。大多数现代机器人使用一种“标准”的数字大脑（就像你手机里的那种）来计算如何移动。这些大脑功能强大，但非常耗能且反应较慢。

这篇论文介绍了一种不同类型的大脑：脉冲神经网络 (Spiking Neural Network, SNN)。如果把标准大脑比作一台始终在广播稳定信息的收音机，那么脉冲大脑就像是一个充满低语声的房间——人们只有在有重要事情要说时才会开口（或发出“脉冲”）。这使得它们极其高效，非常类似于我们自身大脑的生物特性。

挑战在于：教这些“低语”的大脑去控制复杂的机械臂一直非常困难。而这篇论文声称已经解决了这个问题。

解决方案：两人搭档团队

作者构建了一个由两个截然不同的“神经网络”（可以把它们想象成两名专业的员工）协同工作的系统：

预测器（水晶球）： 这个网络观察机械臂现在的状态以及即将要做出的动作。它试图预测机械臂在下一瞬间的位置。这就像一位棋手在思考：“如果我在这里走一步兵，对手很可能会在那里走一步马。”
决策者（驾驶员）： 这个网络观察机械臂当前的位置以及它需要去往的目标位置。它决定下一步该做出怎样的动作。这就像司机看着 GPS 说：“现在左转。”

它们是如何协作的：
通常情况下，你必须通过让“驾驶员”在现实世界中犯错来训练它，但这既慢又危险。相反，这个系统允许“水晶球”来模拟未来。于是，“驾驶员”可以在由“水晶球”创建的虚拟模拟环境中练习动作。如果模拟结果显示：“这个动作会导致你没抓到杯子”，那么“驾驶员”就能从这次错误中学习，而无需在现实中真正撞毁机器人。

秘诀：让“低语”发挥作用

论文详细介绍了他们用来使系统稳定且有效的几种“技巧”，他们称之为端到端学习 (End-to-End Learning)。以下是关键成分：

代理梯度 (Surrogate Gradients，即“翻译官”)：
在标准的人工智能中，由于数学过程是平滑的，你可以很容易地计算如何改进错误。但在脉冲大脑中，“低语”是突然的跳变（开/关），这破坏了数学的连续性。作者使用了一个“翻译官”（称为代理梯度），它在计算如何修正错误时，假装这些跳变是平滑的，然后再让大脑恢复为脉冲状态。
可学习的时间常数 (Learnable Time Constants，即“可调节的时钟”)：
生物神经元拥有决定其反应速度的内部时钟。作者让机器人的大脑能够学习自己的时钟速度。如果任务需要快速反应，大脑就会加快内部时钟；如果需要长时间保持一个想法，它就会放慢速度。这就像给机器人一块可以根据任务自行调整的表。
自适应阈值 (Adaptive Thresholds，即“自调节的音量旋钮”)：
有时神经元会过于兴奋而大声喧哗，或者过于安静而停止说话。作者加入了一种机制，让神经元的“音量旋钮”（阈值）自动进行调节。如果它叫得太响，旋钮就会调低以使其安静；如果它太安静，旋钮就会调高以唤醒它。这保持了整个团队的平衡。
潜空间压缩 (Latent-Space Compression，即“速记便签”)：
为了节省空间和能量，系统会对层与层之间传递的信息进行压缩，就像秘书将详细的信息整理成一份简短的备忘录后再传达给下一个人。这使得系统即使规模很大、功能很强，也不需要庞大的参数量（内存）。

研究结果：小大脑，大成功

团队在两个任务上进行了测试：

一个在平面上移动的简单二维机械臂。
一个在三维空间中移动的复杂六关节机械臂（类似于人类手臂）。

研究发现令人惊喜：

性能： 脉冲机器人的表现与最优秀的标准数字大脑不相上下。它能够精准且平滑地到达目标点。
效率： 脉兵大脑实现这一目标时，使用的参数量（内存大小）比标准数字大脑少 10 到 14 倍。
预测与控制： 有趣的是，脉冲大脑并不需要成为一个完美的水晶球。尽管它对未来的预测准确度略低于标准大脑，但它仍然学会了完美地控制机械臂。这表明，对于控制机器人而言，你不需要对未来进行完美的预测，你只需要一个“足够好”的预测来引导驾驶员即可。

总结

这篇论文证明了，你不需要将标准数字大脑转换为脉冲大脑，就能获得脉冲网络的优势。你可以使用现代深度学习技术，从零开始训练一个脉冲大脑。

他们展示了，只要拥有正确的“训练工具”（如可调节的时钟和自调节的音量旋钮），这些高效的、模仿生物风格的大脑，完全可以像它们那些沉重且耗能的数字亲戚一样，处理复杂的、高速的机器人任务。这是朝着构建不仅聪明而且更节能、更快速的机器人（就像生物一样）迈出的一步。

技术摘要：通过端到端模型化学习实现脉冲神经网络的连续控制

问题陈述
尽管脉冲神经网络（SNNs）在分类任务方面取得了近期进展，但其在连续运动控制中的应用仍然有限。虽然生物大脑利用基于脉冲的通信来实现鲁棒、自适应且低延迟的运动行为，但将这一机制转化为实际的机器人机器学习系统仍具有挑战性。主要的瓶颈在于难以对 SNN 进行用于连续任务的端到端训练。与受益于平滑梯度的标准人工神经网络（ANNs）和门控循环神经网络（RNNs）不同，SNN 由于脉冲非线性而表现出不连续性。这传统上迫使研究转向局部塑性规则、在线自适应或间接训练范式，而非原则性的端到端优化。此外，现有的 SNN 控制方法通常依赖于解析模型、局部学习规则或 ANN-to-SNN 转换，这些方法往往难以扩展到高自由度（DoF）的连续控制，或在面对未建模动力学时缺乏鲁棒性。

方法论
作者提出了一种预测控制（Pred-Control）SNN架构，这是一种全脉冲、基于模型的控制框架，通过代理梯度进行端到端训练。该系统由两个可训练的脉冲网络组成：

预测网络（前向模型）： 一个循环脉冲网络，给定当前状态 ( $s_t$ ) 和控制输入 ( $u_t$ )，预测未来的状态变化 ( $\Delta \hat{s}_t$ )。它利用具有可学习时间常数和可选自适应阈值的 Leaky Integrate-and-Fire (LIF) 神经元。
策略网络（逆向模型）： 一个前馈脉冲网络，根据当前状态 ( $s_t$ ) 和目标状态 ( $s^*_t$ ) 推断最优控制动作 ( $u_t$ )。

关键训练策略与组件：

代理梯度（Surrogate Gradients）： 在反向传播过程中，使用平滑的代理函数（具体为高斯脉冲）来近似不可微的脉冲函数，从而实现基于梯度的优化。
架构： 两个网络均采用 LIF 神经元。预测网络包含循环连接，以从部分观测中推断隐藏状态变量（如速度），而策略网络则是前馈式的。
可学习时间常数： 膜电位 ( $\tau_{mem}$ ) 和突触 ( $\tau_{syn}$ ) 时间常数被视为可学习参数（通过波动驱动初始化），使网络能够根据任务需求调整其内在的时间动力学特性。
自适应阈值 (ALIF)： 该模型结合了具有衰减基准阈值和脉冲触发自适应特性的自适应 LIF 神经元。这种机制能重新激活沉默的神经元并防止持续过度激活，从而改善长时程内的信用分配（credit assignment）。
潜在空间压缩（Latent-Space Compression）： 为了提高参数效率，架构在脉冲层之间采用了潜在空间压缩，从而在固定的参数预算内实现更宽的层。
训练流水线： 网络使用经验回放池进行迭代训练。预测模型通过教师强制（teacher forcing）进行更新，而策略网络则通过展开冻结的预测模型来生成用于策略损失的可微状态估计。

实验设置
该框架在两个模拟的连续控制环境中进行了评估：

2D 平面臂： 一个具有部分可观测性（无速度数据）的双关节臂，用于超参数筛选。
3D 机器人臂（6-DoF）： 一个模拟的 Franka Emika Panda 机器人，采用力矩控制，代表了高维连续控制任务。

关键结果

性能 vs. 参数量： 在 6-DoF 触达任务中，完整的 Pred-Control SNN 实现的任务性能（累积距离、成功率、到达时间）与一个大型非脉冲循环基准（约 12.7M 参数）相当，尽管其使用的参数量仅为后者的十分之一（约 0.9M）。
消融实验：
- 可学习时间常数： 显著改善了收敛性和最终性能，特别是在补偿次优初始化方面。
- 自适应阈值 (ALIF)： 通过稳定发放率并使沉默神经元能够重新参与，增强了性能，促进了更好的长时程信用分配。
- 潜在压缩： 允许在固定参数预算下实现更宽的脉冲层，产生了有利的性能-效率权衡。
预测 vs. 控制： 非脉冲基准实现了较低的长期预测均方误差 (MSE)，但这并未转化为更优的控制性能。SNN 尽管在自回归预测的精确度上略逊，却实现了相当的控制有效性，这表明有效的控制需要一个足以捕捉任务相关动力学的模型，而非完美的预测保真度。
稳定性： 与基础脉冲控制器相比，所提出的 SNN 表现出更平滑且更稳定的优化动力学，尽管其学习速度比非脉冲基准慢。

意义与主张
本文声称证明了全脉冲架构可以通过端到端训练来控制具有多个自由度的连续环境中的机器人手臂，弥合了深度学习训练工具与受生物启发计算之间的鸿沟。

主要贡献包括：

可扩展性： 确立了 SNN 作为高维连续控制的可行且可扩展的底层架构，无需经过 ANN 预训练、转换或硬件特定约束。
原则性设计： 强调了特定的架构和训练设计选择——即可学习时间常数、自适应阈值和潜在空间压缩——对于在脉冲领域实现稳定训练和有效控制至关重要。
基于模型的控制： 证明了将学习到的预测模型集成到控制回路中，可以使 SNN 扩展到高维、长时程的任务。
效率： 表明通过远少于等效非脉冲循环网络的参数，即可实现高性能控制。

作者将这项工作定位为构建可扩展、可自适应且高能效控制系统的一步，旨在将 SNN 从分类基准推向自适应、具身计算领域，并统一深度学习训练与预测计算。他们也承认了关于随时间反向传播 (BPTT) 计算开销以及目前依赖率编码（rate coding）的局限性，并建议未来的工作应探索在线学习方法（如 e-prop）和替代的脉冲编码方案。

核心理念：教机器人大脑学会“脉冲式”思考

解决方案：两人搭档团队

秘诀：让“低语”发挥作用

研究结果：小大脑，大成功

总结

技术摘要：通过端到端模型化学习实现脉冲神经网络的连续控制

类似论文