💻 computer science

Hebbian Attractor Networks for Robot Locomotion

本文提出了一种名为赫布吸引子网络（HAN）的可塑性神经网络，通过局部权重更新归一化及双时间尺度可塑性机制，在模拟四足机器人（Unitree Go1）的 locomotion 任务中展示了如何通过调节可塑性更新频率与激活平均化来诱导稳定的权重吸引子或动态极限环，从而实现对变化环境的快速适应。

原作者： Alexander Dittrich, Fuda van Diggelen, Dario Floreano

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alexander Dittrich, Fuda van Diggelen, Dario Floreano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**如何让机器人像生物一样“边做边学”**的故事。

想象一下，传统的机器人就像是一个背熟了乐谱的钢琴家。在演出前（训练阶段），它把每一个音符（动作）都死记硬背下来，记在脑子里（固定的权重）。一旦上台（部署），无论观众怎么起哄、舞台地板怎么晃动，它都只能机械地按原样弹奏，一旦出错就无法挽回。

而这篇论文提出的**“赫布吸引子网络”（HAN），则像是一个即兴演奏的爵士乐手**。它不仅在演奏，还在根据当下的感觉实时调整手指的力度和位置（在线学习）。

核心概念：什么是“赫布学习”？

首先，我们要理解“赫布学习”（Hebbian Learning）。这源于生物学的一个著名原则：“一起激发的神经元连在一起”（Cells that fire together, wire together）。

比喻：想象你的大脑里有很多小灯泡（神经元）。如果两个灯泡经常同时亮起，连接它们的那根电线就会变粗、导电性变强。
在机器人里：当机器人的传感器（比如脚底触地）和它的动作（比如抬腿）同时发生时，它们之间的连接就会自动加强。这种学习不需要老师告诉它“你错了”，而是完全基于它自己的体验。

论文发现了什么？

研究人员发现，如果让机器人每时每刻都疯狂地调整这些连接（就像爵士乐手每秒钟都换一种风格），机器人就会变得不稳定，甚至走起路来像喝醉了一样，因为它的“肌肉记忆”还没形成就被打断了。

为了解决这个问题，他们引入了两个关键技巧，就像给机器人装上了**“双速调节器”和“记忆缓冲池”**：

双速调节（Dual-timescale）：
- 快：机器人的动作控制非常快（比如每秒 50 次），这就像乐手的手指在快速跳动。
- 慢：学习（调整连接）的速度要慢得多。就像乐手不会每跳一个音符就重新写乐谱，而是跳完一段旋律后，再花点时间思考刚才哪里弹得好，哪里需要微调。
- 效果：这种“慢学习”让机器人有机会把刚才的经验沉淀下来，而不是被瞬间的噪音干扰。
记忆缓冲（Averaging）：
- 机器人不会只根据“这一瞬间”的感觉来学习，而是会平均过去几秒钟的感觉。
- 比喻：就像你判断一个人是否生气，不会因为他皱了一下眉就下结论，而是看他几分钟内的整体表情。这种“平滑”处理让机器人学得更稳。

两种神奇的“状态”

通过调整“学习速度”和“记忆长度”，研究人员发现了机器人两种截然不同的“大脑状态”：

振荡状态（Limit Cycles）—— 像钟摆
- 场景：当学习速度较快时。
- 表现：机器人的“肌肉连接”会随着它的走路节奏不停地摆动。就像钟摆一样，它必须不停地动才能维持平衡。
- 比喻：这就像骑自行车，你必须不停地微调把手才能保持不倒。如果突然停止微调（停止学习），车就会倒。这种状态适合应对突发的小变化，比如路面突然有点滑。
固定点状态（Fixed-point Attractors）—— 像磁铁
- 场景：当学习速度慢、且记忆时间长时。
- 表现：机器人先快速尝试，然后迅速找到一个最完美的姿势，并“锁定”在这个状态。就像磁铁吸在铁板上，无论怎么推，它都会回到那个位置。
- 比喻：这就像你学会了骑自行车后，身体形成了一种肌肉记忆。即使路面有点颠簸，你的身体会自动微调，但整体的骑行姿态是稳定不变的。这种状态非常稳健，即使遇到大干扰（比如被推了一下），它也能迅速回到那个完美的“锁定状态”。

实验结果：真的有用吗？

研究人员在模拟的**四足机器人（Unitree Go1，类似机器狗）**上做了测试：

普通机器人：如果腿断了或者受了伤，它就走不动了，因为它背的乐谱是固定的。
HAN 机器人：
- 在振荡状态下，它能灵活地适应各种奇怪的走路姿势。
- 在固定点状态下，它不仅能走得稳，而且当遇到意外（比如被推了一下，或者腿受了伤）时，它能迅速调整并自动恢复到那个最稳定的走路姿势，就像弹簧被压弯后弹回来一样。

总结

这篇论文的核心贡献是告诉我们要控制学习的节奏。

以前我们要么让机器人死记硬背（固定权重），要么让它胡乱尝试（快速学习）。
现在，通过**“慢学习 + 平均记忆”**，我们能让机器人进化出两种超能力：
1. 像钟摆一样灵活，适应不断变化的环境。
2. 像磁铁一样稳定，在遇到干扰时自动回归正轨。

这就好比我们人类，既能在紧张时快速反应（振荡），也能在熟练后形成肌肉记忆（固定点）。这篇论文让机器人也拥有了这种**“生物般的适应性”**，让它们在未来的真实世界中（比如地震救援、火星探索）能更聪明、更皮实地工作。

论文技术总结：基于赫布吸引子网络的机器人运动控制 (Hebbian Attractor Networks for Robot Locomotion)

1. 研究背景与问题 (Problem)

传统的机器人学习方法通常遵循“训练 - 部署”范式：神经网络策略在仿真中针对预定义任务进行训练，优化出一组静态权重，部署后权重固定不变。这种方法在面对现实世界的动态变化（如传感器漂移、地形变化、执行器退化）时表现出脆弱性，缺乏生物神经系统那种通过突触可塑性（Synaptic Plasticity）在生命周期内持续适应和自我修正的能力。

现有的赫布学习（Hebbian Learning）方法虽然引入了在线权重更新，但往往缺乏对权重动态行为的深入理解。之前的研究多产生共动态极限环（Co-dynamic limit cycles），即权重变化与运动控制紧密耦合，导致系统难以收敛到稳定的权重配置。如何设计赫布学习机制，使其既能适应环境，又能产生稳定的吸引子动力学（如固定点或特定的极限环），从而提升机器人的鲁棒性和适应性，是一个亟待解决的问题。

2. 方法论 (Methodology)

作者提出了赫布吸引子网络（Hebbian Attractor Networks, HANs），这是一类具有局部权重归一化机制的赫布神经网络，旨在诱导涌现出结构化的吸引子动力学。

核心机制：

双时间尺度可塑性 (Dual-timescale Plasticity)：
- 将赫布更新频率 ( $f_{hebb}$ ) 与控制循环频率 ( $f_{NN}$ ) 解耦。
- 赫布更新并非在每个时间步进行，而是以较低频率执行（例如每 3 个控制步更新一次）。
突触激活的时间平均 (Temporal Averaging)：
- 在计算赫布更新规则时，不直接使用瞬时激活值，而是使用前 $M$ 个时间步的移动平均（Moving Average, MA）激活值（ $\bar{x}$ ）。
- 这平滑了信号，使学习规则基于更长的时间动态而非瞬时噪声。
最大归一化 (Max Normalization, MN)：
- 在每次更新后，将每一层的权重按其最大绝对值进行缩放。
- 这不仅防止了权重的无界增长，还诱导了结构化的权重行为（如极限环或固定点）。
赫布更新规则：
- 采用广义的 ABCD 规则： $\Delta w = \eta (a \cdot \bar{x}_{pre}\bar{x}_{post} + b \cdot \bar{x}_{pre} + c \cdot \bar{x}_{post} + d)$ 。
- 赫布系数 ( $\theta$ ) 和学习率 ( $\eta$ ) 通过进化策略 (Evolutionary Strategies, ES) 进行优化。

实验设置：

基准测试：Gymnasium 中的连续控制任务（Swimmer, Hopper, HalfCheetah, Walker2d）。
对比基线：静态 MLP、GRU、PPO（强化学习）以及不同配置的 HNN/HAN。
复杂场景：Unitree Go1 四足机器人仿真（高维系统）及形态损伤（断腿）测试。

3. 关键贡献 (Key Contributions)

系统分析 HAN 在连续控制中的表现：将 HAN 与静态进化控制器和基于梯度的 RL 基线进行了全面对比，证明了其在紧凑架构下的优越性。
揭示了权重空间中的吸引子机制：
- 证明了更新频率和激活平均窗口决定了权重动力学的性质。
- 快速更新 + 无平均 $\rightarrow$ 产生共动态极限环（权重随步态振荡，与运动强耦合）。
- 慢速更新 + 长平均窗口 $\rightarrow$ 诱导固定点吸引子（权重收敛到稳定配置，具有鲁棒性）。
扩展到高维与形态适应：
- 在 Unitree Go1 四足机器人上验证了方法的泛化能力。
- 展示了 HAN 在未见过的形态损伤（如断腿）场景下，比传统 PPO 具有更好的零样本泛化能力（尽管在训练分布内 PPO 表现更好）。

4. 实验结果 (Results)

性能提升：
- 引入最大归一化（MN）显著提升了所有任务的性能。
- 结合双时间尺度和激活平均（条件 E: $M=10, f_{NN}=4\times f_{hebb}$ ）的 HAN 在 HalfCheetah 和 Walker2D 等任务上表现最佳，甚至超过了带偏置的静态 MLP 和 GRU，与 PPO 在简单任务上持平，在复杂任务上略逊于 PPO 但架构更紧凑。
吸引子动力学分析：
- 条件 B ( $M=1, f_{NN}=f_{hebb}$ )：权重呈现周期性振荡，与步态频率一致。若中断赫布更新，机器人会跌倒，说明其依赖这种“共动态”机制。
- 条件 E ( $M=10, f_{NN}=4\times f_{hebb}$ )：权重在初始适应后收敛到固定点。即使受到外力扰动（如悬挂重物）或形态改变，权重能短暂调整并迅速回归到同一吸引子，表现出极高的稳定性。
形态适应性：
- 在 Ant-v5 断腿测试中，虽然 PPO 在训练分布内表现更好，但 HAN 在未见过的损伤场景（如未训练过的腿部断裂）下保持了更一致的性能，表明振荡权重可能有助于适应不同运动模式。
Unitree Go1 验证：
- 在四足机器人上，条件 (B) 产生极限环，条件 (E) 产生固定点。条件 (E) 在 41.7% 的尝试中实现了稳定运动，其中 36% 收敛到固定点。

5. 意义与结论 (Significance & Conclusion)

理论意义：本文首次系统地阐明了赫布学习的时间结构（更新频率和平均窗口）如何塑造神经网络的吸引子动力学。它证明了通过解耦控制与学习的时间尺度，可以从“共动态系统”过渡到“固定点吸引子系统”，为设计具有不同适应特性的自修改网络提供了理论依据。
应用价值：
- 鲁棒性：固定点吸引子机制使得机器人能够在扰动后恢复稳定步态，无需重新训练。
- 适应性：振荡的极限环机制在需要适应多种不同运动模式（如不同损伤状态）时表现出优势。
- 生物启发性：该方法模仿了生物神经系统中多时间尺度的可塑性机制（如短期可塑性与长期可塑性），为构建终身学习机器提供了新路径。
局限与未来：目前主要依赖进化策略优化，样本效率较低；未来将探索多吸引子切换机制（通过神经调质引入奖励信号），以应对更复杂的环境变化和任务切换。

总结：这篇论文通过引入双时间尺度和激活平均，成功地将赫布学习从单纯的“在线调整”提升为具有明确动力学特征（固定点或极限环）的吸引子网络，显著提升了机器人在动态环境中的运动控制鲁棒性和适应性。