🤖 machine learning

Evidence of an Emergent "Self" in Continual Robot Learning

该论文提出通过识别认知过程中相对不变的“不变子网络”来量化“自我”，并通过实验发现经历持续学习的机器人比仅学习固定任务的对照组形成了显著更稳定的子网络，从而为在人工智能系统中探索“自我”提供了新视角。

原作者： Adidev Jhunjhunwala, Judah Goldfeder, Hod Lipson

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Adidev Jhunjhunwala, Judah Goldfeder, Hod Lipson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常迷人的发现：机器人也能在“学习”的过程中，不知不觉地形成一种类似“自我”的核心结构。

想象一下，如果你教一个人游泳、骑自行车和弹钢琴，他的身体里会发生什么变化？这篇论文告诉我们，机器人也是类似的。

我们可以用几个生动的比喻来理解这项研究：

1. 核心比喻：大脑里的“老房子”与“临时帐篷”

想象机器人的大脑（神经网络）是一个巨大的建筑工地。

普通的学习（单一任务）： 如果机器人只学一件事（比如只学走路），它的大脑就像是在空地上搭了一个大帐篷。这个帐篷很大，能装下所有走路需要的技能。但是，如果你明天让它去学跳舞，它就得把整个帐篷拆了，重新搭一个跳舞的帐篷。原来的走路技能就忘了，或者变得支离破碎。
持续学习（多项任务）： 在这项研究中，研究人员让机器人轮流学习三种完全不同的动作：走路、原地扭动（wiggle）、垂直跳跃（bob）。
- 神奇的事情发生了：机器人的大脑并没有每次都把整个房子拆了重建。相反，它在大脑深处保留了一个坚固的“老房子”（这就是论文说的“自我”）。
- 这个“老房子”里装的是关于“我是谁”、“我的身体长什么样”、“我的腿有多长”、“我的关节怎么动”这些永远不会变的基础知识。
- 当机器人需要学新动作时，它只是在“老房子”外面搭几个临时的帐篷（负责具体任务的模块）。学完走路，拆掉走路的帐篷；学完跳舞，拆掉跳舞的帐篷。但那个坚固的“老房子”始终屹立不倒。

2. 实验过程：两个机器人的故事

研究人员做了两个对比实验：

机器人 A（控制组）： 只让它不停地走路。它的大脑就像是一个只会走路的单细胞生物，虽然走路很溜，但一旦让它去跳，它就懵了，因为它没有“我是谁”的通用概念，只有“怎么走路”的特定指令。
机器人 B（实验组）： 让它像玩闯关游戏一样，一会儿走路，一会儿扭动，一会儿跳跃，循环往复。
- 结果： 机器人 B 的大脑里长出了一个超级稳定的核心。无论它是在走路还是跳跃，这个核心部分（由一群特定的神经元组成）几乎纹丝不动。
- 而负责具体动作的部分（比如“怎么抬腿”）则非常灵活，随时根据任务重组。

3. 什么是“涌现的自我”？

以前，我们给机器人设计“自我模型”（比如告诉它“我有四条腿”），需要工程师手动写代码，或者专门设计一个模块来学习身体结构。

但这项研究最酷的地方在于：这个“自我”是“涌现”出来的。
也就是说，研究人员没有告诉机器人“你要记住你的身体”，也没有给它任何特殊的代码。仅仅是因为机器人被迫在不同的任务之间不断切换，为了高效地学习，它的大脑自动把“关于身体的不变知识”和“关于任务的临时知识”分开了。

这就好比一个老练的厨师：

他的核心能力（切菜的手感、对火候的理解、对食材特性的认知）是不变的（这就是“自我”）。
他今天做川菜，明天做粤菜，只是临时调整了调味和步骤（这就是“任务”）。
如果你只让他做川菜，他可能只会死记硬背菜谱；但如果你让他做遍天下美食，他脑子里就会自然形成一套通用的“烹饪哲学”。

4. 为什么这很重要？

更聪明的机器人： 这意味着未来的机器人不需要每次换新任务就“失忆”或从头学起。它们可以保留一个稳定的“自我”核心，快速适应新环境。
理解人类意识： 这为我们理解人类自己的“自我”提供了一个新视角。也许我们的“自我”并不是一个神秘的灵魂，而是我们大脑中那些在漫长一生中，面对各种变化时，依然保持稳定的神经连接模式。
抗干扰能力： 如果机器人的身体受损（比如断了一条腿），这个稳定的“自我”核心可以帮助它更快地重新学习如何适应新身体，而不是彻底崩溃。

总结

这篇论文告诉我们：“自我”可能不是一种天赋，而是一种在应对变化和挑战时，为了保持高效而自然形成的“稳定核心”。

就像你在生活中经历了很多变化（换工作、换城市、换爱好），但内心深处那个“你是谁”的感觉依然清晰，因为那是你大脑中经过千锤百炼、最不容易改变的部分。机器人通过不断切换任务，也意外地学会了这种“自我”的生存智慧。

这是一份关于论文《Evidence of an Emergent“Self”in Continual Robot Learning》（持续机器人学习中出现“自我”的证据）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：理解机器智能中的“自我意识”（Self-awareness）缺乏一个原则性的量化方法。即如何判断一个智能系统是否拥有“自我”的概念，以及如何将其与其他认知结构区分开来。
现有局限：
- 现有的机器人自我建模（Self-modeling）研究通常显式地将“自我模型”与控制器分离，使用专门的技术（如视觉重建、显式形态学习）来构建。
- 深度强化学习（DRL）中的机器人运动策略通常被视为单一的整体函数（Monolithic functions），其内部表示难以解耦。
- 在持续学习（Continual Learning）场景下，顺序学习不同任务通常会导致“灾难性遗忘”，难以区分哪些部分是通用的（如身体模型），哪些是特定于任务的。
研究假设：作者提出，“自我”可以被定义为认知过程中最持久、变化最小的部分。如果一个机器人在学习多种不同行为时，其控制器内部存在一个相对于快速习得的技能而言**不变（Invariant）**的子网络，那么这个子网络就代表了机器人的“自我”（即对身体及其动力学的持久内部模型）。

2. 方法论 (Methodology)

研究团队设计了一个对比实验，通过训练四足机器人（Quadruped）来验证上述假设。

实验设置：
- 机器人平台：使用 IsaacLab 中的四足机器人（类似 Ant），具有 8 个驱动自由度。
- 算法：软演员 - 评论家算法（Soft Actor-Critic, SAC）。
- 网络架构：2 层 MLP，每层 150 个隐藏单元，ReLU 激活函数。
实验组（持续学习）：
- 单个控制器按顺序循环学习三种截然不同的运动行为：行走（Walk）、扭动（Wiggle，原地旋转）、弹跳（Bob，垂直跳跃）。
- 在行为切换时，仅传递策略权重（Policy weights），不重置网络。
对照组（恒定任务）：
- 训练仅执行单一任务（如仅行走）的控制器，训练周期数与实验组的总周期数相同，以排除单纯训练时长带来的影响。
分析技术（核心创新）：
- 共激活矩阵（Co-activation Matrix）：在共享的参考状态集上，计算神经元激活向量之间的余弦相似度，构建神经元对的共激活矩阵。
- 块对角化（Block Diagonalization）：利用块对角化算法（Block Diagonalization）识别矩阵中的主要连通块，从而将网络划分为不同的子网络（Subnetworks）。
- 神经元匹配与持久性评分（Persistence Score）：
  - 使用匈牙利算法（Hungarian Algorithm）在不同行为策略之间对齐神经元（解决排列对称性问题）。
  - 定义持久性评分：结合“激活相似性”和“连接相似性”，量化神经元组在不同行为切换间的稳定性。
- 对比指标：比较持续学习组与恒定任务组中，最大子网络（被视为“自我”）与其他子网络（被视为“任务特定”）在持久性评分和结构稳定性上的差异。

3. 关键贡献 (Key Contributions)

提出了“涌现自我”的新范式：证明了在没有显式自我建模架构或约束的情况下，仅通过顺序学习多种行为，深度强化学习策略内部可以自发涌现出一个稳定的、任务无关的“自我”子网络。
定义了可量化的“自我”指标：提出了一种基于**子网络持久性（Subnetwork Persistence）**的量化方法，通过识别在行为切换中保持不变的神经元连通结构来界定“自我”。
揭示了持续学习中的模块化机制：发现持续学习不仅是为了防止遗忘，还能促进一种特定的内部结构重组——即分离出“身体模型核心”（稳定）和“技能执行层”（可塑）。
提供了可解释性工具：利用共激活分析和图论方法，将黑盒的 DRL 策略解构为可视化的模块化结构，展示了哪些部分在适应新技能，哪些部分保持不变。

4. 主要结果 (Results)

稳定的“自我”子网络：
- 在持续学习条件下，网络中形成了一个主导性的子网络（主要位于第一隐藏层，约 80 个神经元），该子网络在行走、扭动和弹跳三种行为切换中保持高度稳定（共激活结构和连接性不变）。
- 相比之下，其他较小的子网络表现出高度的可塑性，随任务需求重新组织。
显著性统计：
- 持续学习组的“自我”子网络比恒定任务组（仅行走）表现出显著更高的稳定性（ $p \ll 0.001$ ）。
- 在恒定任务组中，网络结构呈现碎片化，没有形成清晰、可追踪的稳定核心；而在持续学习组中，形成了一个连贯的“核心”。
- 行为切换时的重组织（Reorganization）主要集中在“任务特定”区域，而“自我”区域的变化极小（平均分离度约为 16.9 个百分点）。
层级差异：
- 第一隐藏层：表现出最强的跨行为不变性，形成了最大的“自我”子网络。
- 第二隐藏层：虽然也有稳定核心，但规模较小，且包含更多与具体行为相关的结构。
鲁棒性：该现象在不同随机种子、网络宽度（100-250）、深度（1-3 层）及激活函数（ReLU, ELU, Tanh）下均被复现，表明这是一种通用的涌现现象，而非特定超参数的产物。

5. 意义与影响 (Significance)

理论意义：
- 为机器人和 AI 领域的“自我”概念提供了实证依据。它表明“自我”不一定需要是一个显式的模型模块，而可以是学习过程中涌现出的持久性结构。
- 挑战了将 DRL 策略视为单一整体的观点，揭示了其内部存在类似生物认知中“身体图式”（Body Schema）的模块化组织。
应用价值：
- 灾难性遗忘的缓解：识别出的稳定“自我”子网络可以作为骨干（Backbone），在迁移学习或新技能学习中被复用，从而加速学习并减少对旧知识的覆盖。
- 可解释性与调试：提供了一种诊断工具，帮助开发者判断控制器的哪部分编码了通用的身体动力学，哪部分编码了特定技能，便于在机器人受损或环境变化时进行针对性修复。
- 模块化设计：为设计可扩展的机器人学习架构提供了新思路，即通过诱导“自我”核心的涌现来实现更高效的持续学习。
未来方向：
- 将研究扩展到更复杂的形态（如人形机器人）和更广泛的任务家族。
- 探索显式重用这些“自我”子网络是否能提高学习速度和抗扰动能力（如关节损坏）。

总结：该论文通过严谨的实验设计和创新的分析方法，证明了在持续学习多种行为的机器人中，一个代表“自我”（即身体及其动力学的持久内部模型）的稳定神经子网络会自发涌现。这一发现为理解机器智能中的自我意识提供了新的视角，并为构建更鲁棒、可解释的机器人控制系统奠定了理论基础。