Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration

技术摘要：通过自我探索实现机器人动作与语言的好奇心驱动型发展

问题陈述
本文探讨了人工智能与认知科学领域的一个根本性差异：人类婴儿能够通过稀疏且有限的经验，实现语言和动作能力的卓越泛化；相比之下，大规模人工模型（如大语言模型 LLMs）则需要数十亿个训练标记才能达到类似能力。核心问题在于识别能够实现这种高效发展性学习的机制，特别关注组合性（将已知元素系统地重新组合成新结构的能力）、泛化（从极少量数据中学习的能力）以及异常处理（在不发生灾难性遗忘的情况下管理不规则情况）。作者研究了好奇心驱动的自我探索能否使具身智能体复制人类婴儿观察到的发展轨迹，例如从机械记忆到系统泛化的转变，以及在处理异常时出现的 U 型学习曲线。

方法论
研究采用了一个配备机械臂、视觉传感器和分布式触觉传感器的模拟移动机器人。该机器人通过一种结合了**主动推理（Active Inference）与强化学习（RL）**的新颖集成方式，学习对祈使句（例如“推红色方块”）执行运动指令。

• 模型架构： 系统使用一个由三个主要部分组成的变分循环神经网络（VRNN）：
  1. 前向模型（Forward Model）： 根据当前感觉（$o_t$）、指令语音（$o_{cw}$）和运动指令（$a_t$）预测未来的感觉观测值（$o_{t+1}$）。它通过最小化**证据自由能（Evidence Free Energy, $F$）**进行学习，该能量平衡了准确性（重构误差）与复杂度（先验与后验之间的 Kullback-Leibler 散度）。
  2. 执行器（Actor）： 生成运动指令以最大化预测的未来结果价值。
  3. 评论家（Critic）： 使用软行动者-评论家算法（Soft Actor-Critic, SAC）估计价值函数（$Q$）。
• 内在动机（好奇心）： 不同于仅依赖外部奖励（任务成功）的标准强化学习，该框架整合了源自**预期自由能（Expected Free Energy, $G$）**的内在奖励。智能体受以下因素驱动以最小化 $G$：
  • 好奇心（认识价值/Epistemic Value）： 通过寻求不可预测的感觉后果来最大化信息增益（建模为最大化先验与后验之间的 KL 散度）。
  • 运动熵（Motor Entropy）： 鼓励随机的探索性运动，以防止过早收敛。
  • 外部奖励： 实现由祈使句指定的任务目标。
• 实验设置： 机器人在物理模拟器（PyBullet）中运行，环境包含一组形状和颜色各异的物体。祈使句由动词、形容词和名词组成。
  • 实验 1： 考察好奇心水平（无、感觉运动、以及全部）对学习速度和泛化能力的影响。
  • 实验 2： 测试组合规模（变化的词汇量大小）对泛化性能的影响。
  • 实验 3： 通过交换特定的指令-动作映射来研究异常处理，从而诱导非单调的学习轨迹。

核心贡献

1. 用于发展性学习的摊销主动推理（Amortized Active Inference）： 本文提出了一种通过使用 Q 学习来近似最小化预期自由能的方法，从而实现推理的“摊销”。这使得智能体能够学会产生好奇心，有效地在获取信息增益的同时奖励任务成功。
2. 组合性的操作化定义： 研究将组合性定义为一种能力，而非正式的语义结构，即在具身环境中对已知元素（动词、形容词、名词）进行系统性泛化的能力。
3. U 型学习的机制解释： 模型展示了 U 型发展表现（正确 $\to$ 错误 $\to$ 正确）是如何自然产生的，这源于机械记忆、过度泛化与随后为了处理异常而进行的内部表示重组之间的张力。

结果

• 好奇心加速学习： 具有“全部好奇心”（包括反馈语音）的智能体在 60,000 个 epoch 后，对未学习句子的泛化成功率达到 85.1%；而没有好奇心的智能体在同一阶段的成功率仅为 41%。将无好奇心训练延长至 120,000 个 epoch 后，其性能达到了相当水平（80.8%），这表明好奇心主要增强了样本效率和学习速度，而非实现最终能力的绝对必要条件。
• 规模依赖性： 泛化性能高度依赖于组合元素的规模。随着词汇量增加（从小型到大型），智能体在未学习目标上的成功率大幅提升（从约 29% 提升至 85%），这支持了以下假设：更丰富的组合库有助于从稀疏数据中实现更好的泛化。
• 从机械记忆到泛化的演进： 通过主成分分析（PCA）进行的内部表示分析显示，在训练初期，机器人仅能在完全学习过的“句子-动作”对上取得成功。只有在动词和形容词的内部表示变得解耦（factorized）并对齐之后，对新组合的泛化才得以出现。
• 异常处理与 U 型曲线： 在实验 3 中，当使用交换后的指令-动作映射进行训练时，10 个机器人中有 9 个表现出了典型的 U 型学习曲线。内部分析显示，机器人最初会发生过度泛化（将通用规则应用于异常情况）导致错误，随后通过重新描述其内部表示来正确编码这些异常。
• 心理规划（Mental Planning）： 经过充分训练的机器人能够生成准确的“心理计划”（在没有实际感官输入的情况下模拟未来的感觉状态）以实现目标，而训练不足的机器人生成的预测则不准确，这凸显了强大的前向模型在概念化过程中的作用。

意义与主张
本文声称其结果为内在动机（好奇心）和主动推理如何支持人工智能的规模化组合泛化及异常处理提供了机制性解释。研究结果表明：

• 好奇心驱动的探索是加速发展性学习并实现高效样本复杂度的关键机制，它通过使智能体能够从有限数据中学习结构化泛化，解决了“刺激贫乏（poverty of the stimulus）”问题。
• U 型学习不仅是一种失败模式，更是**表示重构（representational redescription）**的特征信号，即智能体通过重组其内部知识来适应异常情况，这镜像了人类儿童语言习得中的模式。
• 规模至关重要： 系统性泛化的能力不仅取决于学习算法，还深受组合环境丰富程度（词汇量大小）的影响。

作者对其主张保持了谦逊的态度，明确指出该模型是一个简化的测试平台，而非人类语言发展的全面模型。它缺乏人类婴儿所具备的社会支架、共同注意力和渐进式的发展阶段。本研究旨在展示如何在最小假设下，通过好奇心驱动的感觉运动学习使结构化泛化得以涌现，而非复制人类认知发展的完整复杂性。