Learning to select computations in recurrent neural circuits

该研究通过结合理性元推理理论与元学习算法，构建了一个能够学习选择计算过程的循环神经网络模型，成功模拟了灵长类及人类在决策与规划任务中的行为特征和神经动力学，从而为大脑如何实现自适应认知控制提供了统一的机制性解释。

要点

这篇论文讲述了一个关于**“大脑如何聪明地决定‘想什么’以及‘什么时候想’"**的故事。

想象一下，你站在电影院的爆米花摊前。你面临一个选择：买一大桶爆米花吗？

• 你可以直接凭直觉买下来（行动）。
• 你也可以回想上次吃的味道（回忆）。
• 或者想象排队要多久（模拟）。
• 甚至计算一下价格是否划算（计算）。

每一个“想”的动作（回忆、模拟、计算）都需要消耗你的时间和精力（就像手机耗电一样）。如果你什么都想一遍，你可能还没决定好，电影就开场了；如果你什么都不想，又可能买到了难吃的爆米花。

人类和聪明动物的厉害之处，就在于懂得在“想”和“做”之间找到完美的平衡。 这篇论文就是为了解开这个谜题：大脑到底是怎么学会这种“权衡”的？

1. 核心概念：把“思考”变成一种“行动”

研究人员做了一个非常有趣的假设：把“思考”也看作是一种“行动”。

• 普通行动：比如伸手去拿爆米花，这会改变外部世界（爆米花到了你手里）。
• 思考行动：比如在大脑里“回放”上次的味道。这不会改变外部世界，但会改变你大脑内部的状态（让你更清楚该不该买）。

这就好比你的大脑里有一个**“超级管家”（前额叶皮层，PFC），它手里有一堆“信息工具”（海马体、记忆区等）**。管家可以决定：

• 是直接去拿爆米花（行动）？
• 还是先问管家：“上次味道咋样？”（调用记忆工具）
• 或者问：“排队人多吗？”（调用模拟工具）

每次调用工具都要付“电费”（认知成本），但换来的信息能帮你做出更好的决定。

2. 他们做了什么？（造了一个“电子大脑”）

为了验证这个想法，作者们训练了一个人工智能（AI）模型。这个模型就像一个刚出生的婴儿，它不知道该怎么思考，只知道：

1. 行动：选爆米花。
2. 思考：调用工具获取信息（但这要花钱/扣分）。
3. 目标：在有限的“电量”（时间/精力）下，吃到最香的爆米花（获得最大奖励）。

通过成千上万次的训练，这个 AI 学会了**“元学习”（Meta-learning），也就是“学习如何学习”**。它不再死板地执行任务，而是学会了根据情况灵活调整：

• 如果问题很简单，它就不想太多，直接做。
• 如果问题很复杂，它就愿意多花点“电费”去多调用几次工具，把信息算清楚。

3. 惊人的发现：AI 和人类、猴子长得太像了！

训练好之后，作者们把这个 AI 扔进几个不同的任务里，结果发现它表现得和人类、甚至猴子一模一样：

• 在简单的选择任务中：

  • 人类行为：当我们犹豫不决时，我们的眼睛会来回扫视不同的选项，而且会盯着那些“不确定”的选项看更久。
  • AI 表现：这个 AI 也学会了盯着那些“不确定”的地方看，而且它的内部运作模式（神经动态）和猴子大脑中负责决策的区域（眶额皮层）简直如出一辙。就像 AI 和猴子的大脑里都在上演着同样的“思想舞蹈”。

• 在复杂的规划任务中：

  • 人类行为：当我们要走迷宫或规划路线时，我们会像下棋一样，在脑海里一步步推演：“如果我走这里，下一步会怎样？”这叫**“心理模拟”**。
  • AI 表现：这个 AI 也学会了这种“推演”。它会在脑海里一步步模拟未来的路径，而且这种模拟的过程，竟然和人类大脑中海马体（负责记忆和空间）与前额叶皮层（负责规划）的互动模式完全吻合。

4. 这意味着什么？（通俗总结）

这篇论文最大的贡献是把两个原本分开的理论世界连在了一起：

1. 理性推理理论：认为人类是理性的，会计算成本收益。
2. 机器学习理论：认为大脑是通过不断试错来学习的。

作者发现，“学会如何思考”其实就是“学会如何从自己的思考过程中学习”。

• 以前的观点：大脑里有个小人在指挥我们思考（这很荒谬，因为小人自己怎么思考呢？）。
• 现在的观点：大脑是一个自我进化的系统。它通过不断的“尝试思考”和“评估思考的效果”，自己学会了什么时候该停下来，什么时候该继续想。

5. 一个生动的比喻

想象你的大脑是一个**“创业公司”**：

• CEO（前额叶皮层）：负责做最终决定。
• 各部门（海马体、记忆区等）：负责提供数据、做模拟、查资料。
• 预算（认知资源）：非常有限，不能无限期开会。

以前的理论认为，CEO 手里有一本写好的“操作手册”，告诉他在什么情况下该查什么资料。
但这篇论文告诉我们：没有操作手册！ CEO 是通过**“试错”**学会的。

• 有一次，CEO 查了太多资料，结果错过了商机（亏了）。
• 另一次，他查得太少，决策失误（也亏了）。
• 经过无数次这样的“创业演练”，CEO 终于学会了**“直觉”**：什么时候该叫停会议，什么时候该让财务部再跑一趟。

结论：
这篇论文告诉我们，人类那种灵活、高效、能随时调整策略的聪明才智，并不是因为大脑里有一个全知全能的“神”，而是因为大脑学会了一套**“自我管理的算法”**。它知道如何分配有限的精力，在“想”和“做”之间找到最优解。这不仅解释了人类为何如此聪明，也为未来制造更聪明、更省电的 AI 提供了新的蓝图。

技术摘要

这是一份关于论文《Learning to select computations in recurrent neural circuits》（在循环神经网络电路中学习选择计算）的详细技术总结。

1. 研究背景与问题 (Problem)

生物计算的两个核心特征是灵活性和效率。人类和其他高智能动物能够根据认知资源的限制，动态地决定“思考什么”以及“何时思考”，这种能力被称为元推理（Meta-reasoning）。现有的研究面临两大挑战：

1. 算法挑战：寻找最优的计算策略本身就是一个昂贵的计算过程。传统的理性元推理模型通常假设计算策略是预先定义好的，或者依赖于研究者手动设计的特征，缺乏生物合理性，难以解释生物体如何习得这些策略。
2. 表征挑战：大多数研究将计算策略定义为算法和符号表示空间的结合，假设了离散的、符号化的认知架构。然而，大脑是一个分布式的神经网络系统，目前尚不清楚元推理如何在神经动力学层面实现，也缺乏在神经活动中寻找此类过程的证据。

核心问题：大脑如何通过神经机制实现自适应的计算控制？即，生物体如何学习在有限的资源下，选择最有效的内部计算（如记忆检索、模拟未来）来辅助决策？

2. 方法论 (Methodology)

作者提出了一种结合**理性元推理（Rational Meta-reasoning）理论与元强化学习（Meta-Reinforcement Learning, Meta-RL）**的框架，构建了一个循环神经网络（RNN）代理。

• 模型架构：

  • 使用带有门控循环单元（GRU）的 RNN，采用 Actor-Critic 架构。
  • 动作空间扩展：代理的动作不仅包括改变环境状态的“物理动作”（如购买爆米花），还包括不改变环境但生成信息的“心理动作”（Mental Actions，如回忆过去、模拟未来）。
  • 信息生成器（Information Generator）：这是一个抽象模块，模拟大脑其他区域（如海马体、基底节等）。当代理执行“心理动作”时，该模块根据任务特定逻辑返回决策相关信息（如记忆中的价值、未来的状态），并作为输入反馈给 RNN 的隐藏状态。
  • 成本机制：每个心理动作都会产生信息，但同时也伴随着计算成本（负奖励）。代理的目标是最大化累积奖励（外部效用减去内部计算成本）。

• 训练机制：

  • 使用策略梯度方法（Policy Gradient）进行训练。
  • 代理在训练过程中学习如何权衡“获取更多信息”与“节省计算成本”。
  • 训练完成后，参数冻结，所有适应性行为仅通过 RNN 的循环动力学（Recurrent Dynamics）实现，模拟大脑在推理过程中的快速适应。

• 实验任务：

  1. 简单选择任务：基于人类眼动数据（Callaway et al., 2021），代理需要在多个选项中通过采样（注视）来估计价值并做出选择。
  2. 猴子轨道额叶皮层（OFC）任务：复现 Rich and Wallis (2016) 的实验，分析神经动力学中的价值交替模式。
  3. 多步规划任务：基于树状图搜索任务（Callaway et al., 2024b），代理需要规划路径以最大化累积奖励，模拟人类的视线扫描和规划策略。
  4. 人类规划神经动力学任务：基于 Vikbladh et al. (2024) 的 MEG 数据，模拟人类在环形图上的逐步心理模拟（Rollouts）。

3. 关键贡献 (Key Contributions)

1. 统一框架：首次将元推理（控制计算过程）与元学习（学习如何学习）统一起来。提出“学习推理”本质上是“学习从自身认知操作产生的信息中学习”。
2. 神经可实现的元推理模型：构建了一个具体的神经动力学模型，证明了 RNN 可以通过元强化学习自动习得最优的计算选择策略，而无需人为指定算法或符号表示。
3. 神经机制解释：
   • 揭示了计算选择如何反映在神经动力学中（如隐藏状态的几何结构）。
   • 为前额叶皮层（PFC）与其他脑区（如海马体）的交互提供了机制性解释：PFC 作为控制器（RNN），其他脑区作为信息生成器，共同实现灵活的序列计算。
4. 行为与神经的双重验证：模型不仅在行为层面（眼动、决策策略）复现了人类和猴子的数据，还在神经层面（OFC 的价值编码、PFC/海马体的模拟动力学）复现了关键的神经生理特征。

4. 主要结果 (Key Results)

• 简单选择任务：

  • 策略学习：代理学会了最优策略，即优先采样那些价值估计不确定性高或价值接近当前最佳选项的项目。
  • 信念状态表征：通过解码分析发现，RNN 的隐藏状态编码了贝叶斯信念状态的充分统计量（后验均值和精度）。主成分分析（PCA）显示，隐藏状态在低维子空间中形成了网格状结构，对应于不同物品的后验均值，且对采样顺序具有不变性。

• 猴子 OFC 神经动力学：

  • 价值交替：代理的隐藏状态动力学复现了猴子 OFC 神经元在决策期间的“价值交替”现象（即在两个选项的价值表征之间切换）。
  • 状态转换：代理和猴子都表现出：选中选项价值越高，状态转换越少；未选中选项价值越高，转换越多。
  • 梯度旋转：发现了价值梯度的旋转现象。随着第二个选项信息的输入，第一个选项的价值梯度方向发生旋转，表明神经表征利用时间组织子空间（Temporal Subspaces）来编码序列信息。

• 人类规划任务：

  • 类人搜索策略：代理学会了类似人类的“最佳优先搜索”（Best-first search）策略，倾向于关注深度较浅的节点和父节点，并优先探索路径价值（Path Value）较高的前沿节点。
  • 局部价值备份：代理在查询状态后，会进行类似强化学习（RL）的局部价值更新（Bellman backup），且这种更新受到兄弟节点价值的门控控制（Optimistic updates）。
  • 记忆限制：在引入记忆噪声后，代理表现出更多重访高价值状态的行为，模拟了人类在记忆受限时的策略调整。

• 人类规划神经动力学（MEG）：

  • 逐步模拟（Rollouts）：代理的隐藏状态动力学完美复现了人类 MEG 数据中的“逐步模拟”特征。当起始点偏移一个状态时，神经活动模式的时间相关性也相应地偏移一个时间步，证明了代理通过循环动力学实现了类似人类的心理模拟。

5. 意义与影响 (Significance)

• 理论突破：该研究为“适应性控制思想”（Adaptive control of thought）提供了机制性的神经解释。它表明，复杂的元推理能力不需要一个外部的“小人”（Homunculus）来指挥，而是可以通过单一的循环网络系统，通过与外部信息生成器的交互，通过元学习自动习得。
• 连接规范理论与神经科学：成功地将规范性的元推理理论（基于贝叶斯和决策理论）与分布式的神经计算模型（RNN）联系起来，弥合了计算认知科学与神经科学之间的鸿沟。
• 人工智能启示：为构建高效、灵活的人工智能系统提供了新思路。当前的 AI 往往依赖巨大的计算量，而大脑以极高的效率运行。该模型展示了如何在类脑架构中同时实现灵活性和效率，即通过“学习如何计算”来优化资源分配。
• 未来方向：该框架为研究大脑不同区域（如 PFC 与海马体）如何协同工作以支持规划、记忆和决策提供了可计算的模型，并暗示了计算策略本身也可以随着任务结构的学习而进化。

总结：这篇论文通过一个元强化学习的 RNN 模型，有力地证明了生物体可以通过学习来动态选择计算过程，从而在有限的认知资源下实现最优决策。该模型不仅在行为上复现了人类和猴子的决策模式，更在神经动力学层面捕捉到了大脑处理信息的深层机制，为理解智能的神经基础提供了强有力的理论框架。