Illuminating the Three Dogmas of Reinforcement Learning under Evolutionary Light

技术摘要：在进化之光下阐明强化学习的三大教条

问题陈述
本文探讨了强化学习（RL）的形式化定义与生物智能体本质之间日益扩大的脱节。随着人工系统从被动学习者向自主智能体转变，作者认为标准的强化学习框架面临三个核心“教条”（或前提），这些教条不足以构成一个完整的智能体理论：

1. T1（环境）： 环境被形式化为马尔可夫决策过程（MDP），优先考虑环境的结构而非智能体的正式理论。
2. T2（学习）： 学习被定义为向终端解进行的策略优化（搜索），忽略了将适应视为一个开放式过程的概念。
3. T3（目标）： 智能体被定义为标量奖励的最大化者，作者认为这未能捕捉到生物目标的多元性和上下文相关性。

作者指出，尽管近期的批判（例如 Abel 等人，2024）已经识别了这些问题，但仍缺乏一个具体的、具有生物学基础的替代方案。本文旨在利用进化论和热力学来重构这些前提，从而提供一个更忠实于生物本质的适应性智能体描述。

方法论与理论框架
本文采用的是概念重构而非经验实验，借鉴了三个不同的理论领域：

• 开放式进化算法： 利用生态位（niching）、共进化（coevolution）和最小标准（minimal criteria）等概念，将适应建模为生成多样且不可公度（incommensurable）的解的过程，而非仅仅是收敛至最优解。
• 达尔文神经动力学： 利用达尔文神经动力学理论（如 Szathmáry 等人的研究），该理论表明进化选择机制（复制、变异、竞争和选择）可以在单个生物体的生命周期内运行（例如在神经动力学或免疫系统中），从而弥合跨代进化与生命周期内学习之间的鸿距。
• 热力学与自生论（Autogenesis）： 应用非平衡热力学和自生论（Deacon 等人）来奠定进化的先决条件。这涉及分析“负熵”（自我维持）和“非周期晶体”（遗传），以解释如何在不假设预设模板或外部设计者的情况下，产生一个自我持续的单元。

核心贡献与论点

1. 重构适应（T2）：从搜索到新颖性
作者认为，适应不应仅被视为搜索的对立面，而应被视为一种不同类型的搜索：开放式新颖性搜索。

• 双重引擎： 生物适应依赖于两个互补的引擎：(a) 适应性驱动的优化（解决已知的不确定性）和 (b) 开放式多样性生成（应对未知的未知）。
• 机制： 本文通过三种机制使第二个引擎的操作化：
  • 生态位（Niching）： 创建新的生态位以避免直接竞争。
  • 共进化（Coevolution）： 智能体与环境相互修改彼此。
  • 最小标准（Minimal Criteria）： 基于二元生存阈值而非基于梯度的优化进行生存。
• 启示： 标准的 MDP 形式化排除了“奈特式不确定性”（Knightian uncertainty，即未知的未知）。一个完整的适应理论需要第二个引擎来生成新的目标和表征，进而供第一个引擎进行利用。

2. 解构奖励假设（T3）
本文通过证明“奖励假设”（标量奖励最大化之充分性）无法应对 Bowling 等人（2023）建立的公理化基础，对该假设提出了挑战：

• 完备性的失效： 进化过程会产生不可公度的解（例如不同生态位中的不同物种），这些解无法在单一的偏好排序上进行比较。生物智能体的终极目标是自我持续和生态位创造，而非最大化一个固定的标量目标。
• 独立性的失效： 生物智能体在运行多个并发的工具性目标（如温度、pH 值、渗透压等的稳态设定点）。这些驱动力的相对紧迫程度是上下文相关的（例如，捕食者的出现会改变渴求感与安全感的优先级），这违反了要求偏好不随其他选项变化而保持稳定的“独立性”公理。
• 奖励的起源： 本文将奖励函数的来源追溯至稳态设定点，而这些设定点本身又是进化的产物。这把目标问题（T3）与智能体问题（T1）联系了起来。

3. 进化的极限与热力学基础（T1）
作者认为，将“进化”作为智能体的来源是不充分的，因为这会导致解释性回归。进化预设了一个自我复制、自我维持的单元，但并未解释该单元先决条件的起源。

• 热力学先决条件： 作者提出，这种“推迟链条”（奖励 $\to$ 稳态 $\to$ 进化）必须最终落实于热力学。
• 自生论（Autogenesis）： 他们引入了“自生论”的概念（即两个自我消除的耗散过程之间的相互约束过程），将其作为产生自我持续、自我复制单元的机制。
• 智能体定义： 真正的智能体并非由外部设计者或预设模板定义，而是由一个通过产生自身约束来对抗热力学第二定律以维持自身的系统所定义。这种“自我产生”的单元是遗传和 T2、T3 中讨论的进化动力学的必要基础。

结果与主张
本文不呈现实验结果，而是提供了一个理论综合，并提出以下主张：

• 概念解决： 它提供了一套词汇，用以区分“指令式”学习（基于梯度的）与“选择式”学习（生成预先存在于问题之前的候选者），并认为生物智能体两者皆需。
• 公理化反驳： 它证明了标量奖励函数所需的公理（完备性和独立性）在结构上与生物生存的多目标、上下文相关性质是不相容的。
• 基础性转向： 它指出，不能仅基于信息论或进化算法来构建强化学习的智能体形式化理论；它必须植根于作为一个自我维持、耗散系统的热力学现实。
• 信息反转： 它建议反转生物学的“中心法则”：与其说模板（DNA）决定系统，不如说必须先存在一个自我维持的系统（解释者）来赋予模板意义。

意义
本文声称其意义在于提供了一个“更具生物学忠实度且有形式化基础的关于什么是适应性智能体的描述”。

• 对于强化学习（RL）： 它表明，旨在实现真正自主性的未来 AI 系统必须超越标量奖励优化，并纳入开放式新颖性搜索和多目标稳态机制。
• 对于 AI 安全/对齐： 通过将智能体重新定义为热力学意义上的自我持续斗争而非数学优化问题，它为“对齐问题”提供了新视角，即目标不是静态的输入，而是系统为维持其组织而进行的斗争中涌现的属性。
• 对于开放式 AI： 它与前沿 AI 的趋势一致，即利用开放式进化原则进行自动化发现，并认为这些机制不仅是工程工具，更反映了复杂适应系统（包括科学本身）进化的基本本质。

作者总结道，虽然他们的热力学描述是一个“必要前提”而非人类水平智能的完整理论，但它为任何试图从第一性原理解释目标和奖励如何产生的智能体形式化理论提供了必要的基石。