技术摘要：何时重新规划：分层潜性推理中的子目标持久性

问题陈述

长程推理要求系统在稳定性（致力于中程意图）与适应性（在必要时修正该意图）之间取得平衡。在显式化推理（如思维链，Chain-of-Thought）中，每个 token 都会隐式地将系统绑定到特定的路径上。然而，在潜性推理架构（即计算发生在隐藏状态而非 token 轨迹中）中，并不强制要求这种显式的承诺。潜性推理器理论上可以在每一个微步进行修正，也可以永远不进行修正。

本文解决的核心问题是确定潜性空间中规划的最佳时间尺度：潜性推理器在修正意图之前应该维持多久的承诺？ 现有的分层推理模型（HRM）虽然耦合了慢速和快速循环，但缺乏对中程意图的显式信号，仅依赖于涌现的循环动力学。本文研究引入一个具有可控子目标持久性（$P$）的“封建式”管理者-工人接口，是否能解决稳定性与适应性的权衡问题。

方法论

作者提出了子目标增强型 HRM，这是分层推理模型（HRM）的一种扩展，通过管理者-工人架构将持久的潜性意图具体化。

架构与机制

1. 管理者-工人接口：

   • 管理者（高层）： 一个每 $T$ 个低层步骤更新一次的慢速模块。它每 $P$ 个低层步骤发射一个归一化的方向性子目标向量 $g_k$。
   • 工人（低层）： 一个执行微步的快速模块。其隐藏状态的更新通过学习到的投影 $V_L$ 受活跃子目标 $g(t)$ 的偏置影响。
   • 持久性周期（$P$）： 核心超参数。它定义了子目标在被修正前保持活跃的低层步骤数。
     • $P=1$：子目标在每一步都被覆盖（缺乏时间相干性）。
     • $P>1$：子目标保持持久，允许工人围绕单一意图组合多次更新。

2. 子目标发射：

   • 管理者将其状态 $z^H$ 投影为方向向量 $\tilde{g}_k$，并将其归一化为单位长度，以编码在潜空间中“向何处移动”，而不强制要求一个特定的绝对目标（这在非平稳动力学中是脆弱的）。
   • 标量承诺门 $\alpha_k$ 可选地根据管理者的不确定性来调节影响强度。

3. 训练目标：

   • 总损失结合了基准 HRM 目标（$L_{HRM}$）与内在对齐损失（$L_{align}$）：
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • 对齐损失： 一种基于余弦相似度的损失，奖励工人在承诺窗口 $P$ 内的隐藏状态净位移（$\Delta z^L_k$）与发射的子目标 $g_k$ 对齐。
   • 超参数 $\lambda$： 对齐损失的权重，控制对齐先验与任务梯度之间的权衡。

实验设置

• 数据集： ARC-AGI 和 ConceptARC（具体为 arc-aug-1000 和 ConceptARC-mini）。
• 指标： 主要指标为 Token 级 LM 损失（交叉熵）；次要指标包括准确率和对齐损失。
• 扫描（Sweeps）：
  • 持久性扫描： 改变 $P$（从 1 到 8），固定 $\lambda=0.05$。
  • 对齐权重扫描： 改变 $\lambda$（从 0.01 到 1.0），固定 $P=4$。
  • 消融实验： 在 $\lambda=0.10$（超过最优值）进行受控的三单元实验，以隔离干扰来源。

关键结果

1. 子目标持久性是核心旋钮

研究发现，持久性是必要的，而非可选的。

• 欠承诺（$P=1$）： 当子目标每步都进行修正时，性能显著下降（LM 损失为 1.674），相比于无子目标基准（1.640）。仅有注入机制而缺乏时间相干性会损害性能。
• 甜点区（$P \in [3, 6]$）： 性能在 $P=3$ 时大幅提升（LM 损失为 1.544，较基准下降了 0.13），并在 $P=6$ 之前保持稳健。
• 过度承诺（$P=8$）： 当 $P$ 超过最优值后，性能仅是逐渐衰减。这表明，过时（staleness）是一种比不稳定更温和的失效模式；一个略微过时的子目标仍能提供方向一致性，而瞬时修正的子目标则无法提供任何一致性。
• 复现： $P=3$ 的配置在 5 个种子下进行了复现，得到的平均 LM 损失为 1.595（标准差 0.045），证实了该结果并非单种子伪影。

2. 对齐权重（$\lambda$）的狭窄最优区间

• 对齐权重表现出在 $\lambda \approx 0.05$ 处的狭窄最优值。
• 当 $\lambda = 0.10$ 时，性能接近基准；当 $\lambda \ge 0.20$ 时，性能降至基准以下。
• 这表明，对齐损失最适合作为一种轻量级的规划先验，温和地塑造工人动力学，而不是作为一个与任务梯度竞争的主导几何约束。

3. 干扰来源（消融实验）

在 $\lambda=0.10$（超过最优值）时，完整机制的表现不如基准。一项受控消融实验隔离了原因：

• $A_{full}$（学习到的方向）： 表现低于基准（LM 损失增加 0.100）。
• $E_{random}$（随机方向）： 表现与基准几乎完全一致（LM 损失增加 0.003）。
• 结论： 干扰是专门由学习到的方向结构驱动的，而非由架构容量或辅助损失项本身引起的。当对齐权重过高时，学习到的方向会占据原本工人可以用于任务的表示容量，将工人拉向那些服务于对齐而非 LM 目标的维度。

意义与主张

论文声称确定了分层潜性推理系统中组合规划的一个基本设计原则：中程意图必须在足够多的计算步骤中保持连贯，以便形成组合结构。

• 设计原则： 没有持久性（$P=1$）的子目标机制虽然拥有组合性的架构形式（管理者、工人、意图向量），但缺乏其功能。它无法产生实现组合性所需的时间延伸结构，无法区分“规划一系列步骤”与“带有额外信号的单个步骤”。
• 稳定性-适应性权衡： 研究量化了这种权衡，表明潜性规划器需要一个最小的相干水平（$P \ge 3$）来组织计算，但过时（长 $P$）比不稳定（短 $P$）更具容忍度。
• 对齐的角色： 对齐信号充当了一种软先验。当它在引导工人而不覆盖任务特定梯度时最为有效，这由 $\lambda \approx 0.05$ 的狭窄最优值所证明。

作者将此框架化为对组合学习的贡献，证明了显式的中程意图信号在被正确持久化时，能够将受子目标调控的隐藏状态更新组装成更长程的计算。尽管其增益相对于基准而言较小且局限于 ARC 类任务，但其识别出的权衡被视为分层潜性推理的一个通用约束。