技术摘要：AGCLR —— 自适应门控连续潜空间推理

问题识别：概念瓶颈

大语言模型（LLMs）已展示出强大的推理能力，尤其是在思维链（CoT）提示的引导下。然而，CoT 受限于单次前向传播，其中每个生成的 Token 都会成为下一个 Token 的输入，这迫使模型过早地对推理路径做出承诺。为了解决这一问题，CoCoNuT（连续思维链）范式被引入，它通过将最后一个隐藏状态作为下一个输入嵌入，使模型能够在连续的潜空间中进行推理。这实现了在无需离散 Token 的情况下，对推理路径进行隐式的广度优先搜索。

尽管具有前景，但作者指出 vanilla CoCoNuT 存在一个关键限制，称为概念瓶颈。在多轮推理中，随着新的潜 Token 生成，中间隐藏状态会被逐渐覆盖。由于缺乏信息保留机制，随着推理深度的增加，早期步骤中计算出的关键事实会丢失。实证研究表明，虽然 vanilla CoCoNuT 在浅层任务上表现与 CoT 相当，但其在深度推理链（如 GSM8K 和 ProsQA）上的性能会发生退化，在 HotpotQA 等多跳问答任务上无法超越标准的 CoT 基线。

方法论：AGCLR

为了解决概念瓶颈，作者提出了 AGCLR（自适应门控连续潜空间推理）。该方法通过一个门控概念流（Gated Concept Stream）增强了 CoCoNuT，这是一个在所有推理轮次中持续维护的残差记忆向量（$c_t$）。

架构

在每个潜 Token 位置，模型计算一个隐藏状态（$h_t$），该状态通过三个学习到的 Sigmoid 门控进行处理，以控制当前状态与持久记忆之间的数据流：

1. 写入门 ($w_t$)： 决定多少经过门控的当前隐藏状态（$h'_t$）被提交到概念流中。这可以防止低置信度或无关的状态污染记忆。
2. 读取门 ($r_t$)： 控制提取并整合多少先前的概念流（$c_{t-1}$）到当前隐藏状态中，使模型能够访问早期轮次中的事实。
3. 遗忘门 ($f_t$)： 决定当前隐藏状态中有多少被保留，有多少被替换为检索到的记忆，从而实现对无关上下文的选择性剪枝。

更新方程定义如下：
$$\hat{h}_t = \text{LayerNorm}(h_t)$$
$$r_t, f_t, w_t = \sigma(W \hat{h}_t)$$
$$h'_t = (1 - f_t) \odot h_t + r_t \odot c_{t-1}$$
$$c_t = \text{LayerNorm}(c_{t-1} + w_t \odot h'_t)$$

经过门控处理后的隐藏状态 $h'_t$ 取代 $h_t$ 作为下一个潜 Token 位置的输入，而 $c_t$ 则作为后续轮次的持久记忆。

训练协议

AGCLR 采用了受 CoCoNuT 启发的多阶段课程学习方法：

• 阶段 0： 模型在带有显式推理步骤的标准 CoT 数据上进行训练。
• 后续阶段： 显式推理步骤被逐步替换为连续的潜 Token。在阶段 $k$ 时，前 $k$ 个步骤被替换为 $k \times c$ 个潜 Token。
• 最终阶段： 所有推理均在潜空间中进行。
  模型在 GPT-2（117M 参数）上使用该课程学习法，并在三个数据集上进行训练：GSM8K（算术）、HotpotQA（多跳问答）和 ProsQA（规划）。

核心贡献

1. 识别概念瓶颈： 作者通过实证证明，随着推理深度的增加，vanilla CoCoNuT 在中间状态中存在信息丢失，导致复杂任务性能下降。
2. AGCLR 架构： 提出了一个门控残差记忆机制，仅通过比基础 GPT-2 模型增加 1.41% 的参数量便解决了这一瓶颈。
3. 性能提升： AGCLR 在所有测试数据集上均一致优于 vanilla CoCoNuT，且随着课程深度（推理复杂度）的增加，性能优势愈发显著。

结果

在三个基准测试上的评估显示：

• GSM8K (数学)： AGCLR 达到 34.0% 的准确率，优于 vanilla CoCoNuT (31.4%)（注：CoT 基线为 40.6%，但 CoCoNuT 变体在单步数学上通常较低；AGCLR 相比于仅有潜空间的基线有显著提升）。
• HotpotQA (多跳问答)： AGCLR 达到 14.0% 的精确匹配（EM），比 vanilla CoCoNuT (10.4%) 提升了 +3.6%，并且显著高于 CoT 基线 (11.0%)。
• ProsQA (规划)： AGCLR 达到 96.0% 的准确率，而 vanilla CoCoNuT 为 92.0%。值得注意的是，vanilla CoCoNuT 的性能在最深课程阶段（阶段 6）出现退化，而 AGCLR 保持了持续的提升。

记忆保留分析

初始隐藏状态与后续轮次之间的余弦相似度分析表明，vanilla CoCoNuT 存在单调的记忆衰减（相似度从 1.0 下降到第 6 轮次的 0.126，代表 87% 的信息丢失）。相比之下，AGLR 在第 3 轮次后趋于稳定，保持约 0.22 的相似度，这对应于比基线高出 71% 的信息保留率。

消融实验证实，增益源于持久记忆机制而非仅仅是增加参数量：

• 移除写入门会导致性能降至 8.8% EM（低于 vanilla CoCoNuT）。
• 在第 2 轮次后冻结写入门，性能仅下降 0.8%（13.2% vs 14.0% EM），这表明早期信息的捕获已足够，而读/遗忘门维持了所存储信息的质量。
• 移除遗忘门会导致显著下降（8.4% EM），凸显了通过剪枝无关上下文以防止记忆污染的必要性。

重要性与主张

论文声称，AGCLR 通过引入一个持久的、门控的残差记忆，直接解决了概念瓶颈，使模型能够在迭代推理循环中维持关键事实。不同于以往在语言空间运行（如 iCoT、pause tokens）或缺乏持久状态的方法，AGCLR 能够在保持计算状态的同时，在不受约束的潜空间中进行推理，从而应对多跳任务。

作者强调，改进是由架构存储、维持和检索信息的能力驱动的，而非仅仅增加了模型容量。虽然结果在多种推理任务（数学、问答、规划）中表现一致，但论文对于其研究范围保持了审慎态度，指出实验是在单个种子及 GPT-2 124M 基座模型上进行的。该方法在更大规模模型及更广泛任务分布上的可扩展性仍有待未来验证。