技术摘要：Autolearn——通过惊喜学习，通过验证巩固

1. 问题陈述

当前的大语言模型（LLM）缺乏在部署后从所读文档中学习的能力。新信息仅作为临时缓冲区进入上下文窗口，并在上下文结束后被丢弃。现有解决方案未能有效解决这一“学习”缺口：

• 微调（Fine-tuning） 强制进行不加区分的权重更新，导致对先前知识的灾难性遗忘。
• 检索增强生成（RAG） 避免了权重更新，但未能将信息整合到长期记忆中，遭受上下文污染，且无法形成跨文档推理。
• 知识编辑 和 持续学习 方法要么无法扩展，要么需要外部监督。

核心难点在于区分 新颖性（真正的新知识）与 噪声（看似合理的谬误或 corruption）。两者都会产生异常高的每 token 损失（惊喜度）。若无外部验证，将优化器开放给高损失内容会危及模型权重。此外，在原始文本上进行标准的监督微调（SFT）往往导致 token 序列记忆 而非语义理解，因为模型编码了确切的词序。

2. 方法论：Autolearn 流程

Autolearn 是一个自门控的后训练框架，使模型能够在无外部监督的情况下从文档中学习。它分为三个阶段，对应于惊喜检测、自我验证和记忆巩固的认知架构。

阶段 1：检测与落地（惊喜）

系统通过滑动窗口聚合每 token 损失（$s_t = -\log p_\theta(x_t | x_{<t})$）来计算 段落级惊喜度（$S_i$）。

• 标记：当 $S_i > \tau$（在已知内容上校准的阈值）时，段落被标记为“令人惊喜”。
• 落地：对于每个被标记的段落，系统记录一个落地元组 $G_i = (P_i, S_i, d_i)$，其中 $d_i$ 是下降比率（从段落开始到结束惊喜度的归一化减少量）。
• 结果：此阶段筛选出模型尚不熟悉的内容，但此时仍无法区分真正的新颖性与 corruption。

阶段 2：验证、分级与消化（自我验证）

模型不直接接受或拒绝段落，而是生成 问答链 以阐述其自身关于段落主张的知识。

• 生成：模型生成 $N$ 个问答对，其中 $N$ 随段落的惊喜度缩放（$N = \lceil S_i \cdot c \rceil$）。问题按认知来源标记：
  • [existing]：确认段落所假设的背景事实。
  • [mechanism]：探测段落中提出的具体因果步骤（例如，“蛋白质 X 是否结合受体 Y？”）。
  • [implication]：测试后果是否与已知事实冲突。
• 一致性检查：每对问答均针对模型现有知识进行验证。
  • [mechanism] 或 [implication] 问题的失败会导致链条“硬性中断”。
  • [existing] 问题的失败则被宽容处理。
• 确信深度（$k$）：链条产生一个分数 $k$（通过的问题数量）。此 $k$ 决定学习强度。早期中断的段落获得弱学习；完成完整链条的段落获得强巩固。
• 异常记录：如果链条中断，失败背后的推理被转化为以不确定性为框架的训练项（“该段落声称 X，但我对此不确定……"），使模型能够学习其知识的 边界。

阶段 3：门控权重更新（巩固）

训练在已验证的问答对和异常记录上进行。

• 确信度成比例的 $\beta_2$ 调整：框架根据确信深度 $k$ 调整 AdamW 优化器的二阶矩参数 $\beta_2$：
  $$\beta_2^{(k)} = 0.999 \cdot r^k$$
  其中 $r \in (0, 1)$ 为衰减因子。较高的 $k$（更强的验证）会略微降低 $\beta_2$，允许梯度为经过良好验证的项更高效地累积。
• 训练格式：关键在于，训练是在 问答对 而非原始文本上进行的。这迫使模型编码语义关联（问题 $\to$ 答案），而非 token 序列。

3. 主要贡献

扰动间隙指标

本文引入了 扰动间隙（改写文本与原始文本的困惑度比率）作为区分记忆与理解的指标。

• 记忆：如果模型记忆了 token 序列，它能很好地预测原始文本，但在改写文本上表现不佳，导致高间隙（$\gg$ 预训练基线）。
• 理解：如果模型学习了语义关联，它对原始文本和改写文本的预测表现相似，导致间隙接近预训练基线。
• 意义：间隙 低于 预训练基线表明“纯语义学习”，即在不记忆 token 序列的情况下提升了理解能力。

自熄灭特性

该系统具有自限制性。随着模型学习段落，其惊喜度（$S_i$）下降。一旦 $S_i$ 降至阈值 $\tau$ 以下，该段落在未来遇到时将不再被标记。随着文档中“令人惊喜”的内容被耗尽，系统自然收敛至标准 AdamW 行为。

通过数据空间门控实现选择性学习

与以往在参数空间进行门控的持续学习方法（如 EWC）不同，Autolearn 在 数据空间 进行门控。它通过逐项 $\beta_2$ 调整来控制 哪些 项目被学习以及 学习强度，这是一种此前未提出的选择性巩固机制。

4. 实验结果

实验在 Qwen3-14B 上进行（并在 Qwen3-8B/32B 和 Phi-4-14B 上复现），使用了包含 60 个段落的语料库（20 个已知，20 个新颖，20 个 corruption）。

记忆与理解

• Autolearn 是 唯一 进入“次基线”区域的方法。
  • 预训练间隙：2.204。
  • Autolearn（最佳）：2.098（$\Delta = -0.106$，$>10\sigma$）。
  • 标准 SFT（最佳）：2.194（$\Delta = -0.010$，$<1\sigma$，在噪声范围内）。
• 这证实了问答训练格式抑制了 token 序列记忆，实现了纯语义学习。

知识获取

• 随机评估：使用温度 0.7 采样，训练后生成正确新颖事实的概率显著上升（例如，石墨烯基底事实从 6% 升至 54%，$p < 10^{-4}$）。
• 新颖性与 corruption：Autolearn 在抵抗 corruption 内容方面与 SFT 持平或更优（例如，在 corrupt-direct 问题上准确率为 50.5%，而 $lr=5\times10^{-5}$ 的 SFT 为 47.4%）。
• 格式主导性：消融实验表明，问答格式 是抑制记忆的主要驱动因素。调整 $\beta_2$（比较 $r=1.0$ 与 $r=0.999$）产生的扰动间隙几乎相同，表明在当前规模下，格式而非门控是主导因素。

跨模型泛化

该模式在四个模型（Qwen3-8B、14B、32B；Phi-4-14B）中保持一致。Autolearn 始终实现比 SFT 更低的扰动间隙，且是唯一进入次基线区域的方法。

5. 意义与主张

本文主张，Autolearn 展示了 LLM 在无需外部监督的情况下实现 自主知识获取 的可行路径。其主要意义在于：

1. 解决新颖性/噪声问题：通过使用自生成的问答链进行验证，模型可以基于内部一致性区分看似合理的谬误与真正的新颖性，即使没有外部神谕。
2. 防止记忆：它证明了训练数据格式（问答 vs. 原始文本）是决定学习结果是语义理解还是死记硬背的关键因素。
3. 自我调节：该系统是“自熄灭”的，一旦理解段落便自动停止学习过程，防止过拟合和无限循环。

作者指出了局限性，包括依赖模型现有知识进行验证（这可能会验证一致的错误），以及目前需要模型足够大（例如 >30 亿参数）才能有效区分新颖性与 corruption。该框架被呈现为生物记忆巩固（海马体 - 新皮层相互作用）的计算类比，为 LLM 从阅读内容中“学习”提供了一种机制。