Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

技术摘要：没有主人的事实

问题陈述
本文研究了“内部”对话记忆的局限性。在这种模式下，语言模型（LM）通过微调将用户的对话历史直接整合进其权重中，而非依赖于从存档中检索数据（即“外部”记忆）。虽然内部记忆有望实现对检索失败的抵御能力以及与既有知识的无缝集成，但也带来了诸如幻觉和定向学习失败等风险。具体的研究问题是：当一段真实长度的对话被整合进模型的权重时，哪些信息被存储了，哪些信息丢失了？ 具体而言，模型是学习到了“谁”说了某个事实，还是仅仅学习到了“说了什么”？

方法论
本研究利用了来自 LoCoMo 基准测试（conv-42, conv-43, conv-48）的三段真实长度的双人对话，每段对话包含 629–681 个轮次。这些对话包含一个特定的对抗性类别（类别 5），即“身份交换”问题，其中问题针对发言者 A 询问一个仅由发言者 B 提到的事实。对于模型而言，正确的行为应当是拒绝回答，因为该事实并不属于发言者 A。

• 模型与整合： 基座模型为 Qwen3-4B。作者采用了 LoRA（低秩自适应）适配器（秩为 16），该适配器是在模型自生成的题目上进行训练的。基座模型读取对话窗口并编写简答题。至关重要的是，关于某一发言者的题目中有 15% 是“陷阱”，即交换了姓名，其目标答案为“未提及”。
• 训练方案 (D1)： 适配器在这些生成的题目上训练了三个轮次（epochs）。为了防止对通用知识的灾难性遗忘，作者使用了一个 KL 散度项，通过锚点文本（SQuAD 和聊天请求）将适配器与基座模型联系起来。
• 评估： 模型在原始 LoCoMo 基准测试题目（训练期间从未见过）上进行测试，涵盖四个分支：无存档的基座模型 (B0)、整合后的模型 (D)、带存档的基座模型 (B0S) 以及带存档的整合模型 (DS)。
• 干预变体： 研究测试了七种预注册的变体 (D2–D6)，旨在仅通过权重或模型信号（例如反向问题、“我不知道”示例以及置信度阈值）来修复归属错误。
• 溯源检查 (D7)： 实现了一种针对原始存档的模型无关检查。它将用于回答的检索轮次与问题中提到的发言者进行对比。如果答案与另一位发言者的轮次匹配度更高，则强制模型拒绝回答。
• 严谨性： 所有实验均经过预注册。标签由 LLM（Claude）根据固定规则生成，并严格处理了边界情况。

关键结果

1. 整合对事实有效，但对所有者无效：

   • 在没有存档的情况下，基座模型 (B0) 对几乎 100% 的问题都采取拒绝回答的态度（准确率为 0.00）。
   • 整合后的模型 (D) 成功检索到了事实，在三个对话的标准基准测试问题（类别 1–4）上达到了 28–39% 的准确率。
   • 通用知识（TriviaQA）保持稳定，未显示出因整合而导致的任何可检测到的损伤。

2. 归属失败：

   • 主要的失败模式是归属错误。在“身份交换”类问题上，整合后的模型仅在 9–33% 的情况下会拒绝回答。
   • 模型通常会自信地给出事实作为答案，尽管该事实属于错误的发言者。在大约 30% 的此类错误中，模型的答案与另一位发言者的第一人称轮次相匹配。
   • 模型学习了“主题-答案”的关联，但将发言者的姓名视为一个弱线索。

3. 仅靠权重的修复手段无效：

   • 试图通过反向问题、提供“我不知道”示例或置信度阈值来教导模型拒绝回答的变体 (D2–D6) 在留存测试（held-out conversations）中均未奏效。
   • 这些方法产生了一条权衡曲线：增加对身份交换问题的拒绝率是以牺牲整体准确率为代价的（每增加 0.40 的拒绝率，会导致 0.09–0.17 的准确率损失）。
   • “我不知道”示例教会了模型陷阱的“形式”，而非实际的知识边界。模型在留存测试上的置信度分数在正确与错误的归属之间并无显著差异（AUROC 约为 0.54–0.56）。

4. 存档检查的高效性：

   • 针对原始存档的模型无关溯源检查 (D7) 表现显著优于仅靠权重的解决方法。
   • 它将身份交换问题的拒绝率从约 0.17 提升至 0.45–0.47，而仅造成了 0.005–0.042 的准确率损失。
   • 该成本仅为达到相同拒绝水平时，仅靠权重变体所产生成本的 五分之一到二分之一。
   • 注：关于预注册： 在两次运行中的一次，准确率损失（7.0%）略微超过了预注册限制（5%），因此作者根据其严格的规则，将该检查报告为“未采用”，尽管其效率增益显著。

意义与主张
本文得出结论：将对话整合进模型的权重中存储了“说了什么”，但并未存储“谁说的”。

• 互补角色： 作者认为参数化记忆（权重）与外部存档是互补的。权重擅长持有知识，而存档对于持有溯源性（事实的所有权）至关重要。
• 现有补救措施的局限性： 目前通过操纵训练数据或置信度阈值来迫使模型拒绝回答的技术是低效的，因为模型在技术层面上对事实本身是“正确”的，这使得内部信号难以检测到归属错误。
• 实践建议： 对于个人助手而言，仅依赖权重整合不足以实现准确的归属。存档应当被保留，其目的不一定是为了每一次检索，而是作为溯源检查的来源，以验证发言者的所有权。

本研究强调，虽然内部记忆是知识保留的一种可行机制，但目前它缺乏在没有外部验证的情况下，将事实与其特定发言者进行绑定的内在能力。