💬 NLP

REFACT: Adaptive Fact Restatement for Compact and Faithful Chain-of-Thought Reasoning

该论文介绍了 REFACT，这是一个自适应事实重述框架，通过教师-学生训练流水线来优化大语言模型，旨在通过仅在必要时选择性地重述源事实，从而生成简洁、忠实且具有良好依据的思维链推理。

原作者： Zhensheng Jin, Xin Dai, Zhenghao Liu, Chaojun Xiao, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhensheng Jin, Xin Dai, Zhenghao Liu, Chaojun Xiao, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜题的侦探，但交给你的不是单一的线索，而是一个装满书籍的图书馆，其中有些书是关于你的案件的，而另一些则只是关于猫或烹饪的随机故事。这就是大语言模型（LLM）在面对长文本推理（long-context reasoning）时的世界。这些是超级聪明的计算机程序，能够阅读并理解海量的文本。然而，它们有一个棘手的习惯：有时，它们并不专注于眼前的线索，而是依赖于它们从训练中“记住”的东西，或者被图书馆中无关的故事所分心。这会导致幻觉（hallucallinations），即模型编造事实或忽略真相。为了解决这个问题，研究人员尝试让这些模型“引用”它们的来源，就像学生写论文一样。但以往的方法往往很笨拙，要么是在最后才附上一份来源列表（就像你在考试结束后才看的参考答案），要么是强迫模型在每提出一个观点时都复制粘贴大段的文本，这使得思考过程变得缓慢且混乱。

ReFact 应运而生，这是一种旨在教导这些 AI 侦探变得更聪明、更快、更诚实的新方法。把 ReFact 想象成一个培训计划，它不仅教 AI 阅读什么，还教它何时查看笔记以及如何记录笔记。它不再盲目地复制整页内容，也不再完全忽略图书馆，而是训练模型停顿一下，仅抓取它证明下一步所需的特定句子或短语，然后立即继续。这就像是一个学生在考试手册中疯狂抄录整本教科书，与一个知道只需引用哪三行文字就能获得满分的专业人士之间的区别。论文指出，通过教导 AI 进行选择性和自适应的引用，它可以更准确地解决复杂问题，避免编造事实，并且还能在比以前使用更少词汇的情况下完成任务。

问题所在：“过多”与“过少”的困境

想象一下你正在尝试搭建一座积木塔，但每次你添加一块新积木时，都被迫将之前的整个塔粘在新的积木上。这就是当 AI 模型尝试使用旧方法处理长文档进行推理时发生的情况。它们要么：

忽视证据： 它们根据自己已经“知道”的内容进行猜测，即使文档中说的是别的内容。
过度引用： 它们将文档的大块内容复制粘贴到它们的思考过程中，使得它们的“想法”变得极其冗长、重复且缓慢。

作者发现，现有的方法通常将引用视为贴在答案背后的便利贴，而不是思考过程本身的重要组成部分。这意味着 AI 可能会说出正确的话，但却无法利用提供的特定文本来证明其正确性。

解决方案：ReFact（自适应事实重述）

ReFact 就像一位聪明的教练，教导 AI 成为一名“事实极简主义者”。它不只是说“引用你的来源！”，它还教导 AI 询问：“我现在需要引用这个吗？如果需要，我是需要整个段落，还是只需要这一个词？”

这个过程分为两个主要阶段，就像一种师徒关系：

教师步骤： 一个非常强大的 AI（“老师”）观察一个问题和一份长文档。它找出解决谜题所需的精确的微小信息片段。然后，它写出一个“推理路径”，在这个路径中，它明确地重述那些必要的、仅有的事实，并清晰地标记它们（例如 <evidence 1>），并解释它们如何与下一步相连。这就像一位名厨向学生展示应该加入哪一撮盐，而不是把整个调料架都倒进锅里。
学生步骤： 一个较小、较快的 AI（“学生”）向这些完美的示例学习。它通过两个阶段练习这项技能：首先，它模仿老师的风格（监督微调）；然后，它玩一个游戏，通过保持准确、忠于原文并保持推理简洁明了来获得“分数”（奖励）（强化学习）。

研究发现：少即是多

研究人员在几个具有挑战性的数据集上测试了 ReFact，在这些数据集中，AI 必须在巨大的文本墙（有些长达 128,000 字）中寻找答案。结果非常高效：

更聪明的答案： 与其他方法相比，ReFact 提高了 AI 正确回答问题的能力。它不仅仅是猜测；它将答案锚定在文本中。
“紧凑”的胜利： 这是最大的惊喜。ReFact 不仅变得更好了，而且变得更快了。通过仅重述本质的事实，AI 使用的“Token”（文本的构建模块）显著减少。在某些测试中，与那些试图做到详尽无遗的其他方法相比，它使用的推理 Token 数量不到后者的一半。它证明了你不需要写一部小说来解开谜团；你只需要正确的线索。
对抗“虚假”事实： 当文档中的内容与 AI 从训练中“记住”的内容相矛盾（例如反事实场景）时，ReFact 能够更好地坚持文档内容。它抵制了退回到旧记忆的冲动，表现出更高的“忠实度”（faithfulness）于所提供的文本。
质量胜过数量： 论文测量了 AI 重述事实的数量。ReFact 重述的事实远少于其竞争对手，但仍实现了更高的“F1 分数”（衡量引用的事实与真实支持证据匹配程度的指标）。这表明 AI 学会了做一名狙击手，而不是一台机枪。

总结

ReFact 表明，可靠的 AI 推理关键不在于强迫模型阅读所有内容或引用所有内容。相反，关键在于教导模型具备自适应能力。它学会了识别何时一个事实至关重要，以合适的详细程度重述它，然后继续前进。通过将引用从一个枯燥的后置环节转变为思考过程中积极、战略性的部分，ReFact 帮助 AI 模型变得更加值得信赖、更高效，并且不太容易在长文档的噪音中迷失方向。这是迈向 AI 不仅仅是“多言”，而是“清晰思考”的一步。

技术摘要：ReFact —— 用于紧凑且忠实思维链推理的自适应事实重述

1. 问题陈述

大型语言模型（LLMs）越来越多地依赖长形式推理来解决涉及长上下文输入的复杂任务。然而，现有模型往往难以使其推理过程与提供的上下文证据保持一致，特别是在证据不完整、存在噪声或与模型的参数化知识冲突时。这种失配会导致“不忠实”的思维链（CoT），即模型忽略相关上下文、依赖与输入相矛盾的内部知识，或生成幻觉式的推理步骤。

目前用于增强推理落地性（grounding）的方法大致分为两类，两者均存在局限性：

基于引用的生成（Citation-Based Generation）： 这些方法在生成过程中或生成后附加引用以提高透明度。然而，它们通常将引用视为外部参考，而非推理过程的组成部分，未能确保所引用的信息足以支持中间推理。
事实重构推理（Fact-Reproducing Reasoning）： 这些方法要求 LLM 显式地重述上下文中的支持事实。虽然这提高了对齐度，但对重述的硬性要求往往会损害推理轨迹的紧凑性和连贯性，导致产生冗余、过度引用的痕迹，无法自适应地利用证据。

核心挑战在于如何使 LLM 能够确定何时需要上下文落地，以及如何以适当的粒度来重述源事实，以确保可靠、紧凑且忠实的推理。

2. 方法论：ReFact 框架

ReFact（自适应事实重述）是一个旨在使 LLM 能够仅在特定推理步骤需要时，选择性地以不同粒度（实体、短语、句子或段落）重述源事实的框架。该框架采用了两阶段训练流水线：监督微调（SFT），随后是强化学习（RL）。

2.1 训练数据构建

作者通过从现有的问答数据集（HotлоtQA_CARE 和 MuSiQue）中合成自适应引用推理轨迹来构建数据集（ $D_{training}$ ）。

教师模型： 一个更强的教师 LLM（Gemini-3.1-preview）生成高质量的推理轨迹。通过提示词引导它根据上下文提供的“支持事实”来决定何时进行引用以及如何重述事实（粒度和形式）。
长度多样化的上下文： 为了确保在长上下文场景下的泛化能力，将金标准上下文插入到不同长度（32k、64k、128k token）的干扰文档中，以模拟现实世界中的长上下文挑战。
质量过滤： 生成的轨迹通过四个标准进行过滤：
1. 格式： 正确使用标签（<evidence N>...</evidence>）并将推理与答案分离。
2. 准确性： 最终答案与金标准匹配。
3. 可追溯性： 所有引用的内容必须与支持事实逐字一致。
4. 可回答性： 验证器模型必须能够仅使用被引用的内容推导出正确答案，以确保引用的充分性。

2.2 两阶段训练流水线

学生模型（Qwen3-4B 和 Qwen3-8B）通过以下方式进行优化：

冷启动 SFT： 模型在策划的（问题, 长上下文, 推理轨迹）对上进行训练，以学习输出格式以及将推理落地于事实的行为。
群体相对策略优化（GRPO）： 模型通过一个平衡了四个组件的奖励函数（ $R$ $R$ ）进行进一步优化：
- $R_{format}$ ：结构正确性。
- $R_{acc}$ ：答案正确性。
- $R_{trace}$ ：引用内容对源内容的忠实度。
- $R_{ans}$ ：引用内容对回答问题的充分性。
  最终奖励为加权和： $R = \lambda_1 R_{format} + \lambda_2 R_{acc} + \lambda_3 R_{trace} + \lambda_4 R_{ans}$ 。

3. 核心贡献

自适应引用机制： 与强制执行固定引用位置或事后归因的先前工作不同，ReFact 教会模型自适应地确定事实重述的必要性和粒度。这使得推理轨迹更加密集且忠实，同时避免了不必要的冗余。
SFT-to-RL 框架： 本文提出了一个特定的训练流水线，从学习引用格式（SFT）转向优化引用的效用以辅助推理（RL），确保引用的事实不仅存在，而且足以支持推理。
紧凑且忠实的推理： 该方法证明了提高忠实度并不需要更长的推理轨迹；事实上，ReFact 在保持或提高准确性的同时，生成的推理轨迹显著缩短。

4. 实验结果

实验在 LongBench v1/v2、LV-Eval（16k–128k 上下文）和 ConFiQA（反事实忠实度）上进行。

长上下文问答性能： ReFact 在 LongBench v1 和 LV-Eval 上持续优于基准模型（Zero-Shot, LongAlign, LongFaith, CARE）。它在不同上下文长度（高达 128k）下实现了更高的 F1 分数，同时生成的推理 token 数量大幅减少（例如，与 CARE 相比，token 使用量减少了约 60-70%）。
引用质量与效率： 分析表明，ReFact 实现了更高的引用 F1 分数（更好地与金标准证据对齐），同时与 Zero-Shot 和 CARE 相比，每个轨迹重述的事实显著减少。这表明模型学会了仅选择对回答问题充分的证据。
反事实忠实度： 在上下文与参数化知识相矛盾的 ConFiQA 上，ReFact 展示了更高的源偏好（PS）和更低的参数覆盖（PO）。它更有可能遵循提供的上下文而非记忆中的事实。
机制分析：
- 困惑度（Perplexity）： ReFact 轨迹产生的金标准答案困惑度较低，表明其为最终预测提供了更强的引导。
- FFN 激活： 对前馈网络（FFN）激活的分析显示，与 Zero-Shot 相比，ReFact 在中深层表现出较低的激活比例。由于这些层与参数化记忆检索相关，这表明 ReFact 较少依赖于与上下文冲突的内部知识。
消融实验： 移除“可回答性”奖励或“证据对齐”监督会导致性能下降，证实了优化证据的充分性和显式对齐至关重要。

5. 重要性与主张

本文声称 ReFact 在使 LLM 推理既紧凑又忠实方面迈出了重要一步。通过将引用从外部参考转变为自适应的中间推理状态，ReFact 使模型能够：

减轻认知负荷： 通过仅重述必要的事实，推理过程保持简洁。
增强可信度： 模型不易产生幻觉或参数覆盖，因为它被明确训练为验证其推理步骤是否得到所提供上下文的支持。
提高效率： 推理 token 的减少表明，高质量的推理并不需要冗长、重复的重述，从而使长上下文推理在计算上更加高效。

作者得出结论，实现忠实的长上下文推理的关键不在于强迫更多的引用，而在于教导模型如何自适应地选择并以合适的粒度整合正确的事实。