💬 NLP

Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision

本文介绍了 Re3，这是一个整体性框架以及随附的 Re3-Sci 数据集，该数据集包含标注过的科学论文修订、评审和编辑摘要，旨在实现对协作式文档修订的建模，并评估大语言模型在自动化编辑分析和促进基于文本的协作方面的能力。

原作者： Qian Ruan, Ilia Kuznetsov, Iryna Gurevych

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Qian Ruan, Ilia Kuznetsov, Iryna Gurevych

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观察一群朋友如何共同创作一篇故事。一个人起草了一个段落，另一个人读完后说：“这一部分很令人困惑，而且那个事实是错误的。”第一个人随后重写了该段落，而第三个人写下了一份笔记，解释了他们为什么要做出这些修改。

这篇题为 Re3 的论文，旨在构建一张地图，来精确理解这种混乱、反复进行的协作过程是如何运作的。作者们意识到，虽然计算机在阅读文本方面已经做得很好，但在理解修改背后的“对话”方面却表现得很糟糕。他们想要创建一个系统，将以下三者联系起来：

评审（The Review）： 反馈意见（例如：“修正这个语法”）。
修订（The Revision）： 对文本进行的实际修改。
回应（The Response）： 作者对所做改动的解释。

问题所在：缺失全局观

在此之前，研究人员是分别研究这些部分的。他们研究句子如何变化，或者研究评审是如何撰写的，但他们没有一种方法能同时看到全貌。这就像是试图通过单独观看预告片、剧本和导演笔记来理解一部电影，却从未看过电影本身。

作者认为，要真正理解人类如何进行协作，你需要看到整篇文档，以及每一个改动是如何融入宏大叙事的。

解决方案：Re3 与 “Re3-Sci” 数据集

为了解决这个问题，团队创建了 Re3——一个用于分析这些文档的新框架（一套规则和类别）。随后，他们构建了一个名为 Re3-Sci 的大规模数据集来对其进行测试。

可以将 Re3-Sci 想象成一个巨大的、有组织的图书馆，里面收藏了 314 篇经过同行评审过程的科学论文。对于每一篇论文，他们都拥有：

原始草稿。
最终版本。
评审员的评论。
作者的回应。

但他们不仅仅是收集文件；他们扮演了“超级侦探”的角色。他们手动标注了这些论文中的 11,600 处特定改动（编辑）。对于每一次改动，他们都会询问：

他们做了什么？（是增加了一个句子？删除了一个段落？还是合并了两个观点？）
他们为什么这么做？（是为了修正拼写错误？为了添加新事实？还是为了改变某个科学主张？）
它发生在何处？（是一个微小的词汇改动，还是整个章节的重写？）

他们的发现（“人性化”的洞察）

通过观察所有这些数据，作者发现了关于人类如何编辑的一些有趣模式：

“书签效应”（The "Bookends" Effect）： 人们倾向于在论文的最开始（引言）和最末尾（结论）进行最多的编辑。中间部分通常比较稳定。
事实 vs. 流畅度： 在过程早期，人们主要修复语法和清晰度（让句子表达更流畅）。到了后期，他们则更多地关注于改变事实和科学主张。
评审员具有针对性： 当评审员给出具体、明确的指令（例如：“在此处添加引用”）时，作者通常会遵循。但如果评审员只是说“这一部分很薄弱”，作者不太可能做出具体的改动。
并非所有内容都会改变： 即使是在那些经过“大幅修订”的论文中，大部分文本仍然保持不变。只有约 18% 的句子被实际修改了，甚至更少的句子是出于深层的科学原因而被修改的。

计算机能做到这一点吗？（AI 实验）

作者还提出了疑问：“现代人工智能（大语言模型）能否理解这个过程？”

他们在四项任务上测试了 AI：

猜测意图： AI 能否观察一个改动并猜出它是为了语法还是为了新事实？
- 结果： AI 的正确率约为 70%。它表现得不错，但仍然难以区分“事实”类改动和“主张”类改动。
总结改动： AI 能否阅读所有的改动，并为作者写一份简短的总结以便发回给评审员？
- 结果： AI 可以写出总结，但有时会遗漏细节或在事实方面出现轻微偏差。它倾向于按“做了什么”（例如，“我们删除了 5 处内容”）来分组，而不是按“发生在何处”（例如，“在引言部分，我们修改了……”）来分组。
匹配评审与改动： AI 能否将评审员的评论与作者修改的具体句子联系起来？
- 结果： AI 在这方面做得非常好，几乎达到了完美。
寻找评审请求： AI 能否识别出评审中的哪些句子实际上是对作者的指令？
- 结果： AI 在识别这些指令方面表现得非常出色。

核心结论

这篇论文并不声称 AI 已经准备好取代人类编辑，也不声称 AI 现在就能为我们撰写科学论文。相反，它提供了第一张完整的地图，展示了协作式写作究竟是如何发生的。

他们构建了工具、数据和规则，以帮助计算机学习协作的“语言”。这就像是为计算机提供了一本关于写作、评审和修订这一复杂舞蹈的字典和语法书，以便在未来，AI 能够真正帮助人类更好地协作，而不仅仅是猜测他们在做什么。

技术摘要：Re3：一个用于建模协作式文档修订的整体框架与数据集

问题陈述

协作式文本文档的评审与修订是知识工作中的核心环节，涉及起草、反馈（评审）、执行修订以及作者响应的迭代循环。尽管自然语言处理（NLP）在这一领域具有辅助潜力，但仍缺乏一个能够对评审（reviews）、**修订（revisions）与作者响应（author responses）**之间复杂关系进行整体建模的综合框架。

先前的 NLP 研究主要集中在孤立的组件上：原始文档与修订文档之间的关系、评审与原始文档之间的关系，或评审与响应之间的关系。现有的数据集往往忽略了更广泛的文档上下文（侧重于句子级的编辑），或者未能捕捉到修订背后的潜在意图。此外，在“全维度”建模的方法论和数据集方面也存在空白，这种建模应涵盖不同粒度层级（从子句到章节）的编辑，并包含针对修订的“动作”（如何做）和“意图”（为什么做）的定性标签。这些局限性阻碍了能够有效实现自动化编辑分析或促进文本协作的 NLP 应用的发展。

方法论

Re3 框架

作者引入了 Re3，这是一个整体框架，它将“评审-修订-响应”过程概念化为四种文档类型之间的交互：原始文档 ( $D_t$ )、修订文档 ( $D_{t+1}$ )、评审 ( $C$ ) 以及作者响应 ( $A$ )。

图表示法： 文档被表示为保留结构和粒度的图。文本元素涵盖从子句到章节的各个层级。跨文档关系（例如，一个特定的编辑请求所引发的修订）被视为文档图之间的边。
编辑对齐： 该框架将新旧版本的元素 ( $e_{ij}$ $e_{ij}$ ) 联系起来，并将每个对齐关联到一个编辑标签 ( $EL_{ij}$ $E L_{ij}$ )，该标签包含三个维度：
1. 粒度： 文本元素的范围（子句、句子、段落、章节）。
2. 动作： 修订的方法（添加、删除、修改、合并、拆分、融合）。
3. 意图： 底层的目的（语法、清晰度、事实/证据、主张、其他）。

数据集构建：Re3-Sci

为了实例化该框架，作者创建了 Re3-Sci，这是一个在大规模学术领域内进行人工标注的语料库。

数据来源： 从 F1000RD 和 NLPeer 数据集中随机选择了 314 对文档对（修订后的科学论文）及其对应的同行评审意见。
标注流程：
- 预对齐： 使用基于形式和语义相似度（编辑距离、模糊匹配、SBERT）的轻量级算法预先识别句子对齐候选对象，在人工验证前达到了 0.95 的准确率。
- 环境： 构建了一个使用 INCEpTION 的跨文档标注环境，允许标注者查看完整的文档上下文，这对于准确的意图标注至关重要。
- 标注人员： 六名具有 C1 级英语水平的硕士生进行了标注。
- 质量控制： 通过包括培训、试点研究和中期会议在内的迭代质量管理过程，提高了标注者间一致性（IAA）。
统计数据： 该数据集包含 11,648 个句子级编辑、5,064 个段落级编辑和 2,008 个章节级编辑。它还包括 560 个提取的评审请求和 1,364 个修订与作者响应摘要之间的关联。
可靠性： 该数据集在标签标注方面实现了 0.78（Krippendorff's $\alpha$ ）的显著 IAA，并在对齐方面实现了 1.0 的完美 IAA。

实验评估

作者利用 Re3-Sci 评估了最先进的大型语言模型（LLM）——特别是 Llama2-70B 和 GPT-4——在四个任务上的能力：

编辑意图分类： 预测句子编辑的意图标签。
文档编辑摘要生成： 生成文档中所有编辑的连贯摘要。
修订对齐： 判断来自不同版本的两个句子是否构成一对修订关系。
评审请求提取： 识别促使修订的评审句子。

实验采用了上下文学习（ICL），并使用了各种演示选择方法（动态 vs 静态）以及思维链（CoT）提示策略。

关键结果

数据集分析洞察

对 Re3-Sci 的分析揭示了人类协作修订中的几种模式：

动作/意图相关性： 添加和删除主要是由事实内容或主张的变化驱动的，而修改则主要用于语法和清晰度的提升。
分布特征： 修订集中在论文的开头和结尾部分。开头部分的修改较多，而结尾部分则有更多的添加/删除行为。
聚类现象： 编辑并非均匀分布；它们在特定段落内显著聚类（平均波峰因子 Crest Factor 为 3.79）。
评审影响： 来自评审者的显式编辑建议被实施的频率（超过 50%）高于隐式建议或一般的弱点评论。

LLM 性能表现

编辑意图分类： Llama2-70B 在完整测试集上的宏平均 F1 分数为 0.69。最佳性能是通过结合动态演示（通过基于差异的相似度进行选择）和带有 CoT 推理的静态示例实现的。该模型在区分“事实/证据”与“主张”的变化方面表现挣扎。
修订对齐： Llama2-70B 达到了 0.97 的准确率，显著提升了预对齐算法在对齐方面的召回率（0.92 vs 0.99）和非对齐情况下的精确度（0.89 vs 0.99）。
文档编辑摘要： GPT-4 生成了连贯的摘要，但存在事实性问题（4% 的句子包含事实错误）和全面性问题（未能涵盖 21% 的编辑）。人类在事实性和特异性方面优于 GPT-4，而 GPT-4 生成的摘要则更为简洁。
评审请求提取： 模型对正样本具有高召回率（0.98），但精确度较低（0.74），表明其难以区分可操作的请求与一般性评论。

重要性与贡献

该论文声称有四个主要贡献：

一个整体框架： Re3 提供了第一个用于联合建模评审、修订和响应的正式框架，并配备了标签分类体系和稳健的标注方法。
高质量数据集： Re3-Sci 是第一个具有全维度标注的、涵盖学术写作中多个粒度层级的编辑对齐、动作和意图的大规模语料库。
实证洞察： 该研究提供了对学术同行评审中人类编辑行为的大规模分析，揭示了编辑动作、意图与文档结构之间的关系。
自动化基准： 该工作为四项 NLP 任务建立了基准，证明虽然 LLM 展示了潜力（特别是在对齐和摘要方面），但在理解复杂的编辑意图和确保生成摘要的事实准确性方面仍面临重大挑战。

作者总结道，他们的工作为 NLP 领域对文本协作进行系统性的、全维度的研究铺平了道路，为未来的自动化修订辅助、编辑生成以及将编辑锚定到评审请求的研究提供了基础。他们也明确指出了局限性，包括专注于英语语言科学出版物，以及由于数据可用性问题使用了人工生成的摘要而非作者响应。