💬 NLP

OARelatedWork: A Large-Scale Dataset of Related Work Sections with Full-texts from Open Access Sources

本文介绍了 OARelatedWork，这是第一个能够从开放获取资源中生成全文相关工作的大规模数据集，它揭示了尽管现代大语言模型在处理大规模上下文方面的能力较之摘要有所不足，但它们在基于证据的事实性方面可以超越人类基准，从而使得有必要采用新的陈述级评估框架来取代不足的基于参考的指标。

原作者： Martin Docekal, Martin Fajcik, Pavel Smrz

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Martin Docekal, Martin Fajcik, Pavel Smrz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：撰写“他人的篇章”

想象你正在写一部小说。在讲述你自己的故事之前，你必须先写一个名为“相关工作”（Related Work）的章节。在这个章节中，你必须总结前人所写的作品，解释他们的故事与你的故事有何相似之处，并展示你的故事有何不同。

长期以来，试图完成这项任务的计算机就像是只能阅读书籍封底简介（摘要）的学生。它们必须根据一个微小的总结来推测整个故事。这篇论文介绍了一个名为 OARelatedWork 的新数据集，它改变了游戏规则：现在，计算机在尝试撰写自己的章节之前，可以阅读整个图书馆（每本书的正文全文）。

问题所在：“简介” vs. “书籍”

此前，研究人员构建的数据集仅让计算机看到被引用论文的简短摘要。

旧方式： 就像仅根据封底简介来写书评。你可能会抓住大意，但你会错过细节、细微差别和具体的证据。
新方式 (OARelatedWork)： 这个数据集让计算机阅读了 94,000 篇论文的全文，以及它们所引用的数百万本书籍的全文。它迫使 AI 去读整本书，而不仅仅是看简介。

研究发现：“聪明人” vs. “人类”

研究人员使用这个新数据集测试了各种 AI 模型，并将其与人类作者进行了对比。他们发现了一些令人惊讶的事情：

信息过多可能是一个陷阱： 当 AI 被给予书籍全文而非仅仅是简介时，它在标注引用位置方面反而犯了更多错误。这就像是给一个学生一本 1,000 页的教科书，然后让他们找到一个特定的事实；他们会被信息淹没，有时甚至会指向错误的页面。
人类会“脑补”（抽象化）： 人类作者非常有创意。他们经常读完一本书，合上书，然后写下一句听起来像是出自那本书的话，即使书中并没有完全相同的原话。他们会将书中的不同部分进行融合，从而创造出一个流畅的故事。
AI 是“严谨的图书管理员”： 因为 AI 的训练目标是变得非常谨慎，只说那些它能用直接引文证明的事情，所以结果显示，如果严格评判，它比人类更具事实准确性。
- 类比： 想象人类作家是一位爵士乐手，他即兴创作出一段优美的旋律，虽然感觉很对，但可能并不完全遵循乐谱。而 AI 则是一位严厉的指挥家，他会逐个音符地对照乐谱进行检查。在这种“是否遵守规则”的游戏中，AI 赢了。

计分板：我们如何评分？

论文认为，旧的评分方式（计算 AI 作品与人类作品之间有多少单词重叠）是失效的。

旧分数： 就像通过计算学生作文中使用了多少老师范文中出现的单词来评分。如果学生用了不同的词来表达同样的意思，他们就会得到低分。
新分数： 作者创建了一个“语句级评判者”。他们不再看整篇文章，而是将其拆解为逐句进行分析，并询问：“这个事实是真的吗？这个引用正确吗？”
- 他们发现标准的评分工具在处理这类问题时表现得很糟糕。你需要一个聪明的 AI 评判者（就像一位资深教授）来核实事实，而不仅仅是一个拼写检查器。

结论

这篇论文在说：“别再只给 AI 看书籍封底的简介了。把整个图书馆交给它。”

数据集： 这是一个包含全文的开放获取论文的海量集合。
教训： 当 AI 必须阅读整本书时，它在将信息进行平滑综合方面不如人类那样出色，但它在恪守事实方面变得极其优秀。
未来： 为了构建更好的研究工具，我们需要停止在短小的摘要上测试 AI，而是开始在阅读整篇学术论文这种完整、混乱且复杂的现实场景中测试它们。

简而言之： 这篇论文为 AI 构建了一个练习撰写文献综述的巨大图书馆。它发现，虽然 AI 在事实核查方面比人类更遵守规则，但人类仍然更擅长将这些事实编织成一个流畅、自然的故事。

技术摘要：OARelatedWork

问题陈述

“相关工作”（Related Work）章节的生成是自然语言处理（NLP）领域一个关键但尚未得到充分解决的挑战。虽然相关工作的生成扩展了多文档摘要的任务，但它具有独特的特征：不仅需要对引用的论文进行摘要，还需要通过比较性论述将目标研究定位在先前的研究之中。现有方法面临三个主要局限性：

输入约束： 大多数数据集和模型仅依赖论文摘要，这是由于处理长篇全文输入的计算难度较高。这限制了模型合成深度、基于证据的见解的能力。
输出粒度： 先前的基准测试通常将生成限制在单个段落，未能评估模型生成结构良好的、多章节相关工作章节的能力。
评估不足： 标准的基于参考文本的指标（如 ROUGE、BERTScore）对于长篇、结构化生成而言是不充分的。它们难以评估事实忠实度，并且在长上下文场景下往往无法与人类判断保持一致。

此外，该领域缺乏一个大规模数据集，其中验证集和测试集中的每一个被引用论文都具备全文内容，这阻碍了对全文合成能力的受控评估。

方法论

数据集构建：OARelatedWork

作者引入了 OARelatedWork，这是第一个旨在从开放获取来源生成整个相关工作章节的大规模多文档摘要数据集。

语料库来源： 该数据集通过合并 CORE 语料库（540 万篇 XML/TEI 格式文档）和 Semantic Scholar 语料库（包含 S2ORC 和 API 数据在内的 1.292 亿篇文档）构建而成。
处理流水线：
- 文献链接： 使用 Microsoft Academic Graph (MAG)、Semantic Scholar 引用图谱和自定义搜索器进行多阶段处理，将引用链接到全文文档。这一过程增加了约 0.6%（约 1160 万条）的已识别文献条目链接。
- 过滤： 对文档进行过滤，确保相关工作章节至少包含三个句子，至少引用两篇文档，并且验证集和测试集中的所有被引用论文均有对应的全文链接。
- 结构： 数据以 JSON 形式表示，采用层次化树状结构（章节、子章节、段落、句子），以促进未来的应用场景。
统计数据： 最终数据集包含 94,450 篇 带有相关工作章节的论文和 580 万篇 独特的被引用论文。至关重要的是，验证集和测试集确保了被引用参考文献 100% 的全文可用性，这是 S2ORC、Delve 和 Multi-XSci 等先前数据集所缺失的特性。

任务定义

该任务旨在给定以下条件时生成相关工作章节 $Y$ ：

一种组合类型的输入内容（目标论文及被引用论文的摘要和/或全文）。
目标长度 $L$ 。
结构化指令（是否使用子章节）。

系统必须综合来自多个来源的信息，以产生连贯且结构化的叙述。

评估框架

为了解决传统指标的不充分性，作者提出了一个语句级评估框架：

LLM 评判员： 使用量化后的 Gemma 4 31B 模型（无推理能力）作为评判员，从生成的文本中提取事实性陈述，并将其分类为四类：正确（True）、正确但引用错误（True but wrong citation）、无法验证（Unverifiable） 以及 错误（False）。
人工评估： 进行了一项针对 40 篇论文（120 个章节，408 个语句）的细粒度人工评估，以验证 LLM 评判员的有效性，并评估忠实度、相关性和语言质量。
指标： 除了语句级忠实度指标外，研究还报告了 ROUGE 分数、BERTScore 和引用覆盖率 F1 值。

核心贡献

OARelatedWork 数据集： 一个使研究从“仅摘要”转向“全文相关工作生成”的大规模资源。它提供了第一个保证测试集对所有被引用文献均可获取全文的基准测试。
人类写作行为的实证分析： 通过人工评估，作者发现人类作者经常引入在局部源文本中缺乏依据的抽象性主张（在严格评估中表现出较高的“无法验证”率）。
LLM 与人类基准对比： 研究表明，先进的 LLM（特别是 GPT-4o-mini）在针对提供的上下文进行严格、基于证据的真实性评估时，可以超越人类基准。
指标元评估： 本文证明了标准基于参考文本的指标对于此类任务是不充分的。它验证了使用 LLM 评判员进行可靠的结构化长篇生成评估的可行性。

结果

模型性能

作者对一系列模型进行了基准测试，包括抽取式基准（LEAD、TextRank）、微调的多文档摘要模型（PRIMERA）以及零样本 LLM（Llama 3.2 3B、GPT-4o-mini）。

全文输入的影响： 提供全文而非摘要显著增加了模型的挑战。对于 GPT-4o-mini，其“正确”的证据驱动率从 92.9%（仅摘要）下降到 83.8%（全文），同时伴随着“引用错误”和“无法验证”率的上升。这表明，即使是现代 LLM，合成海量全文上下文仍然是一个重大挑战。
抽取式 vs. 抽象式： 抽取式基准实现了极高的“正确”得分（95–99%），但这归功于重用源文本而非综合。相反，抽象式模型表现出更高的幻觉或引用错误率，但具有更好的连贯性。
人类 vs. 模型： 在成对的人类评估中，GPT-4o-mini 在相关性、语言质量和整体排名方面都压倒性地优于 PRIMERA 和人类作者。在忠实度方面，GPT-4o-mini 在统计学上与 PRIMERA 持平，但在严格的语句级事实性方面优于人类作者。

人类写作行为

对 408 个人类编写的语句进行的分析显示：

高不可验证性： 人类作者具有较高的“无法验证”语句率（在金标准集中为 18.5%），这通常是由于信息分布在整个文档中，而非依赖于局部的证据片段。
引用错误： 人类经常引入在特定局部源文本中没有依据的主张，导致在严格评估下出现较高的“正确但引用错误”或“无法验证”分类。

指标验证

元评估确认，基于参考文本的指标（ROUGE、BERTScore）与该任务中的人类判断相关性较差。基于 LLM 的评判员（特别是 Gemini 3.1 Pro 和 Gemma 4）与人工标注显示出强相关性，验证了所提出的语句级框架。

重要性与主张

本文声称，OARelatedWork 通过利用全面的全文上下文，将该领域推向了现实的、全章节的范式。其主要意义在于：

挑战现状： 它证明了尽管难度增加，但超越摘要转向全文综合对于实现现实的相关工作生成是必要的。
重新评估人类基准： 它挑战了“人类写作是此类场景下事实忠实度金标准”的假设，展示了 LLM 在基于所提供证据的严格性方面可以比人类更严谨。
评估标准： 它确立了标准指标对于长篇结构化输出是不充分的，并引入了一个稳健的、语句级的评估框架作为该领域的新标准。

作者总结道，虽然目前的模型在应对海量全文上下文方面仍显吃力，但结合结构化数据、细粒度事实标注以及专门的评估框架，为未来的自动化科学写作研究提供了必要的基石。