技术摘要：SCHOLAWRITE：一个端到端学术写作过程的数据集

问题描述

科学写作是一个认知负荷极高的、非线性的过程，其特征是规划、起草和修订的递归循环。尽管大语言模型（LLMs）已集成到研究工作流中，但目前的写作助手主要以自回归方式运行，即线性地生成文本，而无法理解作者潜在的认知转变。现有的数据集通常仅捕捉最终的手稿版本或短期修订日志，未能体现学术写作具有长期性和意图驱动性的本质。因此，缺乏用于模拟人类科学家实际写作方式的经验数据，这限制了开发能够真正对齐并支持人类认知写作过程的 AI 助手的进展。

方法论

为了填补这一空白，作者提出了 SCHOLAWRITE，这是第一个捕捉从初始草稿到最终手稿的端到端学术写作过程的数据集。

数据收集

• 参与者： 十名来自美国一所 R1 研究型大学的计算机科学专业研究生。
• 持续时间： 四个月（2023 年 11 月 – 2024 年 2 月）。
• 工具： 开发了一个定制的 Chrome 扩展程序，用于在不干扰的情况下记录 Overleaf LaTeX 编辑器中的实时按键（keystrokes）。该系统捕获每一次按键，使用 diff 算法比较文本版本，并记录元数据（时间戳、文件名、作者 ID），同时过滤掉未授权的项目以确保隐私。
• 范围： 该数据集涵盖了五个最终形成 arXiv 预印本的 Overleaf 项目，包含约 62,000 次基于按键的写作动作以及超过 118,000 个增加或删除的单词。

注释与分类法

• 流程： 两名具有 NLP 专业知识的研究生使用专门的交互式界面审查了按键数据。他们应用了基于写作过程理论（Flower & Hayes, 1981）和先前经验研究的认知分类法。
• 分类法： 开发了一个包含 15 个类别的写作意图分类法，并将其分为三个高层类别：
  1. 规划 (Planning)： 构思生成、构思组织、章节规划。
  2. 执行 (Implementation)： 文本生成、对象插入、引用集成、交叉引用、宏插入。
  3. 修订 (Revision)： 流畅度、连贯性、清晰度、结构、语言风格、科学准确性、视觉格式。
• 可靠性： 在一个包含 1,000 个按键的子集上，注释过程实现了 0.71 的加权 F1 分数（inter-annotator agreement）。

分析与评估

作者将 SCHOLAWRITE 用于三个主要目的：

1. 行为分析： 检查写作意图的分布、持续时间和转换，以刻画学术写作的非线性特征。
2. 基准测试： 评估最先进的 LLM（GPT-5, Qwen2.5-14B）在下一意图预测和输出对齐任务上的表现。
3. 模型训练： 在该数据集上微调模型（BERT, RoBERa, Llama-3.1-8B），以评估在对齐人类写作工作流方面的改进。

核心贡献

1. SCHOLAWRITE 数据集： 一个公开可用的细粒度语料库，将每一次按键与认知写作意图相联系，覆盖了五个学术手稿的完整生命周期。
2. 关于写作行为的经验见解：
   • 学术写作具有高度的非线性和多意图性；超过 57% 的写作会话涉及三个或更多不同的意图。
   • 写作过程由文本生成（57.4%）和修订（特别是清晰度和连贯性）主导，而规划活动虽然占据的时间份额较小，但通常涉及更长时间、更专注的阶段。
   • 写作模式随阶段变化：早期阶段侧重于结构化和构思生成，而后期阶段则由修订和格式化主导。
3. 基准测试与训练结果：
   • 当前 LLM 的局限性： 零样本模型在预测下一意图方面表现不佳（加权 F1 < 0.5），并且无法维持复杂的认知修订，尤其是在规划和执行阶段。
   • 微调的影响： 在 SCHOLAWRITE 上微调的模型（如 BERT, RoBERTa, Llama-8B）在下一意图预测和输出对齐方面表现出显著提升。
   • 迭代写作： 微调后的模型采用了更具人类特征的迭代模式，频繁地在规划、执行和修订之间切换，而基准模型往往倾向于停留在单一阶段。

结果

• 行为分析： 数据显示，“快速、迭代的起草”与“较长、专注的规划/视觉构图”是互补的认知模式。意图之间的转换是密集且双向的，其中修订意图（清晰度、流畅度、连贯性）形成了强烈的递归循环。
• 预测性能： 微调后的 BERT 和 RoBERTa 在下一意图预测方面达到了 0.64 的加权 F1 分数，相比基准模型（0.04–0.12）有了实质性的提升。
• 对齐性： 与零样本基准模型相比，微调后的 Llama-8B 模型展现出更高的语义相似度（BERTScore-F1）和操作相似度（Levenshtein 距离）。
• 迭代生成： 在 100 次迭代的自我写作任务中，微调后的模型比基准模型覆盖了更广泛的写作意图，并产生了更具词汇多样性和主题一致性的输出，尽管它们在表面流畅度和逻辑连贯性方面仍显不足。

重要性

本文认为，捕捉写作的认知动态对于构建能够支持而非替代人类认知的写作助手至关重要。SCHOLAWRITE 为以下方面提供了基础资源：

• 研究学术写作的细粒度认知模式。
• 评估 LLM 与人类写作意图及工作流的对齐程度。
• 训练能够适应不断变化的、多意图写作行为的模型。

作者总结道，虽然目前的模型在文本质量方面仍面临挑战，但通过 SCHOLAWRITE 进行过程级监督，使模型能够更好地模拟人类学术写作的过程。他们也承认了局限性，包括数据集侧重于计算机科学领域（LaTeX）、由于隐私问题导致样本量较小，以及排除了编辑器之外的预写作构思，并建议未来的工作应扩展到更广泛的学科和多模态协作。