FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes

技术摘要：FirstPass —— 将 AI 科研判断锚定在多轮编辑决策结果中

问题陈述
目前的科研同行评审 AI 系统存在三个根本性缺陷：

1. 领域局限性： 现有的数据集（如 PeerRead、ReviewMT、MARG）完全源自计算机科学和机器学习会议。在这些数据集上训练的模型无法捕捉生物学、化学或物理学等领域（例如污染控制或 NMR 光谱分配）的特定领域规范。
2. 静态处理： 同行评审是一个迭代对话的过程，但目前的系统仅进行单次生成，忽略了作者回应这一用于压力测试科学主张的迭代过程。
3. 循环评估： 这些系统的评估往往侧重于风格模仿（即看起来是否像一篇评审报告），而非与实际的编辑决策和结果保持一致。

因此，这些系统将同行评审视为一项文本生成任务，而非一项科学判断练习，导致其无法预测稿件是否需要进一步的修订周期，也无法识别哪些方法论上的疑虑会在辩驳中得以存续。

方法论
作者引入了 FIRSTPASS，这是一个旨在解决上述差距的数据集和微调模型，其核心由三个部分组成：

• 数据集构建： 作者从 Nature Communications（2023 年 1 月至 2025 年 12 月）中策划了 3,668 个完整的多轮同行评审对话，涵盖生物学、化学、神经科学、物理学和地球科学五个科学领域。

  • 完整性： 利用该期刊强制执行的透明同行评审机制（自 2022 年 11 月起），该数据集确保了 100% 的内容完整性。通过自动化审计和对随机样本的人工验证，确认提取文本的错误率极低。
  • 标签： 编辑结果根据修订轮数进行衍生：两轮修订被标记为 STANDARD（标准），三轮或更多轮次被标记为 EXTENDED（扩展）。这作为未解决的方法论疑虑的代理指标。
  • 任务： 该数据集支持三个训练任务：(1) 评审生成（论文 $\to$ 第一轮），(2) 评审员更新（论文 + 第一轮 + 作者回应 $\to$ 第二轮），以及 (3) 结果预测（完整对话 $\to$ 标签）。

• 模型架构与训练：

  • 基座模型： 选择 Qwen2.5-7B-Instruct 是因为它具有强大的科学推理能力和 32k token 的上下文窗口，这对于处理全文及多轮对话至关重要。
  • 微调： 应用了低秩自适应（LoRA）技术，设置秩 $r=32$ 且 $\alpha=64$。训练了两个独立的适配器：一个用于分类（CLS），一个用于生成（SFT）。
  • 关键设计决策（仅针对响应的损失掩码）： 作者发现，标准的指令微调会对包括数千个输入 token 在内的整个序列计算损失。对于长输入/短输出任务，这会导致分类信号被预测输入文本的过程所淹没。作者实施了仅针对响应的损失掩码（将输入 token 排除在损失计算之外）。
  • 截断策略： 超过序列限制的输入采用对称截断（保留前 55% 和后 45% 的 token），以同时保留论文的科学内容和最新的评审员交流内容。

关键发现与结果

• 仅针对响应的掩码之必要性： 最显著的发现是，仅针对响应的损失掩码是一个架构前提，而不仅仅是一种优化手段。

  • 若不使用掩码，模型在结果预测上的准确率降至 62.0%，表现甚至差于多数基准线（65.4%）。
  • 使用掩码后，准确率上升至 80.5%，F1-macro 为 78.2%。这 18.5 个百分点的差距表明，在这一任务范式下，省略掩码是灾难性的。

• 修订周期预测：

  • FIRSTPASS 在测试集（318 个样本）上实现了 80.5% 的准确率，比多数基准线高出 15.1 个百分点，比最佳零样本基准线（Gemini-3.1-flash-lite-preview）高出 10.4 个百分点。
  • 性能在所有五个领域中保持一致（范围在 76.9% 到 83.8% 之间），表明该模型捕捉的是领域通用的“未解决疑虑”信号，而非过度拟合特定词汇。

• 评审生成：

  • FIRSTPASS 生成的评审平均长度为 1,187 个单词，比其他基准模型更接近人类参考值（2,155 个单词）。
  • 其 ROUGE-L 得分为 0.154，显著优于零样本 Qwen、DeepSeek 和 Gemini（$p < 0.001$）。
  • 虽然 Llama-3-8B 取得了略高的 ROUGE-L（0.164），但作者将其归因于“长度伪影”，即该模型生成了较短且公式化的文本（1,006 个单词），通过优化 n-gram 重叠来提升分数，却缺乏深度。相比之下，FIRSTPASS 生成了更长且内容丰富的评论。

意义与主张
本文将 FIRSTPASS 定位为迈向 AI 系统从单纯工具向“预判性科学共同作者”转变的一步。

• 判断力 vs. 模仿： 通过在完整对话上进行训练并针对实际编辑结果进行评估，FIRSTPASS 证明了 AI 可以进行科学判断——即预测稿件是否需要扩展修订周期——而不仅仅是模仿评审的文风。
• 泛化性： 一致的跨领域表现表明，未解决疑虑的信号在不同学科间是可迁移的，这是在多学科环境下成为受信任的共同作者的前提。
• 方法论贡献： 本文提供了第一个受控的实证证明，说明仅针对响应的损失掩码对于长输入/短输出的分类任务至关重要，为在科学文档上训练 LLM 提供了具有普适性的经验教训。

作者承认的局限性
作者对当前的部署状态保持了审慎的态度：

• 数据范围： 数据集仅包含已发表的论文；被拒稿件（可能提供关于可发表性边界的更强信号）无法获取。
• 模态： 该流程仅限于文本，排除了通常驱动评审疑虑的图表和补充数据。
• 标签有效性： “STANDARD/EXTENDED”标签是基于轮数的代理指标，可能受到沟通风格或编辑物流的影响，而非纯粹的科学价值。
• 验证： “共同作者”的使用场景是一个部署假设。目前的评估衡量的是已完成对话的预测准确性。作者指出，进行前瞻性验证（即作者在投稿前使用该工具，并追踪后续结果）是确认其“共同作者”主张的必要下一步。
• 泛化性： 在 Nature Communications 之外（例如具有不同评审文化或格式的期刊）的表现仍有待测试。