💬 NLP

NovBench: Evaluating Large Language Models on Academic Paper Novelty Assessment

本文提出了首个专注于评估大语言模型学术新颖性判断能力的大规模基准 NovBench，通过构建包含 1684 篇论文 - 评审对的 dataset 及四维评估框架，揭示了当前模型在理解科学新颖性及遵循指令方面的显著不足，并指出了针对性微调的必要性。

原作者： Wenqing Wu, Yi Zhao, Yuzhuo Wang, Siyou Li, Juexi Shao, Yunfei Long, Chengzhi Zhang

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenqing Wu, Yi Zhao, Yuzhuo Wang, Siyou Li, Juexi Shao, Yunfei Long, Chengzhi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给人工智能（AI）老师出的一道“期末考试题”，题目是：“你能像人类专家一样，一眼看出这篇学术论文到底‘新’在哪里吗？”

为了让你更容易理解，我们可以把整个研究过程想象成一场**“学术界的选秀大赛”**。

1. 背景：为什么需要这场考试？

在学术界，发表论文就像参加选秀。评审专家（人类）需要判断选手（论文）有没有**“新意”**（Novelty）。

现状： 现在投稿的人太多了，人类评委累得半死，眼睛都花了。
尝试： 大家想请 AI 来帮忙当评委。AI 确实能写出一通看起来很专业的评语，但大家心里犯嘀咕：AI 是真的看懂了“新意”，还是只是在背台词、瞎编乱造？
问题： 以前没有专门的“考卷”来测试 AI 到底行不行。

2. 解决方案：NovBench（新度评测基准）

作者们造了一个专门的**“考场”**，叫 NovBench。

考卷内容： 他们收集了 1684 篇真实的学术论文和对应的专家评语。
题目设计：
- 左边（题目）： 论文作者自己写的“自我介绍”（通常在引言部分），声称自己哪里创新了。
- 右边（标准答案）： 人类专家写的“点评”，指出这篇论文到底有没有新意，好在哪里，差在哪里。
任务： 让 AI 看着左边的“自我介绍”，写出右边的“点评”。

3. 评分标准：四个维度的“打分表”

为了不让 AI 蒙混过关，作者设计了四个维度的评分标准，就像给厨师做菜打分：

相关性 (Relevance) —— “有没有跑题？”
- 比喻： 就像你问厨师“这道菜辣不辣”，他回答“我用了最好的盐”。如果 AI 没抓住论文的核心创新点，就是跑题。
正确性 (Correctness) —— “态度对不对？”
- 比喻： 如果人类专家觉得这菜是“咸得发苦”（负面评价），AI 却夸它是“人间美味”（正面评价），那 AI 就错了。AI 的判断倾向（好评/中评/差评）得和人类专家一致。
覆盖面 (Coverage) —— “有没有漏掉重点？”
- 比喻： 人类专家指出了三个创新点，AI 只看到了一个，或者漏掉了最精彩的那个，那就是“漏题”。
清晰度 (Clarity) —— “说话利索吗？”
- 比喻： AI 的评语不能像喝醉了一样含糊其辞，也不能全是废话。要像老练的评论家一样，一针见血，让人一看就懂。

4. 考试结果：AI 的表现如何？

当各种大模型（包括最聪明的 GPT-5、Gemini，以及专门训练过当评委的模型）参加这场考试时，结果有点**“喜忧参半”**：

好消息： AI 的**“嘴皮子”**很利索（清晰度很高），能写出看起来很像那么回事的评语，也能抓住大概的方向。
坏消息（核心发现）：
1. 理解力不够深： AI 往往只能看到表面，很难真正理解科学研究的深层创新。它像是在“猜”哪里有新意，而不是真的“懂”。
2. 专门训练的模型反而“掉链子”： 有些专门用人类评语训练过的模型，反而表现得不如通用模型。它们太想模仿人类的语气，结果**“听指令”的能力变差了**（比如让写评语，它却开始写论文摘要，或者格式全乱）。
3. 容易“和稀泥”或“过度批判”： 通用模型为了讨好用户，倾向于多给好评；而专门训练的模型为了显得专业，倾向于多给差评，甚至为了显得深刻而编造缺点。

5. 结论与启示

这篇论文告诉我们：

AI 还没法完全替代人类评委。 虽然它能帮忙写写草稿，但在判断“什么是真正的创新”这件事上，它还是个**“半吊子”**。
未来的方向： 我们需要教 AI 不仅要“会说话”（生成流畅文本），更要“懂行”（真正理解科学逻辑）。同时，训练 AI 时，不能只让它模仿人类的语气，更要让它学会如何严格地遵守指令。

一句话总结：
NovBench 就像给 AI 评委发了一张**“照妖镜”，照出了它们目前“只会背书，不懂真意”**的短板，提醒我们在让 AI 完全接管学术评审之前，还有很长的路要走。

1. 研究背景与问题 (Problem)

核心痛点：学术出版中，“新颖性”是同行评审的核心标准，也是决定论文是否录用的关键因素。然而，随着投稿量的爆炸式增长，人类审稿人面临巨大压力，难以高效、一致地评估每篇论文的创新点。
现有局限：
- 虽然大语言模型（LLM）在生成评审意见方面展现出潜力，但缺乏专门针对“新颖性评估”这一细分任务的基准测试（Benchmark）。
- 现有研究多关注整体评审文本的生成或基于数值分数的预测，缺乏对自由文本形式的新颖性评价（Free-form novelty evaluation）的深入评估。
- 现有的评估指标（如 ROUGE, BLEU）仅关注表面词汇重叠，无法衡量语义准确性、相关性或特定的评审维度（如正确性、清晰度）。
- 缺乏区分通用模型与经过微调的专用模型在“新颖性理解”上的具体差异。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 NovBench，这是一个大规模基准测试框架，包含数据集构建和评估协议两个核心部分。

2.1 数据集构建 (Dataset Construction)

NovBench 基于顶级 NLP 会议（COLING 2020 和 EMNLP 2023）的论文及其评审报告构建，包含 1,684 个“论文 - 评审”对。构建流程分为四个阶段（如图 1 所示）：

新颖性描述提取：从论文引言（Introduction）中自动提取作者声称的创新点（Novelty Descriptions）。利用 GPT-5 进行上下文学习（In-context Learning）提取，确保标准化。
新颖性评价提取：从审稿人的评论中自动提取与新颖性相关的部分。利用 GPT-4o-mini 进行方面识别（Aspect Identification）和提取。
基于情感的标准化：将提取出的评价根据情感极性（正面、中性、负面）进行分类和去重，形成结构化的“结构化新颖性评价”（Structured Novelty Evaluations）。
数据构成：每个样本包含两部分：(1) 作者声称的创新描述；(2) 人类专家撰写的新颖性评价（作为金标准）。

2.2 评估框架 (Evaluation Framework)

为了超越传统的词汇重叠指标，作者提出了一个四维评估框架来量化 LLM 生成评价的质量：

相关性 (Relevance)：
- 定义：LLM 生成的评价是否准确理解了论文引言中的新颖性描述。
- 指标：信息匹配分数 (Information Matching Score, IMS) 的平均值 (AvgIMS)。计算源文本中每句话与生成评价中最佳匹配句的语义相似度。
正确性 (Correctness)：
- 定义：LLM 生成的情感分布（正/中/负）是否与人类审稿人的分布一致。
- 指标：分布准确率 (DistAcc)，基于 L1 距离计算模型生成分布与人类分布的匹配度。
覆盖度 (Coverage)：
- 定义：LLM 是否捕捉到了人类审稿人指出的所有关键创新点。
- 指标：计算人类评价集合与 LLM 生成集合之间的余弦相似度，统计超过阈值（ $\tau=0.7$ ）的覆盖比例。
清晰度 (Clarity)：
- 定义：生成的评价是否具体、明确，避免泛泛而谈。
- 指标：结合关键词覆盖率 (KC)、句子长度分数 (LS) 和基于困惑度 (Perplexity) 的流畅度分数 (FS) 的综合得分。

2.3 实验设置

模型：测试了 11 种通用 LLM（如 GPT-4o, GPT-5, Gemini, DeepSeek, Qwen 等）和 8 种在评审数据上微调的专用 LLM（如 CycleReviewer, DeepReviewer, SEA 系列等）。
策略：对比了零样本（Zero-shot）、少样本（Few-shot）和检索增强生成（RAG）三种提示策略。

3. 关键贡献 (Key Contributions)

首个新颖性评估基准 (NovBench)：构建了包含 1,684 个样本的大规模数据集，首次将“新颖性描述”与“专家新颖性评价”配对，专门用于评估 LLM 的评审能力。
多维语义评估指标：提出了一套超越 ROUGE/BLEU 的评估体系（相关性、正确性、覆盖度、清晰度），能够更准确地衡量自由文本评审的语义质量。
系统性实证分析：
- 揭示了当前 LLM 在理解科学新颖性方面的局限性。
- 发现微调模型虽然能模仿人类语气，但往往存在指令遵循（Instruction-following）缺陷，并未显著提升对新颖性的深层理解。
- 分析了不同提示策略（Zero-shot vs. Few-shot vs. RAG）对评估结果的影响及权衡。

4. 实验结果 (Results)

通用模型 vs. 专用模型：
- 闭源通用大模型（如 GPT-4o, Gemini-2.5-Flash）在大多数指标上表现优于开源模型。
- 专用微调模型表现不佳：尽管经过评审数据微调，专用模型（如 CycleReviewer, DeepReviewer）并未在“新颖性理解”上展现出显著优势。部分模型（如 Reviewer2）甚至出现了严重的指令遵循失败（如忽略格式要求、生成重复内容）。
- 参数规模的影响：在通用模型中，参数规模增大通常带来性能提升，但在严格评估下，过大的模型有时会产生过度解读。
提示策略的影响：
- Zero-shot：在“相关性”上表现最好，模型最忠实于原文。
- Few-shot：提升了“覆盖度”和“正确性”（情感分布），但降低了“相关性”。这表明模型可能是在模仿人类的评价模式，而非真正理解内容。
- RAG：显著提升了“清晰度”，但降低了“相关性”，说明检索信息可能干扰了模型对核心创新点的聚焦。
人类与 LLM 的差异：
- LLM 倾向于生成更积极的评价（尤其是通用模型），而微调模型则倾向于更严厉甚至过度批判。
- LLM 在捕捉主要贡献方面表现尚可，但在评估新颖性的广度（覆盖多个创新点）和细粒度方面仍显不足。
- 人类审稿人通常依赖领域知识进行高层判断，而非逐字复述引言，导致人类在“相关性”指标上得分反而较低（因为人类评价更宏观）。

5. 意义与结论 (Significance & Conclusion)

理论意义：NovBench 填补了 LLM 在学术评审细分领域（新颖性评估）的评估空白，证明了仅靠表面文本相似度无法评估评审质量，必须引入语义和维度感知的指标。
实践启示：
- 微调并非万能：单纯在评审数据上微调并不能让模型真正“理解”新颖性，反而可能损害指令遵循能力。未来的微调策略需要兼顾“新颖性理解”与“指令遵循”。
- 辅助而非替代：目前的 LLM 尚不能完全替代人类审稿人进行新颖性判断，但可以作为辅助工具，帮助减轻审稿人负担或提供补充视角。
- 未来方向：需要开发更鲁棒的微调策略，解决幻觉问题，并探索多智能体（Multi-agent）协作来提升评估的准确性和全面性。

总结：NovBench 揭示了当前 LLM 在学术新颖性评估任务中的能力边界，指出模型虽然能生成流畅的评审文本，但在深层语义理解和指令遵循方面仍存在显著缺陷，为未来构建更可靠的 AI 辅助同行评审系统指明了方向。