A Human-in-the-Loop Corpus for LLM-Based Simplification of Scientific Summaries
本文提出了一种人类参与（human-in-the-loop）的工作流以及一个源自 SciSummNet 的新语料库，该工作流利用 GPT-4o-mini 和专家反馈来创建易于理解的科学摘要，并证明了虽然 AI 生成的简化版本提高了非专业人士的可理解性，但人类专家对于保留关键领域术语和论点强度至关重要。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，科学的世界就像一座巨大且繁忙的图书馆，其中的每一本书都是用一种不同的、高度专业化的方言编写的。物理学家用方程式交谈，生物学家用细胞代码交流，而计算机科学家则使用抽象逻辑进行对话。虽然这种精确性对于专家构建新发现是必要的，但它也为那些试图翻过围栏窥探的人制造了一道巨大的墙。这就像是在尝试阅读一份完全用化学公式编写的食谱；你知道它与食物有关，但你完全不知道该如何烹饪这道菜。这就是“跨学科研究”的问题——当来自不同领域的科学家需要互相交流，或者公众需要理解一项突破时，语言往往成为了障碍。
为了解决这个问题，研究人员正转向“大语言模型”（LLMs）。把 LLM 想象成一个超级聪明、不知疲倦的翻译官，它几乎读过所有被写下的文字。它擅长将复杂的文本改写为更简单的词汇，就像一位朋友在喝咖啡时向你解释一部复杂的电影剧情一样。然而，这里有一个陷阱：有时这个超级翻译官会表现得过于急于求成。它可能会不小心改变科学事实的含义，将精确的技术术语替换为模糊的猜测，或者听起来对于严肃话题来说过于随意。大的问题在于：我们能否利用这些人工智能工具，在不破坏科学性的前提下，让科学变得易于阅读？
由 Kyuri Im 和 Michael Färber 撰写的这篇论文正是针对这一难题展开讨论的。他们并没有仅仅要求人工智能完成工作并听天由命；相反，他们构建了一个“人机协同”（Human-in-the-Loop）的工作流。想象一场接力赛：人工智能跑第一棒，一群充满好奇心的非专家跑第二棒以发现障碍，最后由一组专家科学家跑完最后一棒来修正错误。
研究人员从 1,000 篇由专家编写、但对门外汉来说仍然过于晦涩的计算机科学论文摘要开始。首先，他们让 AI（具体为 GPT-4o-mini）将这些摘要改写得更简单。然后，他们邀请了 92 位来自 STEM 领域（如生物学或工程学）但并不了解计算机科学的人员加入。这些读者充当了“测试受众”。他们将原始文本与 AI 生成的版本进行对比，指出仍然令人困惑的句子，并对文本的易理解程度、自然度以及简洁度进行评分。
结果既有喜讯，也有现实的警示。测试受众压倒性地更喜欢 AI 的版本。在 92 个案例中，有 73 个案例他们认为 AI 让文本变得更容易理解，在 70 个案例中，他们发现文本变得更简洁了。AI 非常擅长将冗长、纠缠不清的句子拆解成易于消化的碎片。然而，人类读者也注意到，AI 有时听起来有些生硬，或者使用的词汇对于严肃的科学话题来说显得过于非正式。
这就是第二部分比赛开始的地方。研究人员根据非专家的反馈，将信息传递给了计算机科学专家。这些专家充当了“编辑”。他们的任务不是从头开始重写一切，而是仔细微调 AI 的作品。他们修正了生硬的措辞，并且至关重要的一点是，他们确保重要的技术术语（如“潜在变量”或“NP-困难”）被正确保留或解释，而不是被替换为模糊的猜测。
论文发现，虽然 AI 是一个极佳的起点——就像一份能传达主要思想的草稿——但它本身尚未准备好独立出版。自动化的计算机测试显示，AI 的版本与原始文本非常相似，并在“可读性”公式上得分很高。然而，当专家介入进行润色时，计算机指标实际上有所下降，因为专家为了确保准确性，对措辞进行了更显著的修改。但这种“相似度”得分的下降其实是一件好事：这意味着专家们正在成功地在保持科学真实性的同时，使其更具可及性。
最后，作者们建议，简化科学的最佳方式不是仅仅依赖人工智能，也不是完全靠人工完成。相反，它是一种伙伴关系。AI 完成繁重的简化工作，非专家告诉我们哪里仍然令人困惑，而专家则确保科学内容的真实性。研究人员发布了他们所有的数据，包括原始摘要、AI 草稿、读者反馈以及最终的专家编辑版本，以便他人能够为这项重要的工作构建更好的工具。他们总结道，虽然人工智能是一个强大的助手，但它需要人类的引导，以确保我们在简化科学的同时，不会意外地丢失发现本身的魔力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。