Benchmarking locally hosted language models for journal editorial work on a compact desktop workstation
本研究表明，一台紧凑型桌面工作站可以有效地托管用于期刊编辑任务的开放权重语言模型，并揭示了虽然性能与模型规模并不严格相关，但将这些模型与简单的确定性检查相结合，即可实现对指南违规行为近乎完美的检测。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在学术出版这个安静且高风险的世界里，一种新的压力正在积聚。几十年来，科学论文的数量稳步增长，但能够撰写文本的人工智能工具的到来加速了这一洪流。研究人员现在可以更快地产出更多成果，但这造成了入口处的瓶颈：编辑部。在论文到达同行评审员手中之前，必须通过一系列检查，以确保其符合期刊规则、引用真实来源并具备逻辑性。传统上，这些检查由人类编辑或简单的计算机脚本完成。现在，出版商们正在询问人工智能是否能提供帮助。但问题在于：正在接受审查的手稿是保密的；它们包含未发表的发现和私密数据。大多数强大的人工智能系统运行在外部公司拥有的服务器上，而将秘密手稿发送到此类服务器通常是被政策禁止的。这让编辑们面临一个艰难的选择：要么保持工作的秘密性并进行人工检查，要么找到一种在自己的电脑上、在自己的围墙之内运行人工智能的方法。
这个问题引导了一位来自理化学研究所（RIKA）生物系统动力学研究中心的学者去测试一台紧凑型台式计算机是否能胜任这项工作。目标并非寻找世界上最强大的人工智能，而是看看一个更小、本地托管的版本能否承担起期刊编辑的工作。该研究人员使用一台标准的桌面工作站搭建了一个严谨的测试环境，这种工作站是小型实验室或编辑部实际可能拥有的类型。他们创建了一系列八项特定任务来模拟真实的编辑工作，例如检查手稿是否遵循格式规则、验证文中不同部分的数据是否一致，以及确保对其他论文的引用是真实的。为了衡量成功，他们构建了一组“地面真值”（ground truth）答案，其中包括一份人为植入了四十个特定错误的稿件，然后针对这些任务运行了二十种不同的人工智能模型。这些模型的规模差异巨大，从可以轻松装入笔记本电脑的微型程序，到需要占用该台式机几乎全部内存的庞大模型。
结果挑战了该领域的一个普遍假设：即规模更大的人工智能模型总是更好的。研究发现，模型的规模与其执行工作的能力之间并无一致的联系。事实上，一个占用 17 GB 内存的模型检测出了 40 个植入错误中的 33 个，而测试中最大的模型（占用了 81 GB 内存）仅检测出了 36 个。这种差异微乎其微，但较大的模型需要近五倍的内存，且运行时间显著更长。更令人惊讶的是，在同一系列的模型中，较小的版本有时甚至优于更新、更大的版本。数据表明，仅仅购买一个更大的模型并不保证能获得更好的编辑支持。
研究发现，比起规模，提问的方式以及模型可用的工具更为重要。最有效的方法被证明是一种分层策略。首先，一个简单的、确定性的程序——它使用基础数学和模式匹配，完全不涉及人工智能——会对手稿进行检查。这个非智能程序在不到一秒钟的时间内就找到了 40 个错误中的 31 个，且不消耗任何内存。随后，只有在处理需要理解句子含义或进行语境判断的剩余 9 个错误时，才需要用到人工智能。当两者结合时，它们捕捉到了所有的错误。这一发现表明，未来的有效路径并非用一个单一的巨型大脑取代人类编辑，而是使用简单的计算机脚本来处理明显的、基于规则的检查，然后将人工智能保留给那些真正需要理解力的复杂决策。
研究还观察了这些模型如何处理同行评审中更具主观性的工作，例如识别人类评审员可能提出的主要批评意见。在此方面，表现较为平庸。在单个案例中，表现最好的模型仅恢复了人类评审员提出的 12 个关键点中的 6 个。这表明，虽然人工智能可以作为检查规则和格式的得力助手，但它尚未准备好取代人类专家的深度批判性思维。研究还强调，运行模型的硬件与模型本身同样重要。测试中使用的台式电脑拥有统一内存系统，使其能够运行那些无法在标准显卡上运行的模型。然而，研究指出，计算机的速度往往受限于其读取数据来自内存的速度，而不仅仅取决于它有多少内存。虽然增加第二台计算机有助于处理部分流程，但并未解决最严苛任务中的根本速度限制问题。
最终，这项工作证明，只要分配得当，利用紧凑型台式工作站实现有用的编辑支持是可行的。最强大的系统不是单一的、庞大的人工智能模型，而是结合了快速、简单的规则检查器和更小、更智能的细节处理模型的组合。这种方法允许期刊保持严格的保密性，将未发表的手稿保留在自己的硬件上，同时又能获得自动化的效率。研究结论认为，编辑工作的未来很可能在于这种分工：让计算机负责计数和格式化，而将人工智能留给真正需要类人判断力的时刻。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。