Benchmarking Resource-Efficient LLMs for Research Topic Ontology Generation in the Biomedical Field
本文表明，在新增的生物医学数据集（MeSH-Rel-4K）上对小型开源大语言模型进行微调，其表现显著优于提示策略，使 F1 分数提升了 34.1 个百分点，并为自动化生物医学本体生成提供了一种资源高效的解决方案。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，科学世界就像一座庞大而混乱的图书馆，数以百万计的书籍、文章和发现正不断被加入其中。如果没有图书管理员来组织它们，寻找一个特定的主题将如同在沙滩上寻找一颗特定的沙粒。这正是“知识组织系统”发挥作用的地方。可以将它们想象成图书馆的主档案柜，或者是一个巨大的、数字化的思想家族树。它们将相关的概念组合在一起，展示哪些想法是其他想法的“父级”（更宽泛的），以及哪些是“子级”（更具体的）。几十年来，人类一直是唯一能够构建这些分类系统的人，他们通过人工阅读论文并决定每一个新想法该如何归类。但科学的发展速度太快了，仅靠人力已无法应对；每天都有新话题涌现，而这些档案柜在完成之前就已经过时了。最近，被称为“大语言模型”（LLMs）的智能计算机程序出现了，它们承诺扮演超级快速的图书管理员。但这里有一个核心问题：这些数字大脑，尤其是那些更小巧、更节能的模型，是否真的能够理解科学思想之间复杂的逻辑关系，从而能够自主构建这些分类系统？
本论文深入探讨了这一问题，特别是在生物医学领域，因为在这一领域，准确把握关系至关重要。研究人员希望观察他们是否可以教导五种不同的“小型”大语言模型（参数量在90亿以下的模型，这在人工智能领域是非常微小的）来担任专家级图书管理员。为了进行测试，他们创建了一个名为 MeSH-Rel-4K 的特殊训练集，其中包含4,000对医学主题。他们要求模型将这些配对归入四个“桶”中：“更宽泛”（例如，“动物”比“狗”更宽泛）、“更具体”（反之亦然）、“等同于”（两个词代表完全相同的事物）或“其他”（完全无关）。
团队尝试了三种不同的方法让模型完成这项工作。首先，他们只是让模型直接猜测（标准提示词法）。其次，他们使用了一种被称为“思维链”（Chain-of-Thought）的技巧，即要求模型“大声思考”并在给出答案前解释其推理过程，就像要求学生在数学考试中写出解题步骤一样。最后，他们对模型进行了“微调”（Fine-tuning），这就像是把一个通才学生送去参加一个专门针对医学分类规则的强化课程，并使用他们创建的4,000个示例进行学习。
结果显示，强化课程取得了明显的胜利。虽然“大声思考”的方法略有帮助，但不足以解决模型的困惑。真正的魔力发生在微调阶段。当模型接受了专门的医学数据训练后，它们的表现大幅提升。表现最好的模型是一个拥有90亿参数的模型，名为 gemma-2-9b-it，它达到了 91.6% 的 F1 分数（一种衡量准确度的指标）。更令人印象深刻的是最小的模型 Llama-3.2-3B-Instruct。在训练前，它的 F1 分数仅为 25.7%，但在微调后，它跃升至 86.2%。这是一个高达 60.5 个百分点的增长，证明了你并不需要一个庞大且耗资源的 AI 来胜任这项工作；你只需要教会一个较小的模型正确的规则即可。
然而，论文也指出了这些数字图书管理员仍然会出错的地方。即使是最优秀的模型，有时也会在“等同于”和“层级关系”之间产生混淆。例如，如果两个术语非常相似，模型有时会误认为其中一个是另一个的父级，或者反之亦然。研究人员发现，当单词看起来非常相似时，这种混淆发生得最为频繁。尽管存在这些小瑕疵，研究结论认为，微调小型模型是实现生物医学本体（ontologies）自动化的极其有效的方法，为在无需等待人工手动处理的情况下，快速且准确地维护人类知识库的有序性提供了途径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。