Leveraging Large Language Models for Generating Research Topic Ontologies: A Multi-Disciplinary Study
本研究介绍了 PEM-Rel-8K 数据集，并证明了在该多学科资源上对大语言模型进行微调，能显著增强其生成生物医学、物理学和工程学领域研究课题本体的能力，其表现优于零样本（zero-shot）和思维链（chain-of-thought）提示方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，科学研究的世界就像一座巨大的、混乱的图书馆，其中包含了数十亿本书籍、文章和数据集。为了从中找到任何有用的信息，你需要一张地图或一套归档系统来逻辑化地组织这些主题。在学术界，这些地图被称为本体（Ontologies）。它们会告诉你“遗传学”是“生物学”的一种类型，或者“5G”是“移动通信”的一种特定类型。
问题在于，手工构建这些地图极其困难、缓慢且昂贵。这需要专家团队坐下来，手动决定每一个主题如何与其它所有主题相关联。正因如此，许多地图是不完整的、过时的，或者仅涵盖特定学科（如医学）而忽略了其他学科（如物理学）。
这篇论文提出了一个简单的问题：现代人工智能（特别是大语言模型，简称 LLM）能否为我们构建这些地图？
以下是研究人员的工作内容及发现的详细分解，使用了日常类比：
1. 挑战：教 AI 成为一名图书管理员
研究人员想要测试 AI 是否能够观察两个研究主题（例如“数据库”和“分布式数据库”）并正确识别它们之间的关系。他们重点关注了三种主要的关系类型：
- 更广泛（Broader）： 一个主题是大的伞形概念（例如，“生物学”涵盖“遗传学”）。
- 更狭窄（Narrower）： 一个主题是伞形概念下的具体细节（例如，“遗传学”是“生物学”的一种类型）。
- 相同（Same-as）： 两个不同的名称代表完全相同的事物（例如，在某些语境下，“本体”和“知识图谱”可能被视为同义词）。
- 其他（Other）： 它们之间没有任何关系。
2. 新工具：PEM-Rel-8K
为了测试 AI，研究人员不能仅仅靠猜测；他们需要一个“训练场”。他们创建了一个名为 PEM-Rel-8K 的新数据集。
- 可以把它看作是一个包含超过 8,000 个问题的巨型模拟考试。
- 这些问题提取自三个著名的现实世界“图书馆”：MeSH（用于医学）、IEEE（用于工程）和 PhySH（用于物理学）。
- 这使得他们可以测试 AI 是否能从一个学科（如医学）中学习逻辑，并将其应用到另一个学科（如物理学）中。
3. 实验：三种教学方法
研究人员尝试了三种不同的方法，以观察哪种效果最好：
方法 A：“零样本学习”（猜谜游戏）
他们要求 AI 在没有任何预先训练的情况下，仅通过阅读指令来解决问题。这就像要求一名学生在从未学习过该科目之前就参加数学考试。- 结果： AI 的表现尚可，但并不出色。它之所以出错，是因为它缺乏学习所需的具体示例。
方法 B：思维链（“边想边说”策略）
他们要求 AI 在给出答案之前，先逐步解释其推理过程。这就像要求一名学生在做数学题时展示解题步骤。- 结果： 这有所帮助，但仍然不是最好的方法。
方法 C：微调（“专业训练营”）
这是最终的赢家。他们对 AI 进行“喂养”，让它学习来自 PEM-Rel-8K 数据集的 8,000 个练习题，让它学习研究主题是如何相互连接的模式。- 结果： 效果非常好。 AI 变成了一名精通业务的图书管理员。
4. 重大胜利
研究发现了一些令人惊讶且鼓舞人心的结果：
- 冠军： 一个名为 gemma-2-27b 的特定 AI 模型（一个拥有 270 亿参数的模型）表现最佳。经过训练后，它的正确率达到了 93.5%。
- “一劳永逸”的神奇之处： 通常你会认为你需要一个专门针对医学训练的 AI，另一个针对物理学的 AI，再一个针对工程学的 AI。但这项研究表明，如果用所有三者的混合数据（结合后的 PEM-Rel-8K 数据集）来训练 AI，它几乎可以达到与专家级模型相当的水平。
- 类比： 这就像是在训练一名全科医生时，同时涵盖了心脏病学、神经学和骨科的案例。你不需要三个不同的专家，这位“超级医生”处理这三个领域的能力几乎可以媲美只学习了其中一个领域的专科医生。
- 跨学科超能力： 即使研究人员仅用物理学数据训练 AI，然后用医学数据进行测试，它的表现依然非常出色。这表明 AI 学习的是主题如何连接的“逻辑”，而不仅仅是具体的词汇。
5. AI 栽跟头的地方
AI 并非完美无缺。它最大的困难在于区分那些完全相同的事物（Same-as）与那些非常相似但具有层级关系的事物（更广泛/更狭窄）。
- 例子： AI 有时会混淆“微孢子虫”（Microsporea，一种特定的真菌）与“微孢子虫纲”（Microsporidians，它们所属的类别），将它们视为同义词，而实际上它们是父级与子级的关系。
- 这发生的原因是不同的图书馆对词汇的使用不一致，从而迷惑了 AI。
总结
论文得出结论：AI 已经准备好协助构建科学知识的地图。 通过在多样化的现实世界数据（PEM-Rel-8K）上训练这些模型，我们可以创建强大的工具，在无需为每个学科配备大量人类专家的情况下，组织不同领域的研究主题。
研究人员计划利用这一成功，最终构建一张涵盖从工程学到人文科学的所有领域的、统一的、宏大的科学全图，使人类更容易发现并连接各项科学发现。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。