Automating Categorization of Scientific Texts with In-Context Learning and Prompt-Chaining in Large Language Models
本文通过在 ORKG 分层分类体系上评估大语言模型（LLMs）的表现，研究发现提示链（Prompt Chaining）策略在处理科学文献分类任务时优于上下文学习（ICL），虽在领域和学科层级表现出色，但在更细分的课题层级仍面临挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这是一篇关于如何利用“人工智能大脑”来自动整理海量科学文献的研究报告。为了让你轻松理解，我们可以把这个过程想象成**“给一座超级巨大的、混乱的图书馆进行自动分类”**。
1. 背景：面对“知识爆炸”的图书馆管理员
想象一下，全世界的科学家每天都在写新的论文，就像每天都有成千上万本新书被扔进一个巨大的图书馆。这个图书馆没有书架，只有堆积如山的纸堆。
如果我们要找“关于病毒学的医学研究”，传统的办法是找管理员（专家）一本本看，然后贴标签。但问题是：书实在太多了，管理员会累死，而且速度根本赶不上新书产生的速度。
2. 核心任务：训练一个“AI图书管理员”
研究人员想看看，能不能用现在最先进的“大语言模型”（比如类似 ChatGPT 的技术）来充当这个管理员。
他们给 AI 设定了一个**“三级分类标准”**（就像图书馆的索引系统）：
- 第一级（大领域）： 比如“自然科学”。
- 第二级（学科）： 比如“生命科学”。
- 第三级（细分课题）： 比如“病毒学”。
3. 实验方法：两种“教导”AI 的方式
研究人员发现，直接把书扔给 AI 让它分类，效果并不好。于是他们尝试了两种更聪明的“教学法”：
- 方法 A：举一反三法 (In-Context Learning)
这就像是在教 AI 时，先给它看几本已经贴好标签的样书：“你看，这本是生物，这本是物理，现在请你给这本也贴个标签。” - 方法 B：层层递进法 (Prompt Chaining) —— 这是本研究的“大招”
这就像是把任务拆解成三个小步骤，不让 AI 一次性完成。- 第一步： 问 AI：“这本书属于哪大类？”（AI 回答：自然科学）
- 第二步： 拿着第一步的结果问：“既然是自然科学，那它属于哪个学科？”（AI 回答：生命科学）
- 第三步： 再问：“既然是生命科学，那具体研究什么？”（AI 回答：病毒学）
这种“分步走”的策略，就像是让学生先做选择题，再做填空题，最后做简答题，比直接考大题要容易得多，准确率也更高。
4. 研究结论：AI 表现如何？
- 它很擅长“看大轮廓”： 当让 AI 判断“大领域”和“学科”时，它表现得非常出色，甚至比以前的老牌 AI 模型还要聪明。
- 它在“细节”上会犯迷糊： 当任务深入到最细微的“具体课题”时，AI 的准确率会掉到 50% 左右。这就像是一个学生能分清“理科”和“文科”，也能分清“数学”和“物理”，但到了“微积分里的黎曼积分”这种极细的分支时，他可能就有点拿不准了。
- “温度”的影响： 研究还发现，AI 的“创造力”（参数叫 Temperature）也有影响。如果 AI 太死板，效果不好；如果太爱胡思乱想，效果也不好。研究发现，给它一点点“灵感”（0.8 的温度值）时，它表现最稳。
5. 总结与未来
简单来说： 这项研究证明了，通过“分步拆解任务”的方法，我们可以让 AI 成为一个非常高效的“学术图书管理员”。虽然它现在还不能完美地处理每一个极其细微的知识点，但它已经展现出了巨大的潜力，未来能帮人类从知识的海洋里快速捞出我们要找的宝贝。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。