Chained Prompting for Better Systematic Review Search Strategies
本文介绍了一种基于大语言模型（LLM）的链式提示框架，该框架通过复制人工设计流程来自动化开发系统评价检索策略，与现有方法相比，实现了更优的召回性能并生成了结构良好的 PICO 要素。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名试图破解重大谜团的侦探。你的目标是在一个包含数百万本书的图书馆中找到每一个隐藏的线索。如果你漏掉哪怕一个线索，你的案件就会出现瑕疵。这正是研究人员在进行“系统综述”（Systematic Review）时所做的工作——他们试图找到所有与特定医学问题相关的科学研究。
问题在于，这个图书馆（科学数据库）规模巨大、杂乱无章，并且使用非常特定且令人困惑的语言。如果你向图书管理员（或计算机）询问“关于心脏病的线索”，它可能会错过一本名为《成年人的心肌梗死》的书，因为你没有使用完全正确的词汇。
以下是 Fatima Nasser 及其团队如何解决这一问题的方案，他们使用了一个简单的类比：
旧方法：“一蹴而就”的猜测
传统上，寻找这些线索是由专家手动完成的。这就像是要求一个人去猜测要在搜索栏中输入的完美句子。这既耗时又累人，而且如果人类感到疲劳或遗漏了同义词，他们可能会留下重要的线索。
一些计算机曾尝试通过“启发式”（heuristic）方法提供帮助，但它们往往表现得像一个笨拙的机器人，要么抓取了太多无关的书籍，要么漏掉了好的书籍。
新方法：“链式提示”流水线
作者利用大语言模型（一种先进的 AI）构建了一个新系统。他们并没有试图用一个巨大且混乱的指令让 AI 去“寻找线索”，而是将这项工作分解成了四个步骤的流水线。你可以把它想象成一个工厂，原材料（研究问题）通过四个站点，在每一步都被精加工，最后变成最终产品。
这就是这条流水线：
第一站：翻译官（PICO 提取）
AI 将杂乱的研究问题转化为一种严格的、结构化的格式，称为 PICO（人群 Population、干预 Intervention、对照 Comparison、结局 Outcome）。- 类比： 想象你有一个模糊的抱怨，比如“我肚子疼”。AI 会将其转化为一份医疗表格：“患者：成年男性；症状：腹痛；持续时间：2 天。”这确保了所有人都在同一频道上。
第二站：概念映射器
AI 获取这些严格的 PICO 部分，并确定主要的“概念”。- 类比： 如果概念是“胃痛”，AI 会意识到这不仅仅是一个词。它是一个类别，包含了“腹痛”、“胃部不适”和“肚子疼”。
第三站：同义词生成器
这是最重要的一步。对于每个概念，AI 会生成大量的同义词、拼写变体和相关术语。- 类比： 如果你在寻找“汽车（Car）”，这个站点会确保你也搜索“机动车（Automobile）”、“车辆（Vehicle）”、“轿车（Sedan）”和“卡车（Truck）”。它确保你不会仅仅因为作者使用了不同的词而错过一本书。
第四站：大师级构建者（查询构建）
最后，AI 将所有这些词汇列表组合起来，构建一个复杂的“布尔（Boolean）”搜索字符串（使用类似 AND、OR、NOT 的逻辑）。- 类比： 它构建了一个巨大的网，这个网既足够宽，能捕捉到每种类型的“汽车”，又足够紧，能忽略掉“自行车”。
结果：捕捉更多的鱼
团队使用一个包含 81 个真实医学综述的数据集，将这种新的“流水线”系统与其他方法进行了对比测试。
- 旧 AI (GPT-4o)： 当被要求直接“去做”时，它只捕捉到了 10% 的相关研究。这就像是用一个小网去捕鱼。
- 之前的最佳 AI (LEADS)： 捕捉到了大约 24% 到 82%（取决于计数方式）。
- 新的“链式”系统： 捕捉到了 87% 到 90% 的相关研究。
重大胜利： 该论文声称，通过将任务分解为这些细小的、链式的步骤，该系统变得显著更好。它不仅仅是在猜测，而是遵循了一个逻辑严密的配方。
为什么有时会失败？（错误分析）
作者观察了系统错过线索的少数情况，并发现了三个主要原因：
- 奇怪的语言： 有时原始研究使用了非标准词汇（例如，将“成年人”称为“工人”），而 AI 没有建立起这种联系。
- 糟糕的数据： 有时测试数据集本身包含了一些并不符合其声称内容的实际研究。
- 模糊的指令： 如果起始问题（目标）写得不好，AI 就无法构建一个好的网。然而，当团队给 AI 一个更清晰、更精确的起始问题时，成功率跃升至 100%。
核心结论
这篇论文认为，你不需要人类专家花费数天时间手动构建搜索字符串。相反，你可以使用 AI，但你必须把它当作一个流水线上的专家团队，而不是一个试图完成一切的单一天才。通过引导 AI 经历一个结构化的、分步的过程，你可以找到几乎所有的相关研究，使研究过程变得更快、更便宜、也更可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。