Prompting is All You Need: How to Make LLMs More Helpful for Clinical Decision Support

该研究表明，在急性卒中溶栓临床决策支持中，采用结构化提示（CARDS）能显著提升包括 GPT-4o、o3、GPT-5.2 Thinking 及 R1-1776 在内的多种大语言模型的指南依从性、安全性及解释能力，但临床部署时仍需保持严格的人工监督。

要点

这篇论文其实是在探讨一个非常有趣的问题：当我们把人工智能（AI）医生请进诊室时，我们该怎么“问”它，才能让它给出最靠谱、最安全的建议？

想象一下，你面前坐着一位博学但有点“没头没脑”的超级实习生（这就是大语言模型，LLM）。他读过全世界的医学书，但如果你只是随便问一句：“这个病人该不该打溶栓药？”他可能会因为没抓住重点，或者太想表现自己，而给出一个危险的建议。

这篇研究就像是在教我们如何给这位实习生写一份完美的“工作说明书”。

1. 核心实验：两种问法，两种结果

研究者找了 6 个不同的 AI 模型（3 个是像 GPT-4o 这样的“大厂闭源模型”，3 个是像 Llama 这样的“开源模型”），让他们面对 3 个虚构的急性中风病人案例。

• 简单问法（像随口一问）： “这个病人该打溶栓药吗？”
  • 结果： 很多 AI 像没头苍蝇，有的甚至给出了危险的错误建议（比如该打的时候说别打，或者不该打的时候说打），或者完全忽略了重要的禁忌症。
• 结构化问法（像给了一份详细的“检查清单”）： 研究者设计了一个叫 CARDS 的框架，强迫 AI 按步骤思考：
  1. 提取关键信息（病人几岁？发病多久了？）
  2. 分析时间（还在溶栓的时间窗口内吗？）
  3. 检查禁忌症（有没有出血风险？最近有没有中风？）
  4. 解释决策过程（为什么这么选？）
  5. 讨论风险与收益（打了药好处多大？风险多大？）

2. 实验结果：清单的力量

这就好比给实习生发了一张标准化的“体检表”，让他必须逐项打钩。结果非常惊人：

• 对于“大厂”AI（如 GPT-4o, o3, GPT-5.2）：
  它们本来就很聪明，但加上“清单”后，它们从“偶尔犯错”变成了完美无缺。

  • 原本有 16.7% 的建议是危险的，加上清单后，危险建议降为 0%。
  • 原本对医疗指南的引用准确率是 0%，加上清单后，准确率飙升到 100%。
  • 它们开始像真正的医生一样，不仅给结论，还娓娓道来解释为什么。

• 对于“开源”AI（如 Llama 系列）：
  它们的表现像是一个潜力股。

  • 加上清单后，它们识别风险的能力变强了，解释也变清晰了。
  • 但是，其中两个模型（Llama-4 和 Llama-3.3）即使有了清单，仍然有 33.3% 的概率给出危险建议，或者没能完全遵守指南。这说明，光靠“问法”好，如果模型本身的“底子”（训练数据或安全机制）不够硬，还是不够放心。

• 特殊的“开源推理王”（R1-1776）：
  这是一个基于 DeepSeek-R1 修改的模型。它非常厉害，加上清单后，表现和那些最贵的“大厂”AI 一样完美：100% 安全，100% 遵守指南。这证明了开源模型如果设计得当，也能达到顶级水平。

3. 生动的比喻

• 简单问法就像是你让一个厨师做“红烧肉”，只说了名字。他可能忘了放糖，或者把肉烧焦了，甚至可能用了不该用的肉。
• 结构化问法（CARDS 框架）就像是你给了他一本米其林食谱：第一步选肉，第二步焯水，第三步炒糖色，第四步炖煮，第五步尝味。有了这个流程，即使是新手厨师，也能做出非常接近大师水准的菜。

4. 这对我们意味着什么？（结论）

这篇论文告诉我们一个非常重要的道理：在医疗这种高风险领域，AI 不是“问什么答什么”的聊天机器人，它需要被“引导”着思考。

• 提示词（Prompt）就是方向盘： 如果你只是随便问，AI 可能会开上悬崖；如果你用结构化的提示词（像 CARDS 这样），AI 就能稳稳地开在安全的高速公路上。
• 模型选择很重要： 虽然好的问法能提升所有 AI，但并不是所有 AI 都能被“调教”成完美的医生。目前看来，像 GPT-4o、o3、GPT-5.2 以及 R1-1776 这些模型，配合结构化提示，最值得信赖。
• 人类永远不能缺席： 无论 AI 变得多聪明，医生（人类）必须坐在副驾驶位上，手握方向盘，随时准备接管。AI 只是辅助工具，最终的生死决策权必须掌握在人类手中。

一句话总结：
想让 AI 医生变靠谱，不能只靠它“聪明”，还得靠我们“会问”。给 AI 一份清晰的“思考清单”，能让它在救命的关键时刻，从“差点闯祸”变成“完美助攻”。但请记住，清单再好，也得有老医生在旁边把关。

技术摘要

这是一份关于论文《Prompting is All You Need: How to Make LLMs More Helpful for Clinical Decision Support》（提示词即一切：如何让大语言模型更有助于临床决策支持）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心问题：大型语言模型（LLMs）在临床决策支持（CDS）中具有潜力，但其准确性波动较大，且在使用简单、非结构化的提示词（Prompt）时，偶尔会给出不安全或不符合指南的建议。
• 具体场景：急性缺血性卒中的静脉溶栓（tPA）决策。这是一个高风险、时间敏感的临床场景，需要严格遵循指南，权衡出血风险与获益。
• 研究缺口：虽然提示工程（Prompt Engineering）已知能提升模型表现，但针对真实神经科场景，特别是比较闭源商业模型与开源模型在结构化提示下的表现差异，尚缺乏系统性的形式化探索。

2. 研究方法 (Methodology)

• 研究对象：评估了 6 个当代 LLM：
  • 3 个闭源模型：OpenAI GPT-4o, OpenAI o3, OpenAI GPT-5.2 Thinking（推理模型）。
  • 3 个开源模型：Meta Llama-4-Scout-17B-16E-Instruct, Llama-3.3-70B-Instruct-Turbo, 以及 Perplexity R1-1776（基于 DeepSeek-R1 微调，去除了审查机制的推理模型）。
• 实验设计：
  • 输入数据：3 个由作者构建的合成急性缺血性卒中病例（Vignettes），非真实患者数据。
  • 提示策略对比：
    1. 简单提示：仅包含病例描述和核心问题（“该患者是否应接受溶栓治疗？”）。
    2. 结构化提示（CARDS 框架）：一个五步引导框架，包含：
       • Context（背景）
       • Aims（目标）
       • Relevant details（相关细节提取）
       • Design（设计/决策过程）
       • Source（来源/指南引用）
       • 具体步骤：提取关键信息、分析时间窗、检查禁忌症、解释决策过程、讨论风险与获益。
• 评估指标：由一名认证的卒中神经科医生手动评分，涵盖 7 个领域：
  1. 指南依从性 (Guideline adherence)
  2. 建议安全性 (Safety of recommendations)
  3. 关键风险识别 (Risk recognition)
  4. 具体指南分级准确性 (Guideline grading accuracy)
  5. 是否包含对话式解释 (Conversational explanation)
  6. 清晰度 (Clarity)
  7. 整体帮助性 (Overall helpfulness, 1-5 分)

3. 主要发现与结果 (Key Results)

结构化提示（CARDS）显著提升了大多数模型在多个领域的表现，但不同模型家族的提升幅度存在显著差异：

A. 闭源模型 (GPT-4o, o3, GPT-5.2 Thinking)

• GPT-4o 和 o3：
  • 指南依从性：从 83.3% 提升至 100%。
  • 安全性：不安全建议从 16.7% 降至 0%。
  • 指南分级准确性：从 0% 飙升至 100%。
  • 解释性：从 0% 提升至 100% 包含对话式解释。
  • 清晰度：统一提升至“好” (Good)。
• GPT-5.2 Thinking (推理模型)：
  • 即使在简单提示下也表现出较高的安全性（100% 安全），但在结构化提示下，指南依从性从 66.7% 提升至 100%，分级准确性和解释性均达到 100%。
  • 整体帮助性评分达到满分 (5.0)。

B. 开源推理模型 (R1-1776)

• 表现与顶级闭源模型相当。
• 指南依从性：保持 100%。
• 安全性：保持 0% 不安全建议。
• 关键提升：在结构化提示下，指南分级准确性和对话式解释从 0% 提升至 100%。
• 帮助性：平均分从 3.7 提升至 5.0。

C. 非推理开源模型 (Llama-4-Scout, Llama-3.3-70B)

• 表现提升有限：虽然风险识别提升至 100%，指南分级准确性提升至 66.7%，但指南依从性仍停留在 66.7%，且不安全建议仍高达 33.3%。
• 这表明仅靠提示工程无法完全弥补这些模型在安全对齐或医疗知识深度上的缺陷。

D. 总体统计

• 结构化提示在“指南分级准确性”和“对话式推理”方面带来了最大的绝对增益。
• 闭源模型和推理型开源模型（R1-1776）对结构化提示的响应最为敏感，能实现完美的安全与依从性。

4. 关键贡献 (Key Contributions)

1. 实证数据：首次系统性地量化了结构化提示（CARDS 框架）在急性卒中溶栓决策中对多种闭源和开源 LLM 的具体影响。
2. 模型差异洞察：揭示了模型架构和训练对齐（Alignment）的重要性。推理型模型（如 o3, GPT-5.2 Thinking, R1-1776）在结构化提示下表现卓越，而非推理型开源模型（如 Llama 系列）在安全性上仍存在短板，提示单纯提示工程可能不足以解决所有模型的安全问题。
3. 临床实践指南：提出了具体的临床部署建议，即在使用 LLM 进行高风险决策时，必须使用强制性的结构化提示步骤（提取、时间分析、禁忌症检查、风险获益讨论）。
4. 开源模型潜力：证明了经过适当微调或具有推理能力的开源模型（如 R1-1776）在配合结构化提示后，其表现可媲美甚至达到顶级闭源模型的水平，为隐私保护（本地部署）提供了可行路径。

5. 意义与局限性 (Significance & Limitations)

• 临床意义：
  • 提升安全性：结构化提示能有效消除不安全建议，确保指南依从性，减少临床决策中的错误。
  • 人机协作：强调在 LLM 辅助决策中，结构化提示 + 严格的人类监督是目前最安全的实施路径。
  • 模型选择：建议优先选择闭源推理模型或高性能开源推理模型（如 R1-1776）用于临床 CDS，而非直接使用基础开源模型。
• 局限性：
  • 仅使用了 3 个合成病例和单一评分者。
  • 未进行参数微调（Fine-tuning）或检索增强生成（RAG）的对比，仅测试了提示工程的效果。
  • 模型版本快照固定，未涵盖未来版本的变化。
• 未来方向：需要更大规模的病例集、多专家评估，以及针对卒中护理语料库的微调研究，以解决部分开源模型在提示工程下仍存在的依从性缺陷。

总结：该论文有力地证明了“提示词即一切”（Prompting is All You Need）在特定临床场景下的有效性，但同时也指出这种有效性高度依赖于模型本身的推理能力和安全对齐水平。对于临床部署，结构化提示是必要条件，但并非所有模型都能仅凭提示词达到完美安全，人类监督不可或缺。