Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment

该研究评估了五种小型开源大语言模型在消费级 CPU 硬件上对临床问答的提示敏感性与答案一致性，发现高一致性并不等同于高准确性，其中 Llama 3.2 在低资源部署中展现了最佳的综合性能，而角色扮演提示会降低准确率且仅领域预训练不足以支撑结构化临床问答。

要点

这篇论文就像是在给一群“小个子”的医疗 AI 助手做体检，看看它们在资源匮乏（比如没有超级电脑、只能靠普通电脑运行）的偏远诊所里，到底靠不靠谱。

研究者找了 5 个开源的“小模型”（就像 5 个不同性格的实习生），让它们回答 600 道医学考试题。为了测试它们稳不稳，研究者把同一道题用 5 种不同的问法（比如：像医生一样问、像普通人一样问、或者让 AI 扮演医生）反复问它们。

以下是这篇论文的核心发现，用几个生动的比喻来解释：

1. “嘴硬”的实习生：一致性 $\neq$ 正确性

比喻： 想象有一个实习生，你问他“苹果是什么颜色？”，无论你用中文、英文还是方言问，他每次都坚定地回答“蓝色”。

• 现象： 研究发现，Gemma 2 这个模型就是这种“嘴硬”的实习生。它对同一个问题，无论你怎么问，回答都非常一致（一致性得分最高），但它的回答经常是错的（准确率最低）。
• 教训： 在医疗领域，“总是给同一个错误答案”比“偶尔给对偶尔给错”更可怕。因为医生可能会觉得：“它每次都这么说，肯定是对的！”从而产生虚假的安全感，导致误诊。
• 结论： 一个 AI 很“稳定”，不代表它很“聪明”。稳定地犯错，是医疗 AI 最危险的故障模式。

2. “角色扮演”是个坑：别让它演医生

比喻： 如果你让一个实习生“假装成老专家”来回答问题，他可能会因为太想演得像，反而把原本会做的题做错了。

• 现象： 研究中发现，当提示词让 AI**“扮演一名执业医生”（Roleplay）时，所有模型的表现都变差了**。特别是 Phi-3 Mini，准确率直接暴跌了 20% 以上。
• 教训： 在医疗 AI 里，越简单直接越好。不要试图通过“扮演专家”来增加权威感，这反而会让小模型“走火入魔”，把原本简单的医学问题搞复杂，导致回答错误。
• 建议： 直接问问题，别加戏。

3. 个头大不代表靠谱：参数多 $\neq$ 听话

比喻： 就像有些身材高大的员工（大参数模型），虽然力气大，但可能听不懂老板的指令；而有些身材小巧的员工（小参数模型），虽然力气小，但特别听话，让你干啥就干啥。

• 现象： 最大的模型（Mistral 7B）并没有在所有方面都胜出。相反，Llama 3.2（30 亿参数）表现最均衡：它既比较聪明（准确率最高），又很听话（很少乱回答或答非所问）。
• 教训： 在资源有限的诊所，不要盲目追求“大模型”。Llama 3.2 这种“小身材、大智慧”的模型，在普通电脑上就能跑，而且既准又稳，是最佳选择。

4. 只有“知识”不够，还得会“听指挥”

比喻： 想象有一个博古通今的教授（Meditron-7B），他脑子里装满了医学书，但他没受过“如何回答考试题”的训练。

• 现象： 这个专门学过医学知识的模型，在遇到需要按格式回答（比如选 A/B/C/D 或 是/否）的问题时，几乎完全崩溃（99% 的情况它要么不说话，要么乱说）。它知道很多，但不会按规矩办事。
• 教训： 在医疗部署中，“懂医学知识”和“能听懂指令”是两码事。如果你只选了一个懂医学但不会听指令的模型，它在实际工作中就是废的。

总结：给低资源医疗环境的建议

这篇论文告诉我们要给偏远地区的诊所部署 AI 时，不能只看它“答得对不对”（准确率），还要看它“稳不稳”（一致性）以及“听不听话”（指令遵循）。

• 最佳选手： Llama 3.2。它在准确性、稳定性和听话程度上取得了最好的平衡。
• 避坑指南：
  1. 别信那些“虽然每次都答错，但很坚定”的模型。
  2. 别用“扮演医生”这种花哨的提示词。
  3. 别以为模型越大越好，小模型在普通电脑上也能干大事。
  4. 别只用那些只懂医学知识但不会按格式回答的模型。

一句话总结： 在医疗 AI 的世界里，“靠谱”比“聪明”更重要，而“直接”比“演戏”更有效。 我们需要的是那种既能准确回答问题，又不会因为你换种问法就发疯的“老实人”助手。

技术摘要

这是一份关于论文《Small Open-Source Large Language Models 在临床问答中的提示敏感性与答案一致性：对低资源医疗部署的启示》（Prompt Sensitivity and Answer Consistency of Small Open-Source Large Language Models on Clinical Question Answering: Implications for Low-Resource Healthcare Deployment）的详细技术总结。

1. 研究背景与问题 (Problem)

随着人工智能在医疗工作流中的整合，小型开源大语言模型（SLMs，2B-7B 参数）因能在缺乏云基础设施的低资源环境（如农村诊所、社区医院）中本地运行而受到关注。然而，现有的评估主要关注准确率（Accuracy），即模型是否能选出正确答案，而忽视了提示敏感性（Prompt Sensitivity）和答案一致性（Answer Consistency）。

核心问题：
在临床决策支持中，如果模型对同一问题的不同表述（提示词变体）给出不同的答案，或者给出高度一致但错误的答案，其可靠性存疑。目前缺乏针对在低资源硬件（消费级 CPU）上运行的小型开源模型，在临床问答场景下提示敏感性与答案一致性的系统性评估。

2. 方法论 (Methodology)

本研究设计了一个严格的实验框架，旨在量化模型在不同提示风格下的表现。

• 数据集 (Datasets)：

  • 选取了三个权威的临床问答基准：MedQA (USMLE 考试题目)、MedMCQA (印度医学入学考试题目)、PubMedQA (基于生物医学摘要的 Yes/No/Maybe 问答)。
  • 每个数据集随机采样 200 个问题（共 600 题），确保可复现性。

• 模型 (Models)：

  • 评估了 5 个开源模型，参数量在 2B 到 7B 之间：
    • Phi-3 Mini (3.8B, Microsoft)
    • Llama 3.2 (3B, Meta)
    • Gemma 2 (2B, Google)
    • Mistral 7B (7B, Mistral AI)
    • Meditron-7B (7B, EPFL)：特殊模型，经过医学领域预训练但未经过指令微调，用于测试领域知识与指令遵循能力的关系。

• 提示词变体设计 (Prompt Variation Design)：

  • 为每个问题生成了 5 种语义相同但风格不同的提示词：
    1. Original (原始)：数据集原样。
    2. Formal (正式)：模拟医疗专业人士的学术语言。
    3. Simplified (简化)：模拟非专家或患者的通俗语言。
    4. Roleplay (角色扮演)：指令模型“作为执业医师”回答。
    5. Direct (直接)：仅包含问题和选项，无额外框架。
  • 总计生成 3,000 个提示词实例。

• 实验设置 (Inference Setup)：

  • 硬件：本地消费级 CPU（无 GPU 加速），模拟低资源部署环境。
  • 工具：使用 Ollama 进行推理。
  • 参数：Temperature 设为 0（确保确定性输出），最大 Token 限制为 10（强制模型输出简短答案）。
  • 评估指标：
    • 一致性分数 (Consistency Score)：同一问题在 5 种提示下，多数答案（Majority Answer）出现的比例。
    • 整体准确率 (Overall Accuracy)：基于多数答案与真实标签的对比。
    • 指令遵循失败率 (UNKNOWN Rate)：未能输出有效答案（如 A/B/C/D 或 Yes/No/Maybe）的比例。

3. 关键贡献 (Key Contributions)

1. 揭示了“一致性”与“准确率”的独立性：证明了高一致性并不等同于高准确率。模型可以“可靠地错误”（Reliably Incorrect），即在不同提示下稳定地给出错误答案，这对临床安全构成极大风险。
2. 量化了“角色扮演”提示的负面影响：首次系统性地发现，在小型医疗模型中，角色扮演（Roleplay）提示风格会系统性地降低准确率，而非提升。
3. 区分了领域知识与指令遵循能力：通过 Meditron-7B 的实验，证明了仅有医学领域预训练知识而缺乏指令微调（Instruction Tuning）的模型，在结构化问答任务中几乎完全失效（指令遵循失败率极高）。
4. 提出了低资源部署的评估框架：建立了一个无需昂贵 GPU 即可复现的评估框架，强调在资源受限环境下，需联合评估准确率、一致性和指令遵循能力。

4. 主要结果 (Results)

• 一致性与准确率的关系：

  • Gemma 2 (2B)：表现出最高的一致性 (0.845–0.888)，但最低的准确率 (33.0–43.5%)。这是“可靠错误”的典型例子。
  • Llama 3.2 (3B)：表现出中等的一致性 (0.774–0.807)，但拥有最高的准确率 (49.0–65.0%)。
  • 结论：一致性分数与准确率之间没有正相关性。

• 提示风格的影响：

  • Roleplay (角色扮演) 提示在所有模型和数据集中均导致准确率显著下降。
  • 最显著的案例是 Phi-3 Mini 在 MedQA 上，Roleplay 提示使其准确率比最佳风格（Direct）下降了 21.5 个百分点。
  • Direct (直接) 和 Original (原始) 提示通常表现最稳定。

• 指令遵循失败率 (UNKNOWN Rate)：

  • 失败率与参数量无直接正相关。
  • Meditron-7B 在 PubMedQA 上的失败率高达 99.0%，表明未经指令微调的领域模型无法处理结构化指令。
  • Phi-3 Mini 在 MedQA 上的失败率最高 (10.5%)。
  • Llama 3.2 和 Gemma 2 的失败率最低 (<3%)。

• 模型性能总结：

  • Llama 3.2 在准确率、一致性和指令遵循之间取得了最佳平衡，被推荐为低资源部署的首选。
  • Meditron-7B 证明了仅靠领域知识不足以支撑临床 AI 部署，必须结合指令微调。

5. 意义与启示 (Significance)

• 临床安全警示：在医疗 AI 中，一个“稳定但错误”的模型比一个“偶尔不一致但正确”的模型更危险，因为它会给医生提供虚假的信心（False Confidence），导致系统性误诊。
• 提示工程建议：在构建面向低资源环境的医疗 AI 应用时，应避免使用角色扮演（Roleplay）提示，而应采用直接、简洁的提示风格。
• 模型选择策略：对于低资源部署，不应盲目追求大参数或高一致性，而应优先选择指令遵循能力强且准确率高的模型（如 Llama 3.2）。
• 评估范式转变：呼吁医疗 AI 研究界从单一的“准确率”评估转向多维评估框架（准确率 + 一致性 + 指令遵循），以真实反映模型在复杂临床环境下的可靠性。
• 未来方向：建议对领域预训练模型（如 Meditron）进行指令微调，并探索检索增强生成（RAG）技术以缓解提示敏感性问题。

总结：该论文通过严谨的实验证明，在低资源医疗场景下部署小型开源模型时，必须警惕“高一致性带来的虚假安全感”，并明确指出指令遵循能力和提示风格的选择对临床决策安全至关重要。