A statistical framework for evaluating the repeatability and reproducibility of large language models

本文提出了一种受监管指导启发的统计框架，通过语义和内部两个维度量化大语言模型在生物医学任务中的重复性和可复现性，并发现提示策略显著影响其输出稳定性，且稳定性与诊断准确性并无必然关联。

要点

这篇论文主要解决了一个关于人工智能（特别是大型语言模型，LLM）在医疗领域应用时的核心问题：如果同一个医生（AI）面对同一个病人，每次看病给出的诊断都不一样，那我们还敢相信它吗？

为了让你更容易理解，我们可以把这篇论文的研究内容想象成**“测试一位新入职的实习医生的稳定性”**。

1. 核心问题：AI 的“情绪”太不稳定

现在的 AI 医生（如 ChatGPT）很聪明，能写出像模像样的病历。但是，它们不像人类医生那样有固定的逻辑。

• 比喻：想象你让一位 AI 医生给同一个病人看病。
  • 第一次问：“病人发烧头痛，是什么病？”它回答：“是脑膜炎。”
  • 第二次问完全一样的问题，它可能回答：“可能是流感，也可能是脑膜炎。”
  • 第三次，它又说：“我觉得是偏头痛。”
  • 虽然它偶尔能猜对，但如果每次答案都飘忽不定，医生和患者就会很困惑：到底该信哪一次？

这就引出了论文的两个核心概念：

• 可重复性 (Repeatability)：在完全相同的条件下（同样的问题、同样的设置），AI 每次给出的答案是否一致？
• 可复现性 (Reproducibility)：在稍微不同的条件下（比如换了一种问法，或者换了个医生来问），AI 的核心结论是否依然一致？

2. 他们发明了什么？一套“体检工具”

作者们开发了一套统计框架，就像给 AI 医生做“体检”的仪器。这套仪器有两个维度的检查：

A. 语义检查（看“意思”变没变）

• 比喻：这就像检查 AI 说的“话”。
  • 如果 AI 第一次说“是脑膜炎”，第二次说“确诊为脑膜炎”，虽然措辞不同，但意思一样。这叫“语义可重复性”高。
  • 如果第一次说“脑膜炎”，第二次说“流感”，那就是“语义可重复性”低。
• 目的：确保 AI 每次传达的核心信息是稳定的，不会今天说东，明天说西。

B. 内部检查（看“心里”慌不慌）

• 比喻：这就像检查 AI 的“内心戏”或“自信心”。
  • 当 AI 生成文字时，它其实是在做概率游戏（比如：90% 概率选“脑膜炎”，10% 概率选“流感”）。
  • 内部可重复性检查的是：每次它做这个概率游戏时，是不是都那么笃定？
  • 如果第一次它非常确定（99% 选脑膜炎），第二次却犹豫不决（50% 脑膜炎，50% 流感），哪怕最后选的都是脑膜炎，它的内部稳定性也很差。这说明它其实是在“瞎蒙”，而不是真的“懂”。

3. 他们做了什么实验？

为了测试这套工具，他们找来了518 道美国医学执照考试（USMLE）的题目和90 个真实的罕见病病例，让三个不同的 AI 模型（ChatGPT-4, ChatGPT-4o-mini, LLaMA）反复回答。

• 就像：让三个不同的实习医生，面对同样的考题和真实的复杂病例，每人重复回答 100 次，看看谁最稳。

4. 发现了什么有趣的结果？

• 结果一：怎么问很重要（提示词策略）

  • 研究发现，如果你用**“贝叶斯推理”**（一种像侦探一样，根据新证据不断更新怀疑对象的逻辑）去提问，AI 的回答最稳定。
  • 比喻：就像你问 AI“请像侦探一样一步步推理”，它比直接问“是什么病”要靠谱得多，答案更一致。

• 结果二：答得对 $\neq$ 答得稳

  • 这是最惊人的发现：AI 答对了一次，不代表它下次还能答对；甚至有时候它每次都答错了，但错得很有“规律”（很稳定）。
  • 比喻：一个蒙题的实习生，可能第一次蒙对了答案，但第二次、第三次就蒙错了。或者，他每次都坚定地认为“病人是外星人”，虽然这是错的，但他很“稳定”。
  • 结论：不能只看准确率（Accuracy），还要看稳定性（Repeatability）。

• 结果三：真实病例比考试题更“稳”

  • 在真实的罕见病病例（信息复杂、细节多）上，AI 的回答反而比在标准化的考试题上更一致。
  • 比喻：可能是因为真实病例细节太多，限制了 AI“乱发挥”的空间，反而让它不得不更专注。

5. 这对我们意味着什么？

这篇论文告诉我们，在医疗领域使用 AI 时，不能只看它“能不能答对题”。

• 以前的做法：就像只问学生“这道题选 A 还是 B？”，选对了就满分。
• 现在的做法：我们要问学生“这道题你选了 A，那如果你再选一次，还会选 A 吗？你心里有多确定是 A？”

总结来说：
作者们给 AI 医生设计了一套**“稳定性体检”。这套工具能帮助医生和监管机构判断：这个 AI 是“偶尔灵光一闪的天才”，还是“每次都能稳定发挥的可靠伙伴”。在救死扶伤的医疗领域，“稳定”往往比偶尔的“正确”**更重要。

技术摘要

1. 研究背景与问题 (Problem)

• 核心痛点：随着大语言模型（LLM）在生物医学领域（如临床决策支持、病历生成）的应用日益广泛，现有的评估主要侧重于任务层面的准确性（Accuracy）。然而，LLM 基于概率分布采样生成文本，相同的提示词（Prompt）在不同运行中可能产生不同的输出。
• 现有局限：
  • 传统的评估指标（如 BLEU, ROUGE, BERTScore）主要用于衡量生成文本与参考文本的相似度，无法量化多次运行间的变异性。
  • 缺乏系统性的方法来评估模型在重复运行中是否表现一致。一个模型可能在单次运行中给出正确诊断，但在重复运行中无法复现该结果，这在临床环境中会严重降低对模型建议的信任度。
  • 监管机构（如美国 FDA）和医学界呼吁将**可重复性（Repeatability）和可复现性（Reproducibility）**作为评估 AI 医疗软件的关键指标，但缺乏统一的量化框架。

2. 方法论 (Methodology)

本研究受 FDA 关于 AI 医疗软件的指导原则启发，提出了一个监管导向的统计框架，从两个互补的维度量化 LLM 的变异性：语义（Semantic）和内部（Internal）。

2.1 核心定义

框架定义了四个关键指标：

1. 语义可重复性 (Semantic Repeatability)：在相同条件（同一模型、同一提示词、相同参数）下，多次运行输出在语义含义上的一致性。
2. 内部可重复性 (Internal Repeatability)：在相同条件下，模型在文本生成过程中Token 级概率分布的确定性（即模型内部采样的稳定性）。
3. 语义可复现性 (Semantic Reproducibility)：在不同预设条件（如不同的提示词策略、不同用户或不同环境）下，多次运行输出在语义含义上的一致性。
4. 内部可复现性 (Internal Reproducibility)：在不同预设条件下，模型Token 级概率分布的确定性是否保持一致。

2.2 统计指标计算

• 语义指标：
  • 利用文本嵌入模型（Embedding）将输出序列映射为向量。
  • 可重复性：计算多次运行输出向量之间的平均成对余弦相似度。
  • 可复现性：计算不同实验条件（如不同 Prompt）下，各条件平均向量之间的成对余弦相似度。
• 内部指标：
  • 基于自回归 LLM 的生成过程，计算每一步 Token 生成时的香农熵（Shannon Entropy）。
  • 可重复性：计算多次运行平均熵的归一化值（熵越低，确定性越高，可重复性越好）。
  • 可复现性：计算不同实验条件下平均熵的差异程度（差异越小，可复现性越好）。

2.3 实证评估设置

• 数据集：
  1. MedQA (USMLE)：518 道美国医师执照考试题目（标准化、理想化）。
  2. UDN (Undiagnosed Diseases Network)：90 个真实世界的罕见病病例（复杂、非结构化、多系统表现）。
• 模型：ChatGPT-4, ChatGPT-4o-mini, LLaMA 3.2-1B。
• 提示策略：5 种不同的思维链（Chain-of-Thought, CoT）提示词，包括传统推理、鉴别诊断、直觉推理、分析推理和贝叶斯推理。
• 运行设置：每个“提示词 - 病例 - 模型”组合进行 100 次独立运行（共 912,000 次生成）。

3. 关键贡献 (Key Contributions)

1. 提出了首个监管导向的 LLM 变异性量化框架：将 FDA 定义的“可重复性”和“可复现性”操作化为具体的统计指标，区分了“语义层面”和“内部概率分布层面”的变异性。
2. 揭示了提示策略对稳定性的影响：证明了 LLM 的稳定性不仅取决于模型本身，还高度依赖于提示策略。
3. 解耦了准确性与一致性：通过实证数据表明，模型输出的准确性与其可重复性/可复现性之间没有显著的正相关关系。一个模型可能偶尔给出正确答案，但无法稳定复现；反之亦然。
4. 通用性与可扩展性：该框架不依赖于特定模型或任务，适用于各种生物医学应用场景，为 LLM 的鲁棒性评估提供了标准化工具。

4. 主要结果 (Results)

• 提示策略的影响：
  • 贝叶斯推理（Bayesian Reasoning）提示策略在 ChatGPT-4 上产生了显著更高的语义可重复性（p < 0.001），表明引导模型进行概率推理有助于提高输出的一致性。
  • 不同提示策略对内部可重复性（Token 概率分布的确定性）的影响较小，但在某些模型（如 4o-mini）上，传统 CoT 和贝叶斯 CoT 的内部可重复性显著低于其他策略。
• 数据集差异：
  • **UDN（真实病例）**的可重复性和可复现性得分在不同提示策略间波动较小，比 USMLE（考试题）更集中。这可能是因为真实病例的详细叙事结构限制了模型可能输出的范围。
• 模型表现：
  • 在 USMLE 数据上，ChatGPT-4o-mini 表现出最高的内部可复现性，而 LLaMA 3.2-1B 表现出最高的语义可复现性。
• 准确性与稳定性的关系：
  • 无显著关联：在大多数提示策略下，正确诊断病例与错误诊断病例之间的可重复性和可复现性得分没有统计学差异。
  • 例外：仅在“直觉推理（Intuitive CoT）”策略下，正确诊断病例的内部可重复性显著高于错误病例。
  • 结论：准确性高并不意味着模型输出稳定。

5. 意义与影响 (Significance)

• 临床安全性：该框架强调了在临床部署 LLM 时，不能仅关注“是否答对”，必须评估“是否每次都能给出相同且合理的回答”。不一致的输出可能导致临床医生困惑或做出错误决策。
• 监管合规：为 FDA 等监管机构评估 AI 医疗软件提供了具体的量化方法，有助于制定更严格的上市前审批标准。
• 研究范式转变：推动 LLM 评估从单一的“准确性”指标转向包含“变异性”、“鲁棒性”和“一致性”的综合评估体系。
• 未来方向：指出内部指标依赖于 Token 概率（仅适用于自回归模型），未来需探索适用于黑盒模型或不同架构的变异性评估方法，并结合临床医生的主观评估。

总结：这篇论文填补了 LLM 评估中关于“稳定性”量化的空白，提供了一个严谨的统计工具，证明准确性不等于可靠性。在将 LLM 应用于高风险的生物医学领域时，必须同时考量其输出的可重复性和可复现性。