Beyond Accuracy: Risk-Sensitive Evaluation of Hallucinated Medical Advice

这是一份关于论文《BEYOND ACCURACY: RISK-SENSITIVE EVALUATION OF HALLUCINATED MEDICAL ADVICE》（超越准确性：幻觉医疗建议的风险敏感评估）的详细技术总结。

1. 研究背景与问题 (Problem)

• 现状：大型语言模型（LLMs）越来越多地用于面向患者的医疗问答场景。现有的幻觉评估标准主要关注事实正确性（Factual Correctness），即模型输出是否与参考答案或事实一致。
• 痛点：
  • 风险同质化：现有指标将所有错误视为同等严重，忽略了医疗内容在潜在危害上的巨大差异。例如，一个无害的事实错误（如错误的年份）与一个可执行的危险建议（如错误的用药剂量或禁忌症）在后果上截然不同。
  • 临床相关性缺失：在临床和安全关键场景中，幻觉的危害往往不取决于其是否“事实正确”，而取决于其是否可执行（Actionable）。缺乏对“可执行但无依据”的医疗语言（如治疗指令、禁忌症、紧急程度提示）的专门评估，导致无法识别真正危及安全的故障模式。
  • 评估偏差：当前的幻觉检测高度主观且依赖于提示词设计，单纯基于正确性的评估可能掩盖安全关键的故障模式。

2. 方法论 (Methodology)

作者提出了一种风险敏感评估框架（Risk-Sensitive Evaluation Framework），旨在量化模型输出中包含的“风险承载语言”（Risk-Bearing Language），而非单纯判断其事实正确性。

2.1 风险承载语言分类

框架定义了六类在医疗 NLP 中被公认为安全关键的语义模式：

1. **治疗指令 **(Treatment directives)：开始、停止、增加或调整药物/疗法的指令。
2. **禁忌与禁令 **(Contraindications and prohibitions)：断言某项行动或药物不可取。
3. **剂量表达 **(Dosage expressions)：明确的数量、时间表或剂量调整。
4. **紧急与分诊提示 **(Urgency and triage cues)：建议寻求急诊、紧急评估，或反之建议避免就医。
5. **高风险药物提及 **(High-alert medications)：提及抗凝剂、胰岛素等高风险药物。
6. **过度自信断言 **(Overconfident assertions)：在缺乏支持语境下表现出的确定性语言。

2.2 风险敏感幻觉评分 (RSHS)

为了量化风险，作者提出了连续评分指标 **RSHS **(Risk-Sensitive Hallucination Score)：

• 公式：$RSHS(x) = \frac{\sum_{k=1}^{K} \sum_{p \in P_k} w_{k,p} \cdot n(p, x)}{1 + \log(1 + |x|)}$
  • $w_{k,p}$：特定模式 $p$ 的权重，反映潜在危害的序数差异（例如，“劝阻就医”比一般“紧急提示”权重更高）。
  • $n(p, x)$：指示函数，判断模式 $p$ 是否出现在响应 $x$ 中。
  • $|x|$：响应长度。分母中的对数归一化旨在消除长文本带来的偏差，确保评分反映的是风险语言的集中度而非冗长度。
• 定位：RSHS 是一个比较评估信号，用于衡量模型在特定条件下产生风险语言的可能性，而非部署阈值或直接的幻觉检测器。

2.3 风险 - 相关性联合分析 (Risk × Relevance)

仅凭风险语言不足以定义有害故障。作者引入了 QASim（查询 - 响应相关性得分），即患者查询与模型响应句子嵌入之间的余弦相似度。

• 目标：识别高风险且低相关性的故障模式。这类响应包含危险指令，但与用户输入弱相关或完全无关（语义漂移），这是最危险的故障类型。

3. 实验设置 (Experimental Setup)

• 提示设计：构建了 200 个面向患者的医疗提示，作为受控的安全压力测试（Safety Stress Tests）。涵盖症状分诊、药物管理、妊娠相关及慢性病场景。提示旨在诱发模型生成无依据但可执行的医疗建议。
• 模型对象：
  • 主要评估了同一架构家族（FLAN-T5）的三个指令微调模型：Small, Base, Large。
  • 扩展评估了 Decoder-only 模型 Phi-3-mini-4k-instruct。
• 生成策略：使用固定温度的核采样（Nucleus Sampling）以暴露模型行为的变异性。

4. 关键结果 (Key Results)

4.1 模型规模与风险分布

• 尾部行为差异：虽然所有模型都频繁生成低风险响应，但大模型在 RSHS 的分布尾部表现出更高的风险值。这意味着大模型更倾向于生成包含风险语言的响应。
• 风险类别驱动：风险差异主要由治疗指令（如“开始/停止”）和紧急提示（如“去急诊”）驱动。所有模型中显式的剂量表达都很少见。
• 表面行为 vs. 风险画像：具有相似表面行为（如流畅度、长度）的模型，其风险画像（Risk Profile）存在显著差异，这是传统指标无法捕捉的。

4.2 风险 - 相关性故障模式

• 联合分析发现：大多数高风险响应仍与用户查询保持中等程度的语义相关。然而，存在一小部分响应同时具有高 RSHS 和低 QASim。
• 故障特征：
  • 小模型：偶尔产生离题或无意义的响应，但其中包含风险语言。
  • 大模型：更倾向于生成连贯但过度处方化（Overly prescriptive）的指南。
  • 这种“高风险 + 低相关性”的组合代表了无依据的医疗建议，是传统单一指标难以发现的。

4.3 提示词敏感性

• 提示词影响：当提示词明确邀请“管理建议”或“紧急考虑”时，风险敏感评分显著上升。
• 放大效应：不同规模的模型对提示词框架的敏感度不同，表明幻觉风险高度依赖于任务设计和提示词构建。

4.4 扩展性

• 在 Phi-3 模型上，该框架同样检测到了显著的尾部风险行为（90 百分位 RSHS 高达 0.98），证明了该方法在不同架构家族中的通用性。

5. 主要贡献 (Key Contributions)

1. 评估范式的转变：从关注“事实正确性”转向关注“潜在危害（可执行性）”。提出了一种不依赖专家标注事实正确性，而是基于风险语言模式存在的评估视角。
2. 新指标体系：提出了 RSHS（风险敏感幻觉评分）和 QASim（相关性评分），并定义了风险承载语言的具体类别和权重机制。
3. 揭示隐藏故障：通过联合分析风险与相关性，识别出了传统指标（如准确率、BLEU 等）无法捕捉的“高风险且低相关性”的致命故障模式。
4. 实证发现：证明了模型规模增加并不总是带来安全性提升，大模型在特定提示下可能表现出更严重的风险倾向；同时强调了提示词设计对评估有效性的决定性作用。

6. 意义与局限性 (Significance & Limitations)

• 意义：
  • 临床安全对齐：该框架更符合临床安全分析的需求，即关注输出被用户采纳后可能产生的后果，而非单纯的文本事实核对。
  • 诊断工具：为比较不同模型在安全关键任务中的行为提供了轻量级、可解释的诊断工具。
  • 评估有效性：强调了评估指标必须在反映模型实际使用场景（如特定的提示词框架）下才具有效性。
• 局限性：
  • 不评估临床正确性或患者结局，也不直接检测幻觉。
  • 基于模式匹配的启发式方法可能漏掉微妙的不安全指导，或在良性语境中高估风险。
  • 实验基于合成压力测试，而非真实临床对话，因此结果不能直接等同于部署后的表现。

总结：这篇论文指出，在医疗 LLM 评估中，仅仅追求“准确性”是不够的。通过引入风险敏感视角，量化模型生成“可执行但无依据”的医疗建议的倾向，能够更有效地识别和预防潜在的临床危害，为构建更安全的医疗 AI 系统提供了新的评估维度。