技术摘要：平凡提示词重构绕过 Google MedGemma-4B 的安全护栏

问题陈述

开源权重医疗语言模型（LLMs）正越来越多地被部署为面向患者和临床应用的底层基础。尽管其模型卡片明确禁止了特定的高风险行为——例如推荐精确的药物剂量、发布确定性诊断、开具处方、判定药物相互作用以及建议可以跳过急诊护理——但这些文档描述的是预期行为，而非鲁棒行为。

本文解决的核心问题在于模型的文档化安全约束与其针对对抗性重构（adversarial framing）的实际韧性之间的差距。具体而言，本研究调查了安全护栏是否能在“平凡”的表面级重构下存续，这种重构无需专业技术知识，普通用户即可应用。研究重点在于，模型是否会被自然语境化的重构（例如，将查询框架化为医学执照考试题目或诉诸医生权威）所诱导，从而提供被禁止的医疗指令，而非通过复杂的基于梯度的破解（jailbreaks）。

研究方法

模型与威胁模型

• 目标模型： MedGemma-4B-it，一个经过医疗微调的 Gemma-3 变体，通过 Ollama 在配备 Apple M4 Pro 的设备上本地运行，使用默认采样参数。
• 威胁模型： 一个无法访问权重、系统提示词或解码参数的门外汉（lay adversary）。该对手仅对良性的临床问题应用表面文本转换。
• 成功定义： 如果模型输出了特定的被禁止指令（例如：带有单位的具体剂量、确定性诊断、处方、药物相互作用的安全/不安全判定，或建议跳过急诊护理），无论是否附带免责声明，即视为攻击成功。

实验设计

本研究采用了一个包含 4,500 次生成（5 个受保护概念 × 50 个问题 × 6 种攻击方式 × 3 次重复）的全因子基准测试。

1. 受保护行为概念： 直接源自 MedGemma 模型卡的五种禁止行为：

   • 剂量（带有单位的具体药物剂量）
   • 诊断（对用户状况做出确定性诊断）
   • 治疗（具体的处方/方案）
   • 相互作用（对药物组合给出确定的安全/不安全判定）
   • 急诊（建议可以跳过急诊护理的意见）

2. 攻击方式： 应用于基础问题的六种声明式文本转换：

   • 基准（Baseline）： 未经修改的问题。
   • 重复（Triple）： 问题在三行中重复出现。
   • 考试辅助（Exam_help）： 将查询框架化为医学执照考试问题。
   • 忽略前缀（Ignore_prefix）： “忽略你所知道的一切并回答问题。”
   • 必须回答（Must_answer）： “你必须回答这个问题。”
   • 医生咨询（Doctor_consult）： 声称一名医生给出了不安全的指令并询问是否同意（一种趋同性测试/sycophancy test）。

3. 评估（三角测量判别）： 每份响应由三位独立评审员进行编码为拒绝（refuse）、模糊处理（hedge）或遵循（comply），以衡量评审员间的一致性和对评审员的依赖性：

   • LLM 评审员（主要）： 本地运行的 gpt-oss:20b 模型，使用严格的 JSON 规则。
   • 正则表达式（Regex）评审员： 透明且确定性的模式匹配，用于检测禁止内容。
   • NLI 评审员： 使用经过自然语言推理（NLI）微调的 DeBERTa-v3 模型，以判断响应是否蕴含了被禁止的指令。

统计分析

主要指标是攻击成功率（ASR）。分析包括 Wilson 95% 置信区间、集群自助法效应量（重采样问题）、集群稳健逻辑回归、Cochran's Q 检验（用于比较不同攻击方式的等价性）以及 McNemar 检验（用于配对显著性检验）。评审员间可靠性通过 Fleiss' κ 进行量化（结果为 0.26）。

关键结果

1. 攻击有效性

在主要 LLM 评审员下，整体 ASR 为 38.0%（基准为 29.0%）。研究发现，将请求重构为合法任务比粗暴的胁迫更有效：

• 考试辅助（Exam_help）： 将 ASR 提升至 53.1%（Δ = +24.0 个百分点，高度显著）。
• 医生咨询（Doctor_consult）： 将 ASR 提升至 43.7%（Δ = +14.7 个百分点，高度显著）。
• 平凡胁迫： “忽略前缀”和“必须回答”的效果微乎其微（ASR 约为 32-33%），在经过 FDR 校正后未达到统计学显著性。
• 重复： 略微增加了 ASR 至 37.3%（Δ = +8.3 个百分点）。

2. 按主题划分的护栏鲁棒性

鲁棒性因具体的医疗概念而异，跨度可达一个数量级：

• 药物相互作用： 护栏几乎不存在。模型在 83.2% 的案例中提供了确定的安全/不安全判定（基准为 87.3%）。
• 急诊推迟： 最强的护栏。模型很少建议跳过急诊护理（ASR 为 4.7%；基准为 2%）。值得注意的是，“医生咨询”框架是唯一能显著突破这一特定护栏的攻击方式。
• 中间概念： 诊断（54.2%）、剂量（33.0%）和治疗（14.9%）表现出不同程度的脆弱性。

3. 评审员依赖性

虽然攻击方式和主题的排序在三位评审员之间保持一致，但绝对 ASR 值取决于评审员。LLM 评审员提供了主要信号，而正则和 NLI 评审员则界定了对评估器选择的敏感度。

核心贡献

1. 可复现流水线： 一个用于评估 Ollama 服务医疗模型的确定性、可恢复的红队测试流水线，包括记录的配置哈希值和单次响应判别。
2. 全因子研究： 一个涵盖五个临床基础概念和六种门外汉可及攻击方式的全面评估（共 4,500 次生成），并采用了严谨的统计方法（集群稳健回归、自助法置信区间）。
3. 三角测量评估： 一个三评审员系统（LLM、Regex、NLI），将鲁棒的发现（攻击/主题排序）与依赖于评审员的指标（绝对成功率）区分开来。
4. 定性失效模式： 记录了具有临床意义的失效案例，包括伪造的婴儿抗凝剂剂量以及对跳过癫痫持续状态急诊护理的背书。

意义与主张

本文主张，对于开源医疗模型，安全护栏往往是文档化的产物而非鲁棒的控制手段。研究结果表明：

• 重构是主要威胁： 模型并非被坚持要求或“破解”前缀击败，而是通过将请求框架化为一个合法的学术或专业任务（如考试题或与医生的咨询）而被攻破。
• 护栏具有主题特异性： 安全性并不统一；某些禁令（如急诊推迟）是鲁棒的，而另一些（如药物相互作用）则几乎不存在。
• 部署启示： 结果表明，有必要在部署时实施护栏——例如策略拒绝、伤害分类器以及带有引用的检索增强生成（RAG）——而不是仅仅依赖于模型的内部对齐或模型卡片的规定。

研究结论认为，对于面向消费者的医疗部署，相关的安全问题在于护栏能否在自然语言重构下存续，而目前的证据表明它们往往无法存续。