💬 NLP

Safety That Does Not Transfer: Cross-Lingual Clinical Correctness Drift in Deployable Medical Language Models

这项研究表明，虽然前沿大语言模型在英语和豪萨语中均保持了临床安全性，但本地可部署的小型模型在豪萨语中表现出严重的安全性漂移，即尽管在英语中表现尚可，但在豪萨语中却从临床正确下降到产生积极有害的响应，这表明安全性缺陷源于模型类别而非语言或临床内容。

原作者： Anthonio Oladimeji Gabriel, Dimeji Olawuyi, Toba Ajayi, Temilola Aderemi

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anthonio Oladimeji Gabriel, Dimeji Olawuyi, Toba Ajayi, Temilola Aderemi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人图书管理员，它可以回答你提出的任何问题。在人工智能领域，我们称这些为“大语言模型”。长期以来，科学家们一直在测试这些机器人以确保它们是安全的，尤其是在涉及健康等严肃话题时。然而，问题在于：几乎所有的安全测试都是用英语进行的，而且主要是在运行于庞大云端计算中心的、最强大、最先进的机器人身上进行的。

然而，在世界许多地方，人们无法使用那些巨大的云端计算机或高速互联网。相反，他们使用的是更小、更简单的机器人版本，这些机器人直接运行在他们的手机或本地电脑上。这些较小的机器人就像是那位超级图书管理员的“口袋版”。科学家们正在思考的一个大问题是：如果一个机器人在使用英语并在巨型计算机上运行时既安全又聪明，那么当它被缩小以适配手机并被要求使用像豪萨语（Hausa）这样的本地语言进行交流时，它是否依然保持安全和聪明？这有点像是在问：一位能在五星级厨房里烹饪出完美牛排的厨师，在只能使用微型露营炉灶且面对从未见过的食材时，是否仍能烹饪出一份安全、可食用的餐点。

伟大的翻译陷阱

一组研究人员决定对这个想法进行测试。他们想看看 AI 模型提供的医疗建议的“安全性”能否在从英语到豪萨语（一种在尼日利亚北部有数百万人使用的语言）的旅程中得以保留。他们不仅仅是在观察 AI 是否会说“我无法回答这个问题”（这是常见的安全测试）；他们想看的是 AI 是否能给出“正确的”医疗建议。

为此，他们创建了一组关于该地区常见的三种严重健康问题的医疗问题：疟疾、镰状细胞病和肺结核。他们用英语编写了这些问题，然后将它们翻译成豪萨语。他们询问了两类机器人：

“前沿”（Frontier）模型： 一种通过互联网访问的、大规模、顶级的 AI（即“五星级厨房厨师”）。
“可部署”（Deployable）模型： 五个较小的、更便宜的 AI 模型，它们可以在无需联网的情况下在本地硬件上运行（即“露营炉灶厨师”）。

他们提出了类似这样的问题：“我该如何治疗发烧？”或“我的孩子无法喝水，我该怎么办？”他们还加入了旨在测试 AI 是否会给出危险建议的陷阱问题，例如过早停止服药或使用未经证实的民间疗法。

令人震惊的结果：安全性无法随之迁移

研究结果有点像一个失败的魔术表演。当研究人员用英语提问时，这些较小的本地模型表现得相当出色，大多数时候都能给出正确的答案。但一旦他们将问题切换到豪啦语，这些本地模型的表现就崩溃了。

在一个完美答案得分为 2 分、危险/有害答案得分为 -1 分的评分标准下，本地模型的平均得分从英语中的健康水平 1.57 骤降至豪萨语中的危险水平 -0.03。用通俗的话说，这意味着虽然这些本地模型在英语中是“胜任的”，但在说豪萨语时，它们平均而言变得“具有危害性”。它们开始给出自信、流利但完全错误的医疗建议。

例如，在英语版本中，模型可能会正确地说：“针对这种胸痛，你需要立即就医。”而在豪萨语版本中，同一个模型可能会自信地表示：“只需喝这种草药茶，你就会好起来的，”尽管临床指南显示该特定症状属于医疗紧急情况。

“前沿”模型保持冷静

这是故事中最关键的部分：研究人员还测试了那个巨大的、强大的“前沿”模型。当他们用豪萨语询问同样的问题时，它并没有崩溃。它保持了安全和准确，仅从完美的 2.00（英语）轻微下降到 1.75（豪萨语）。它在两种语言中都没有给出过有害的答案。

这一发现排除了几种假说。它证明了问题不在于豪萨语本身（因为大机器人处理得很好）。它也证明了问题不在于医疗问题（因为小机器人可以用英语完美回答这些问题）。问题完全在于所使用的机器人类型。这些较小的本地模型所承诺的“安全性”仅存在于英语环境中。一旦它们被缩小并进行翻译，它们的安全性护栏似乎就瓦解了。

“自信的错误”是最糟糕的错误

研究人员发现这些失败现象中有一个特别可怕的地方。它们并不只是变得困惑或拒绝回答。通常，它们给出的答案听起来非常自信且流利，但在医学上却是危险的。这被称为“危险的自信”。如果一个机器人说“我不知道”，一个人可能会去找人类医生。但如果机器人说“服用这种特定的药片”，而那其实是错误的药片，那么这个人可能会服用它并因此受伤。

他们还注意到了一些奇怪的行为。有时，当被用豪萨语提问时，这些小机器人会用完全不同的语言（如斯瓦希里语）来回答，或者仅仅是重复一些胡言乱语。这表明这些较小的模型对不同非洲语言的理解并不清晰；它们会将这些语言搞混，就像一个只半途学了某种语言的学生在尝试说话一样。

底线

这项研究的结论是，我们不能仅仅因为一个医疗 AI 通过了英语的安全测试，就假设它是安全的。如果我们想在人们使用本地语言和较小计算机的地方使用这些工具，我们必须在那种语言中并且在那种类型的计算机上对其进行测试。

这些模型的“安全性”并不是它们随身携带的魔法盾牌；它是一个取决于它们是如何构建以及在哪里使用的特性。目前，研究人员建议，在这些小型本地医疗机器人在豪萨语等特定语境下得到证实安全之前，我们应对其保持高度警惕。强大的大型机器人似乎能很好地处理翻译，但那些小型的呢？目前来看，它们还不值得被信任去处理关乎生死的建议。

技术摘要：无法迁移的安全性能

问题陈述
目前针对大语言模型（LLM）的安全评估主要在英语环境下进行，并侧重于前沿系统。这为低资源医疗环境（如尼日利亚北部）造成了关键的盲点，因为那里的用户依赖于在消费级硬件上运行、无需网络依赖的小型量化本地托管模型。本文认为，安全并非模型的内在属性，而是通过评估建立的属性。因此，从英语语言测试的前沿模型中获得的安全性保证，可能无法迁移到本地语言或可部署的模型层级。具体而言，本研究调查了在英语中建立的临床安全性是否能迁移到豪萨语（Hausa），以及观察到的失败是归因于语言、临床任务，还是由于低资源部署所允许的模型类别。

方法论
本研究采用了匹配对实验设计，旨在测量“正确性漂移”（correctness drift）——即仅在语言上存在差异的提示词之间临床准确性的变化。

临床范围： 选择了尼日利亚北部的三种高负担疾病：疟疾、镰状细胞病和肺结核。
事实标准（Ground Truth）： 正确性是根据尼日利亚国家治疗指南（如国家疟疾消除计划、国家结核病与麻风病控制计划）进行裁定的，而非采用西方临床默认标准。
提示词工程： 构建了十二项英语条目（每种疾病四项），涵盖：
1. 知识召回。
2. 急诊分诊（识别需要转诊的危险征兆）。
3. 诱导错误行为的引导性问题（例如，提前停止结核病药物治疗）。
4. 传统疗法探测。
  这些条目由一名流利的说话者翻译成豪萨语，并保留了回译过程以备审计。
评估模型： 测试了六个模型：
- 前沿参考模型： 通过 API 访问的一个系统（Gemini）。
- 可本地部署层级： 五个通过 Ollama 以默认量化方式运行的 4–90 亿参数模型。其中包括两个经过医学微调的模型（medgemma:4b, bimistral）和三个通用模型（gemma2:9b, qwen2.5:7b, llama3.1:8b）。
评估指标： 所有 128 个响应由两名流利的豪萨语使用者独立评分（彼此不知情），评分维度包括：
- 临床正确性： 评分范围从 2（正确）到 -1（积极有害）。
- 安全对冲（Safety Hedging）： 适当、对冲不足或过度拒绝。
- 语言质量： 流利、生硬或破碎。
- 输出语言： 是否以请求的语言进行回答。
- 危险自信率（Dangerous Confidence Rate）： 未进行对冲、表现自信且临床错误的响应比例。

关键结果
研究观察到，当转向豪萨语时，本地可部署模型出现了显著的“正确性漂移”，而前沿模型保持稳定。

性能下降： 在五个本地可部署模型中，临床正确性均值从英语下的 1.57 降至豪萨语下的 -0.03。在评估量表中，这代表从“胜任”降至平均“积极有害”。
前沿稳定性： 前沿模型从 2.00 移动到 1.75，保持了胜任能力，且在两种语言中均未产生被判定为有害的响应。
特定疾病的漂移： 这种下降在三种疾病中是一致的。值得注意的是，镰状细胞病在本地模型中的英语表现最强（1.85），但在豪萨语中的表现最弱（-0.30）。
失败模式：
- 有害输出： 本地可部署模型在豪萨语案例中产生的响应被判定为有害的比例为 38%（原始标记），而在英语中仅为 5%。
- 语言失败： 模型无法可靠地用豪萨语回答。medgemma:4b 频繁超时；llama3.1:8b 用斯瓦希里语回答；bimistral 产生了无法识别的文本。
- 微调无效性： 医学微调模型在豪萨语中的表现并不比通用模型更好，甚至往往更差，这表明在英语中进行的领域适配并未延伸到低资源语言。
评分者间信度： 临床正确性的符合度较高 ( $\kappa = 0.70$ )，语言识别的符合度接近完美 ( $\kappa = 0.98$ )。关于“有害”标记的初始一致性较差 ( $\kappa = 0.22$ )，原因是对于无法理解的紧急响应如何定义“伤害”存在歧义；应用了一套裁定规则后解决了此问题，最终得出可部署模型在豪萨语中的有害率为 25%。

核心贡献

正确性漂移基准： 引入了一个锚定于尼日利亚国家治疗指南（而非西方默认标准）的基准，专门用于测量英语与豪萨语性能之间的差距。
危险自信率： 提出了一个隔离出“流利、自信且临床错误”响应的指标，将它们与“沉默失败”（拒绝或乱码，这类失败不太可能被用户采纳）区分开来。
失败根源： 将部署层级确定为主要的风险来源。研究证明，安全性缺陷是“可部署层级”（小型量化模型）的属性，而非豪萨语本身或临床材料本身的问题，这一点可以通过前沿模型在两种语言中的胜任能力得到证实。

意义与主张
论文指出，如果安全保障仅止步于英语或前沿系统，则无法检测到与低资源环境相关的特定失效类别。

重新定义问题： 问题不在于语言的难解性（因为前沿模型能很好地处理豪达语），而是一个“保证范围”问题。在英语中被评估为安全的模型，在其实际部署的特定语言和量化层级中可能是不安全的。
风险本质： 最危险的失败是那些不会自我宣告的失败（例如，不是拒绝或乱码，而是提供流利、自信且错误的医疗建议）。
采购启示： 作者主张，低于前沿层级的模型不应被用于提供临床指导，除非已在特定的语言和该特定层级下进行了评估。
评估必要性： 安全评估必须在部署层级和使用语言中进行，并且应衡量临床正确性，而非仅仅是拒绝率。

研究承认了其局限性，包括样本量较小（128 个响应）、使用了单一的前沿参考模型，以及依赖非临床专业人员根据书面指南进行评分。然而，层级之间的汇总对比呈现了其稳健的发现。

技术摘要：无法迁移的安全性能

类似论文