Medication Names Are a Safety-Critical Failure Mode in Clinical Speech Recognition: An Open Benchmark of On-Device and Cloud Systems
本研究建立了一个开放基准，证明虽然设备端临床语音识别在整体准确率上达到了与云端系统近乎持平的水平，但两种部署模式都存在必须进行显式验证的关键药物名称错误，这使得单模型设备端解决方案成为一种可行的、低成本的隐私保护型临床文档记录替代方案。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
医生们一半以上的工作时间都在记录关于患者的笔记。这种沉重的行政负担是导致职业倦怠的主要原因，正将许多医生推向精疲力竭的边缘。近年来，一种新技术应运而生以提供帮助：环境人工智能（ambient artificial intelligence）。这些系统监听医生与患者之间的对话，并将口头语言自动转化为书面文本，希望能为医生腾出时间。然而，为了确保这项技术的安全性，计算机必须准确理解所说的话。如果软件听错了药物名称，后果可能会非常严重。核心挑战在于这些系统的构建方式。目前大多数服务都会将音频录音通过互联网发送到云端的庞大服务器集群进行处理。这引发了对患者隐私以及传输这些数据所产生成本的担忧。另一种替代方案是在医生的设备（如笔记本电脑或手机）上直接运行软件，让音频保留在本地，永不外传。但直到现在，还没有人能提供一种清晰、开放的方式来比较这些本地设备与强大的云端巨头在表现上的差异，尤其是在涉及医疗对话中最关键的词汇时。
埃默里大学医学院的一位研究人员致力于开发这一缺失的比较工具。他们创建了一个标准化测试，包含 400 段模拟医患对话，涵盖了三个不同的医学专业领域：呼吸系统问题、全科医疗和精神科评估。这些对话并非真实的患者就诊过程，而是旨在模仿真实检查流程的精心录制的场景。随后，研究人员将这些相同的录音通过了 12 种可在本地设备上运行的语音识别模型，以及 5 种通过互联网处理音频的不同商业云服务。其目标是观察哪些系统能够准确捕捉最重要的特定医学术语，例如药物名称、症状和诊疗程序，且不会产生危险的错误。
结果揭示了一个清晰且令人担忧的模式。虽然本地设备在通用语音方面表现得相当出色，但在药物名称方面却表现得非常吃力。在模拟对话中，本地模型在药物名称上的误听率很高，根据药物和数据集的不同，误听比例在 85% 到 93% 之间。例如，当在全科医疗数据集中提到“利西诺普利”（lisinopril）一词时，本地软件在 92% 的案例中出错；而在提到“阿莫西林”（amoxicillin）时，出错率达到了 93%。相比之下，云服务表现要好得多，将这些名称弄错的情况仅为 3% 到 30%。这一差距表明，尽管本地计算机擅长理解日常对话，但它们缺乏识别那些对于患者安全至关重要的、容易混淆的药物名称所需的专门训练。研究发现，即使是最好的本地模型，目前也还不足以在没有人工双重检查药物名称并完成笔记定稿之前被完全信任。
研究人员还测试了结合多个本地模型的输出是否可以解决这个问题。其想法是，如果一个模型漏掉了某个词，另一个模型可能会捕捉到，然后通过投票系统选出正确答案。然而，这种方法几乎没有提供任何帮助。合并不同模型的结果使准确率仅提升了不到一个百分点，这一差异微小到在现实场景中根本无法改变结果。研究表明，仅仅增加模型数量并不能解决核心问题；根本性的局限在于模型本身，而非组合方式。研究人员还指出，有一个专门为医学听写设计的模型在药物名称方面的表现远优于其他模型，这表明如果软件是针对医疗用途而非通用对话进行专门训练的，那么问题是可以解决的。
除了准确性之外，研究还考察了成本和隐私的影响。将音频发送到云端需要成本，根据服务不同，每次患者就诊的费用从几美分到超过一美元不等。对于每年接诊数千名患者的医生来说，这会累积成数千美元的开支。相比之下，在本地设备上运行软件在初始设置完成后，每次就诊的成本为零，因为它使用的是医生已有的计算机。这使得本地处理对于小型诊所或互联网接入受限的地区来说，是一个更经济实惠的选择。此外，将音频保留在设备上意味着患者的私人健康信息永远不会离开诊室，从而解决了数据发送到第三方服务器所引发的重大隐私担忧。
研究结论认为，虽然本地语音识别是云端服务的一种可行且具有成本效益的替代方案，但它目前尚不完美。这项技术已经接近实用，但还不能独立处理药物名称。研究人员强调，任何使用这项技术的系统，无论是运行在本地设备还是云端，都必须包含一个强制性的步骤，即在保存医疗记录之前，由人类进行审查并确认药物名称。在软件在这些关键术语方面的表现得到改进之前，患者的安全取决于最后的人工检查。这项工作为未来提供了清晰的路线图：与其尝试组合许多不完美的模型，不如将重点转向针对医学语言进行单一模型的专门训练，以缩小准确性方面的差距。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。