← 最新论文
💻 计算机科学

Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study

这项横向多模型研究表明,尽管当前主流的大语言模型在将老年人心血管风险指标进行转换方面已达到了接近天花板的准确度,但其性能差异主要体现在运行间的一致性上,其中 DeepSeek 的稳定性显著低于豆包和 Kimi,且这种不一致性几乎完全源于良性的舍入误差,而非具有临床意义的误差。

原作者: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

发布于 2026-11-03
📖 1 分钟阅读☕ 轻松阅读

原作者: Yanhui Jiao, Jiaxin Li, Xiuzhen Xing, Lei Cao, Qing Li

原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明

心脏病仍然是全球范围内导致疾病和死亡的最常见原因,其影响在老年群体中最为严重。当医生试图在这些问题发生前进行预防时,他们通常会建议服用如他汀类药物等日常药物。决定是否服用此类药物取决于医生与患者之间的共同理解:这能有多大帮助,以及风险是什么?这种对话依赖于数字。医生可能会解释说,某种治疗手段能将心脏病发作的概率降低某个百分比,或者每百名服用该药的人中,会有特定数量的人避免了不良事件。这些表达同一事实的不同方式在数学上都是等价的,但在人类大脑看来,感觉却大不相同。将一个数字转化为另一个数字需要一种被称为“数感”(numeracy)的技能,即使是某些医疗专业人员也会觉得这很困难。随着人工智能工具在医疗保健领域变得越来越普遍,许多人现在转向它们来获取这些解释。但如果计算机今天给患者一个数字,明天针对同样的问题却给出一个略有不同的数字,人们对该工具的信任就会开始崩塌。

一个研究小组致力于测试三款流行的人工智能系统在处理这一特定任务时的表现。他们想看看这些模型是否能够将复杂的医学统计数据转化为对老年人而言清晰、简单的数字。该研究聚焦于一个场景:患者需要了解一种心脏病药物的益处与危害。研究人员创建了八十个涉及具有各种风险因素的老年患者的、真实的医学案例。在每个案例中,人工智能必须计算四个特定的数值:治疗降低了多少风险、增加了多少副作用风险、需要多少人服药才能使一人获益,以及需要多少人服药才会导致一人受害。为了确保测试的公平性,研究人员要求每款人工智能模型对每一个问题连续回答三次,并且同时使用英文和中文进行测试。这产生了数千个响应,并根据人类专家创建的锁定且完美的标准答案进行了核对。

结果揭示了这些系统运作方式的一个惊人真相。在准确计算数学方面,这些模型几乎是完美的。它们几乎总是能算出正确的数字,这表明对于这类结构化任务,它们的计算能力已经达到了最高水平。然而,真正的关键在于一致性。当同一个问题被重复询问同一个模型三次时,答案并不总是完全一致的。其中一款模型 DeepSeek 在超过百分之十的情况下给出了不同的数字,尽管它被设置为应该产生完全相同结果的模式。另外两款模型 Doubao 和 Kimi 则要稳定得多,它们几乎每次都能与自己达成一致。这种不一致性甚至发生在模型并未尝试进行“创意发挥”的时候;它们仅仅是在遵循计算数字的指令。

当研究人员仔细观察模型给出不同答案的情况时,他们发现这些差异几乎都是微小且无害的。在几乎所有案例中,分歧仅仅在于舍入问题。例如,如果计算显示一名患者需要服用该药二十三次才能使一人获益,那么一次运行可能会将其向上舍入为二十四,而另一次运行可能会向下舍入为二十三。这些微小的变化并不会改变医疗建议或关于该药物是否值得服用的结论。这些模型本质上是在表达相同的意思,只是标签上的数字略有不同。只有极少部分的响应(不到百分之零点二)是真正存在问题的。这些罕见的实例涉及模型给出了完全不同的数值、未能回答问题,或者改变了关于答案是否正确的判断。

研究还检查了语言是否会产生影响。这些模型在中文环境下的表现与英文环境下的表现一样出色,两种语言之间的准确度没有显著差异。这表明处理这些数字的能力并不受特定语言的限制。然而,研究人员注意到,那款在英文环境下难以保持一致性的模型在中文环境下也同样表现挣扎,这表明问题在于特定的软件引擎本身,而非语言问题。这些发现挑战了一个普遍观点,即即便是将人工智能设置为“零温度”(zero temperature)模式,也能保证其始终给出相同的答案。在本研究中,即使采用了这些设置,服务仍会在有时提供不同的数字,这可能是由于系统后台的构建和运行方式所致。

最终,研究表明,虽然人工智能擅长计算医学统计数据,但其可靠性取决于其重复计算的一致性。对于询问关乎生死问题的患者来说,即便数字在技术上都是正确的,但每次听到不同的数字也会让人感到不可靠。作者建议,在评估医疗人工智能时,专家不仅要看简单的准确性,还要密切关注其稳定性。他们提出了一种新的可靠性衡量方法,即通过统计模型给出“不仅不同、而且具有危险性之差异”的次数来衡量。在这些心脏病场景中,模型是安全的,但这项研究强调,对于这些工具要在实际诊疗中获得信任,它们不仅要掌握正确答案,还必须能够始终如一地表达出来。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →