Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

当一名男性被诊断出患有前列腺癌时，未来的道路往往涉及一个重大决策：是否使用机器人辅助手术技术切除整个前列腺腺体。这种被称为机器人辅助根治性前列腺切除术的手术是治疗局部疾病的标准疗法，但它伴随着一系列复杂的各种信息，患者必须理解这些信息。他们需要了解手术是如何运作的、术后恢复情况如何、手术可能如何影响他们的膀胱控制能力或维持性功能，以及医生将如何监测癌症是否复发。在过去，患者依靠印刷的小册子或与外科医生的一次谈话来应对这些问题。如今，许多人转向人工智能聊天机器人来寻求即时解答。这些大语言模型可以生成看起来和听起来都像人类建议的文本，但关键问题仍然存在：它们能否被信任去准确且清晰地解释这样一段改变人生的医疗旅程？

来自川北医学院附属医院的一个研究小组致力于测试这个问题的答案。他们专注于三种流行的人工智能系统：ChatGPT、DeepSeek 和 Doubao（豆包）。该团队并没有要求机器进行手术或诊断特定的人；相反，他们将这些模型视为信息提供者。他们编写了一份包含二十五个不同问题的清单，这些问题涵盖了患者在护理过程不同阶段可能提出的问题，从最初的癌症筛查到术后的长期随访。这些问题涵盖了从解读检测结果到理解神经损伤风险等方方面面。随后，研究人员将这二十五个问题分别输入到所有三个模型中，总共生成了七十五个独立的回答。为了确保测试的公平性，每个问题都是在单独的对话中进行的，这样模型就不会从同一个聊天会话中的前一个回答中学习。

一旦收集到响应内容，研究人员就需要一种方法来评判其质量。他们招募了三位医学专家担任盲审员，这意味着他们不知道哪段文字是由哪个人工智能撰写的。这些专家使用几种成熟的工具来评估文本质量，这些工具旨在衡量患者教育的水平。他们观察信息是否完整、是否提供了患者真正可以使用的实用建议，以及文本是否易于理解。他们还检查了是否存在特定的错误，例如捏造的事实或过时的医疗建议，并计算了文本对于普通人的阅读难度。目标是观察是否有一种机器能持续优于其他机器，或者它们是否都在面临同样的问题。

结果显示，虽然所有三个模型生成的资料总体上是安全且准确的，但它们具有截然不同的“个性”和优势。其中一个模型，ChatGPT，始终能提供最具行动力的建议。当患者询问下一步该做什么时，这个模型更有可能给出清晰、循序渐进的指令，供人们遵循。它在衡量信息结构是否有利于支持患者决策方面也得分更高。另一个模型，DeepSeek，生成的文本明显更容易阅读。它的句子稍显简单，词汇也比其他模型更易理解。然而，即使是 DeepSeek 生成的这类“较易读”的文本，其水平仍然难以让许多成年人舒适地阅读，超过了通常建议的公共卫生材料阅读水平。第三个模型，Doubao，在准确性方面与其他模型表现相似，但在可读性方面表现较差，并且偶尔会遗漏关键细节。

尽管存在这些差异，研究发现没有任何一个模型是完美的，而且都不应被用作医生建议的替代品。研究人员发现，虽然这些机器很少捏造事实或给出危险的过时建议，但它们有时会遗漏重要信息，尤其是在 DeepSeek 和 Doubao 的回答中。此外，负责评分的人类专家并不总是达成一致。这种意见分歧表明，判断医疗建议的质量是一项艰巨的任务，即使是对受过训练的专业人士而言；而且模型之间得分的微小差异可能并不像表面看起来那么具有意义。研究还强调了一个持久的挑战：所有三个模型生成的文本都过于复杂。其中的医学术语和句子结构需要高中及以上学历才能完全理解，这为许多最需要这些信息的患者制造了障碍。

研究人员得出结论，这些人工智能工具展现出了作为医生助手的潜力，或许可以作为泌尿外科医生进行审核和完善的教育材料初稿。它们可以快速生成涵盖广泛话题的解释，但还无法取代医生与患者之间那种细致入微、个性化的交流。机器人可以列出手术风险，但它无法注视患者的双眼，无法理解患者特定的恐惧，也无法权衡其独特的病史与个人价值观之间的平衡。目前，这些强大机器的最佳用途是作为临床医生的辅助工具，而非独立的医疗指导来源。这项研究提醒我们，虽然技术可以使信息更加普及，但人类在医疗护理中的核心地位对于确保信息不仅准确，而且能被真正理解至关重要。