Performance of a domain-specific large language model in answering patient questions in psychiatry
尽管领域特定的大语言模型“MIND”在客观评分标准和完整性方面优于通用聊天机器人，但执业精神科医生最终更青睐 ChatGPT 生成的回答，尽管 MIND 经过了更优越的临床保真度训练。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代医疗领域，患者越来越多地转向互联网寻找关于药物的答案，寻求了解药物如何发挥作用、可能有哪些副作用，以及它可能如何影响其日常生活。虽然大型语言模型——能够生成类人文本的强大计算机程序——在回答医学问题方面展现出了潜力，但它们往往难以应对临床护理的具体需求。这些通用型工具虽然能产生流畅且信息丰富的回答，但有时缺乏必要的细微差别，可能会遗漏关键的安全警告，或者编造可能误导弱势群体的虚假事实。在精神病学领域，由于公众信息本就参差不齐，且药物依从性是一个重大挑战，接收错误建议的风险尤其高。医生每次问诊通常只有十五到二十分钟，很难有时间解决患者提出的每一个问题，这促使许多人转向未经证实的在线来源寻求信息。研究人员的核心问题在于：一个仅在受信任医学资源上进行训练的专门化计算机模型，是否能够提供患者所需的准确、安全且个性化的指导，而不产生通用聊天机器人中常见的错误。
为了调查这一问题，芝加哥卢里儿童医院（Lurie Children's Hospital of Chicago）的研究团队开发了一个名为 MIND 的专门人工智能系统。与那些在大量未经整理的网络内容上进行训练的通用聊天机器人不同，MIND 的构建方法更加狭窄且安全。研究人员将该系统专门输入到来自七个权威渠道（包括美国精神医学学会、美国食品药品监督管理局和美国国家医学图书馆）的患者教育材料集中。该系统的设计遵循严格的安全原则：它被编程为仅从这些经过验证的文件中检索答案，引用其来源，并明确说明患者何时应当咨询医生而非依赖计算机。研究人员将这一新工具与另外两个知名系统进行了对比测试：一个广泛使用的通用聊天机器人，以及一个专为医生设计而非面向公众的医疗决策平台。他们针对一种名为艾司西酞普兰（escitalopram）的特定抗抑郁药物提出了五十个常见问题，涵盖了从药物作用机制、服用方法到副作用以及对孕妇或老年人等特殊群体的安全性等主题。
对比结果显示，该专门化模型在可靠性和完整性方面具有明显的优势。当响应由一个检查准确性、清晰度和安全性的计算机化评分标准进行评估时，MIND 系统在所有类别中都优于通用聊天机器人和面向医生的平台。它提供了更完整的答案，能更有效地承认不确定性，并且更擅长在何时建议患者咨询医生。然而，当研究人员邀请十位执业精神科医生对回答进行评审时，情况变得更加微妙。虽然医生们一致认为专门化模型更安全、更完整，但他们发现通用聊天机器人在具体陈述方面略显准确。或许最令人惊讶的是，精神科医生们压倒性地更倾向于通用聊天机器人的回答，而非专门化模型的回答。这种偏好在年轻的早期职业医生中尤为强烈。研究人员指出，通用聊天机器人倾向于给出更短、更有力的回答，感觉更加直接；而专门化模型提供的回答则更长、更详细，有时会包含医生认为在简短摘要背景下并不必要的或略显不准确的信息。
这项研究凸显了医疗人工智能设计中一种复杂的权衡。专门化模型成功实现了其主要目标，即立足于经过验证的事实并避免了通用系统中常见的“幻觉”问题，但它在匹配人类专家所青睐的简洁度和风格方面仍显吃力。研究人员观察到，随着答案变得更加详尽和完整，其准确性评分有时反而下降，这表明增加必要的背景信息可能会让答案在人类读者看来显得不够精准。此外，专门化模型无法回答所有问题；在五十个查询中，它正确地承认了十二个问题它并不具备相关信息，而其他系统则试图回答所有问题。这种拒绝猜测的行为是一种刻意的安全功能，但也意味着该工具的通用性不如其竞争对手。精神科医生还注意到，专门化模型的回答在阅读水平上高于通用聊天机器人，这反映出其源文档本身的写作水平较为复杂，远高于推荐的患者材料阅读年级水平。
最终，研究表明，虽然一个专门的、受限语料库的模型可以为患者教育提供比通用聊天机器人更安全、更完整的基石，但它尚不能完美替代人类的判断或临床医生的首选沟通风格。该专门化系统证明了构建一个能够严格遵循医学证据并避免危险错误的 AI 是可能的，但也揭示了实现高准确性和完整性有时可能会以牺牲可读性和用户偏好为代价。作者总结道，他们的工作为构建未来能够增强精神科护理的工具提供了模板，但强调这些系统需要进一步优化，以平衡安全性、准确性以及人类实际偏好的信息接收方式。未来的路径在于精炼这些模型，使其既能像专门化系统一样可靠，又能像通用聊天机器人一样清晰且具有吸引力，从而确保患者能够获得高质量、基于证据的指导，而不会产生困惑或延误。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。