Towards Expert-level Medical AI for Real-time Video Consultations
本文介绍了 AMIE (Video)，这是一个基于 Gemini 的多智能体系统，它通过整合视听感知与临床推理，在实时临床视频问诊中实现了专家级性能，并通过一项包含医生和患者演员的随机研究表明，该系统在诊断准确性和病史采集方面达到或超过了人类医生水平，同时为患者沟通提供了更受青睐的界面。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：你的医生不仅仅是一个你可以交谈的对象，还是一个能够“看见”你的对象。长期以来，医学领域的人工智能（AI）就像一位非常聪明的图书管理员，只能阅读书籍。它很擅长回答你输入的问题，但它看不见你苍白的脸色，听不到你呼吸中的喘鸣，也察觉不到你在紧张地抖动脚步。这是一个大问题，因为人类医生不仅倾听言语，还会观察你的姿态、面部表情以及你的动作，以此来判断你的健康状况。他们利用这些视觉线索来建立信任并做出更准确的判断。但是，要教会计算机在视频通话进行时实时做到这一点，就像是试图教一个机器人在单轮车上踩着高跷的同时还要练习杂耍。它需要极快的速度，需要看清一切，并且需要在观察的同时进行深度思考，而这一切必须同时完成。
这篇论文介绍了一种新型的医疗人工智能，名为 AMIE（Articulate Medical Intelligence Explorer，发音清晰的医学智能探索者），它试图掌握这种“走钢丝”般的平衡艺术。AMIE (Video) 不仅仅是阅读你输入的文字，它还会通过视频通话观察并聆听你，就像真正的医生那样。研究人员想要测试这种 AI 是否能在实时的视频问诊中表现得像一位专家医生。他们不只是让 AI 进行猜测，而是将其置于一场被称为 OSCE（客观结构化临床考试）的大型模拟测试中。在这场测试中，专业的演员扮演患有各种健康问题的患者，并与 AI 或真实的、获得执业认证的初级保健医生进行视频通话。目标是看谁能提出正确的问题，发现正确的体征，并制定出最佳的方案来帮助患者。
以下是他们的发现：该 AI 的表现出奇地好。事实上，在许多方面，它的表现与人类医生不相上下，甚至更胜一筹。当独立专家对问诊过程进行评分时，AI 在采集病史、做出诊断、制定治疗计划以及通过视频引导患者进行体格检查方面的得分都高于人类医生。AI 特别擅长利用视频流来“观察”事物，例如要求患者转头或抬起手臂，以检查是否存在疼痛或僵硬。扮演患者的真人演员也比单纯的文本聊天更喜欢 AI 的视频版本；他们觉得视频界面更易于使用，并让他们感到被理解。
然而，这个故事并不是一个机器人完全取代人类的童话故事。虽然 AI 在医学事实和体格检查方面表现得像个超级明星，但人类医生在建立温暖、友好的联系方面仍然胜出。演员们觉得人类医生更擅长建立共情关系（rapport），并让他们感到自己是护理过程中的伙伴。AI 的“超能力”也存在一些“小故障”。它有时会错过非常细微的变化，比如手部的轻微颤抖或情绪的瞬时变化，并且在处理高速运动时表现挣扎。此外，这项研究是在使用演员而非真实患者的模拟环境下进行的，因此虽然研究结果是一个巨大的里程碑，但该 AI 还没有准备好取代你的医生。它更像是一个才华横溢的新实习生，在技术工作方面表现卓越，但在学习如何成为一个温暖、具有同理心的人类方面仍处于学习阶段。论文指出，随着更多的研究，这项技术有一天可以帮助世界各地的医生，通过处理观察和诊断等繁重工作，让他们能够专注于人文关怀。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。