Scaling medical imaging report generation with multimodal reinforcement learning
本文介绍了通用报告生成（UniRG），这是一个多模态强化学习框架，它克服了监督微调的过拟合局限性，通过在胸部 X 线报告上的新基准记录证明了其在医学影像报告生成方面达到了最先进的性能和持久的泛化能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人根据一张图片来写故事。如果你只是给机器人看一百万张图片及其对应的故事，它会完美地模仿这种风格。它听起来可能像是一个真实的故事，但如果你给它看一张来自不同社区的图片，它可能会感到困惑，或者开始胡编乱造，因为它记住了“词汇”而不是理解了“含义”。这就是医学人工智能领域面临的挑战，特别是针对“医学影像报告生成”这一领域。该领域试图构建能够观察 X 光片并撰写医生笔记的计算机。目标不仅仅是听起来很专业，而是要确保事实准确，从而让医生能够信任诊断结果。研究人员一直在追问的一个重大问题是：我们如何阻止这些 AI 模型仅仅是复制以往医生的写作方式，而是教会它们真正去“观察”并“推理”患者出了什么问题，无论患者来自哪里，或者其所在医院的写作风格如何？
于是，由微软研究院（Microsoft Research）研究人员开发的全新框架 UniRG 登场了，它就像是一位严厉而公正的教练。研究人员并没有让 AI 仅仅通过模仿示例来进行练习（这种方法被称为“监督微调”），而是使用了一种名为强化学习的技术。把这想象成训练一个电子游戏角色，不是通过向他们展示攻略，而是让他们去玩、去失败，然后只有在他们真正正确通关时才给予积分。在这种情况下，“关卡”就是写出一份完美的医学报告。AI 获得的“奖励”不是因为使用了华丽的辞藻，而是因为它们抓住了正确的医学事实、发现了错误并适应了不同的医院。
该论文介绍了一个名为 UniRG-CXR 的模型，它专门负责解读胸部 X 光片。研究人员在包含来自 80 多家不同医疗机构的超过 56 万份 X 光研究的大规模集合上训练了这个模型。他们不仅致力于让 AI 听起来很专业，还对其进行了严格测试。结果显示，UniRG-CXR 是一个重大的进步。在一个名为 ReXrank 的主要基准测试中，该模型创下了新的“最先进水平”（state-of-the-art）记录，大幅超越了之前的顶尖模型。例如，在某个特定数据集上，它的表现比之前的最佳尝试提高了 50% 以上。
特别令人印象深刻的是该模型处理现实世界的方式。之前的模型在看到从未见过的医院数据，或者需要观察患者随时间变化的病史时，往往会表现不佳。然而，UniRG-CXR 展示了它良好的泛化能力。它在不同的数据集上表现一致且出色，包括一些在训练期间从未见过的测试集（“零样本”测试），并且在处理不同的人口统计学特征（如年龄、性别和种族）时，依然没有损失准确性。它还学会了观察患者的既往 X 光片，以观察某种病情是在好转还是恶化，这项被称为“纵向推理”的任务，其表现甚至超越了先进的前沿模型。
研究人员还通过人类医生对该模型进行了检验。在一项由四名获得执业资格的放射科医生进行评审的研究中，UniRG-CXR 是最受青睐的模型，在完整性和事实准确性方面获得了最高评分，且产生的错误最少。该模型在避免“幻觉”（编造事实）和“遗漏”（错过重要细节）方面表现尤为出色。论文指出，通过使用这种多步强化学习方法——首先针对通用质量进行优化，然后专门针对减少错误进行优化——该模型学会了既可靠又具有适应性。虽然目前这项研究局限于胸部 X 光片，但该框架为构建能够通过理解患者护理中复杂、混乱的现实情况，而非仅仅记忆教科书式短语来真正协助医生的 AI 提供了充满前景的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。