💬 NLP

ReXrank: A Public Leaderboard for AI-Powered Radiology Report Generation

该论文介绍了 ReXrank，这是一个公开的排行榜和标准化评估框架，其特点是拥有大规模的 ReXGradient 数据集以及多种用于客观评估和比较自动化胸部 X 光报告生成 AI 模型的指标。

原作者： Xiaoman Zhang, Hong-Yu Zhou, Xiaoli Yang, Oishi Banerjee, Julián N. Acosta, Mohammed Baharoon, Josh Miller, Ouwen Huang, Pranav Rajpurkar

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaoman Zhang, Hong-Yu Zhou, Xiaoli Yang, Oishi Banerjee, Julián N. Acosta, Mohammed Baharoon, Josh Miller, Ouwen Huang, Pranav Rajpurkar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：计算机可以观察一张模糊的黑白肋骨照片，并立即写出一份关于病情诊断的医生报告。这并非魔法，而是人工智能（AI）应用于医学——具体说是放射学领域的一个分支。多年来，科学家们一直在教计算机如何“阅读”X光片，但一直存在一个巨大的问题：每个人都在用不同的规则进行游戏。有些团队在其中一组照片上测试他们的AI，而另一些人在另一组照片上测试，并且他们使用不同的方式来评估AI写作水平的高低。这就像有一千所不同的学校在用不同的标准答案来批改数学作业——你根本无法判断谁才是真正的优等生。这篇论文步入了那个混乱的教室，旨在建立一个单一、公平且庞大的计分板，让每一个AI都能在相同的条件下接受测试。

这篇论文介绍了 ReXrank，这是一个公开的排行榜，旨在成为撰写胸部X光报告AI的终极裁判。把它想象成一场高规格的烹饪比赛，只不过参赛者不是厨师，而是计算机模型；评判的对象也不是舒芙蕾，而是评判一个机器人描述其所见医学图像的能力有多出色。作者收集了一个庞大的、秘密的“测试厨房”，名为 ReXGradient，其中包含来自美国67家不同医院的10,000份真实胸部X光研究病例。这是没有任何AI见过的“期末考试”。他们还加入了另外三个公开数据集，以确保这些模型不仅仅是在死记硬背答案，而是在真正地学习如何“烹饪”。

为了给这些机器人评分，研究人员没有只用一把尺子，而是使用了八把不同的尺子。有些尺子检查词汇听起来是否像人类写的（比如检查句子是否流畅），而另一些则是专门的医学尺子，用于检查AI是否正确识别了特定疾病，或者是否在患者并未骨折的情况下误报了骨折。他们甚至使用了一把“临床错误”尺子，它扮演着严厉编辑的角色，统计AI犯了多少个真实医生会发现的错误。

当尘埃落定后，结果非常清晰。一个名为 MedVersa 的模型脱颖而出，成为了冠军，它在几乎所有的测试中都表现出色，尤其是在极具挑战性的秘密数据集 ReXGradient 上。它甚至击败了像 GPT-4V 这样著名的通用型 AI 模型，后者虽然擅长许多事情，但未必是专门针对医学报告进行训练的。论文指出，在混合不同数据源上训练的模型往往更具鲁棒性，而其他模型在面对与其熟悉的数据风格不同的数据时则显得力不从心。有趣的是，研究发现一些公开数据集过于简单，就像是一场未能为实战做好准备的练习测试，而私有的 ReXGradient 数据集才是真正的压力测试，它揭示了哪些模型真正做好了进入医院的准备。

作者谨慎地指出，虽然 MedVersa 目前是表现最好的模型，但这并不是一个“已解决”的问题。医学是复杂的，论文强调，这些模型仍在被评估其对于新的、未见情况的泛化能力。ReXrank 的目标不是宣布一个永久的获胜者，而是提供一种标准化的方式供科学界追踪进展，从而确保当 AI 工具最终开始辅助医生时，它们是可靠、准确且对全球患者安全的。

技术摘要：ReXrank：用于 AI 驱动放射学报告生成的公共排行榜

问题陈述

尽管 AI 驱动的模型在自动化生成胸部 X 光放射学报告方面展现出巨大潜力，但该领域仍缺乏一个标准化的基准来客观评估和比较其性能。现有的数据集（如 MIMIC-CXR）存在数据划分不一致、缺乏标准化评估指标以及数据分布无法充分测试模型对未见过的、多样化临床环境泛化能力等问题。这种统一框架的缺失阻碍了不同模型架构之间可靠的对比分析，并限制了对临床鲁棒性的评估。

方法论

为了解决这些差距，作者引入了 ReXrank，这是一个旨在评估 AI 驱动的放射学报告生成的公共排行榜和挑战赛。该方法论建立在一个综合评估框架之上，该框架涉及四个不同的数据集和八种多样化的指标。

数据集

ReXrank 在结合了公共数据和私有数据的组合数据集上评估模型，以确保在不同分布下的鲁棒性：

ReXGradient： 一个大规模私有测试数据集，包含来自 67 个美国医疗机构的 10,000 份研究和 7,004 名患者。它作为评估模型向多样化、真实临床环境泛化能力的主要基准。
MIMIC-CXR： 该大型公共数据集的官方测试拆分部分（2,347 份研究）。
IU-Xray： 该公共数据集的官方测试拆分部分（590 份研究）。
CheXpert Plus： 其验证集（200 份研究），由于没有官方测试集，因此被用作测试拆分。

该框架针对两个特定任务评估模型：仅生成**“发现”（Findings）部分，以及同时生成“发现”与“印象”（Findings and Impressions）**部分。

评估指标

该框架采用八个指标提供模型性能的多维度视图，涵盖从词汇相似度到临床准确性的范围：

BLEU-2： 测量 n-gram 精确度。
BERTScore： 计算生成报告与地面真值报告之间 BERT 嵌入的余弦相似度。
SembScore： 计算由 CheXbert 提取的 14 种病理特征指示向量之间的余弦相似度。
RadGraph-F1： 评估由 RadGraph 提取的临床实体及其关系的重叠程度。
RadCliQ-v1： 一种结合了 BLEU、BERTScore、SembScore 和 RadGraph-F1 的复合指标。它被用作主要的排名指标（以其倒数 $1/\text{RadCliQ-v1}}$ 形式报告，数值越高越好）。
RaTEScore： 一种对医学同义词具有鲁棒性且对否定敏感的实体感知指标。
GREEN： 一种基于 LLM 的指标，用于识别并解释具有临床意义的错误。
FineRadScore： 一种基于 LLM（使用 GPT-4o）的指标，用于估计将候选报告转换为地面真值报告所需的最小逐行修正量。

参与模型

该排行榜目前收录了来自 10 家机构的 16 个模型，包括专门的视觉语言模型（如 MedVersa, MAIRA-2, RadFM）、指令微调的基础模型（如 CheXagent, GPT-4V）以及针对特定数据集训练的模型（如 VLCI, Cvt2distilgpt2）。

关键结果

通过在四个数据集上对 16 个模型进行评估，得出以下几个关键发现：

顶尖性能： MedVersa 脱颖而出成为表现最佳的模型，在 ReXGradient（Findings 为 $1.01 \pm 0.01$ ，Findings+Impression 为 $0.98 \pm 0.05$ ）、MIMIC-CXR（Findings 为 $1.10 \pm 0.02$ ，Findings+Impression 为 $0.92 \pm 0.02$ ）以及 IU-Xray（Findings 为 $1.46 \pm 0.03$ ，Findings+Impression 为 $1.45 \pm 0.04$ ）上均取得了最佳的 $1/\text{RadCliQ-v1}$ 分数。它在多个指标和数据集上均优于最先进的通用视觉语言模型 GPT-4V。
数据集特性：
- IU-Xray 被确定为挑战性最低的数据集，各模型的得分始终较高，这表明它可能缺乏进行严格区分所需的复杂性。
- CheXpert Plus 表现出最高的方差和最低的整体性能，这可能是由于其独特的数据分布和较小的验证集规模。
- ReXGradient 在不同模型间的性能方差极低，强调了其高质量数据和作为评估模型鲁棒性可靠基准的效用。
训练数据的影响： 在多个数据集上训练的模型（如 CheXpertPlus_CheX_MIMIC）往往优于在单一数据集上训练的模型，这表明多数据集训练有助于弥合分布差异。相反，当模型在训练时所见的相同分布上进行评估时（例如，在 IU-Xray 上评估 VLCI_IU 对比在 MIMIC 上评估 VLCI_MIMIC），其表现通常更好。
任务复杂度： 仅生成“发现”与生成“发现 + 印象”之间的性能存在差异。例如，MedVersa 在 ReXGradient 上生成两个部分时性能略有下降（从 $1.01 \pm 0.01$ 降至 $0.98 \pm 0.05$ ），而 CheXpertPlus_CheX_MIMIC 则有所提升，这可能归功于其针对每个子任务使用了独立的专门模型。

意义与主张

论文声称 ReXrank 提供了一个标准化的评估框架，能够实现对模型性能的有意义比较，并为不同临床环境下的模型鲁棒性提供关键洞察。通过将大规模私有数据集（ReXGradient）与公共基准及一系列具有临床相关性的指标相结合，ReXrank 超越了简单的文本相似度，转而评估 AI 系统的临床准确性和泛化能力。

作者将 ReXrank 定位为不仅是一个针对胸部 X 光的排行榜，更是一个基础框架，旨在为全面评估整个医学影像领域的自动化报告生成奠定基础。结果中包含 95% 置信区间进一步强调了评估的统计严谨性，旨在为未来的研究和临床应用提供可靠依据。