想象一个这样的世界：计算机可以观察图片并准确告诉你它看到了什么，但它们却极其不擅长用手指指向特定的位置。现在，想象另一种类型的计算机，它擅长在照片中绘制出完美的物体轮廓，但它却无法说出一个人类单词来解释为什么要画那条线。长期以来，这两类“远见卓识者”一直住在不同的房子里，很少交流。这就是目前医疗人工智能的现状：有些模型擅长阅读 X 光片并撰写报告，而另一些模型则擅长高亮显示肿瘤，但将两者结合起来就像是试图教一只鹦鹉在飞行时画一幅肖像画。

这种差距至关重要，因为医生需要的不仅仅是事实列表或一张静态图；他们需要一个能够观察扫描结果、推理出问题所在，并能直接指出问题位置并解释其意义的伙伴。你即将阅读的论文正是在解决这一挑战。它介绍了一种新型 AI，充当着桥梁的角色，学习同时进行表达、思考和绘图。在深入探讨解决方案之前，了解它所使用的工具会对理解很有帮助。把“视觉语言模型”（Vision-Language Models）想象成聪明的助手，它们可以阅读图片并回答关于图片的问题，比如“这是哪个器官？”但它们通常无法说出“肿瘤在这里”并围绕它画一个圈。另一方面，“分割模型”（Segmentation Models）像是专业的制图师，可以为每个器官绘制完美的地图，但它们通常需要人类下达指令，比如“画出左肾”，而且如果要求它们推理复杂的医学线索（例如“找到看起来缺氧的区域”）时，它们就会感到困难。这项研究的目标是将这些技能融合进一个大脑中，使其能够兼顾两者，并利用一种特殊的技巧，让它在不需要人类对每一张图进行人工评分的情况下，学会如何实现精准。

问题所在：巨大的鸿沟

在医疗 AI 领域，存在着一种令人沮受的分裂。一方面，你拥有擅长理解语言和图像的模型。它们可以回答诸如“这是肺炎吗？”之类的问题，或者撰写一份关于扫描结果的报告。但如果你要求它们在图像上精确指出肺炎的具体位置，它们往往会迷失方向，或者只是模糊地猜测。另一方面，你拥有在分割（即在器官或疾病周围绘制精确轮廓）方面表现卓越的模型。然而，这些模型通常需要非常具体的指令，比如“画出左肾”，并且如果要求它们推理复杂的医学线索（例如“找到看起来像是由于氧气不足而导致的区域”）时，它们会表现得非常吃力。

研究人员注意到，用于训练这些模型的训练数据也是分裂的。用于绘制轮廓（分割）的数据集拥有数以千计的完美绘图，但几乎没有任何与之配套的语言描述。而用于医学问答的数据集有很多文本，但很少包含用于教导 AI 如何进行定位所需的精确绘图。这造成了一个瓶颈：要构建一个真正智能的医疗 AI，你需要大量结合了语言和精确绘图的数据，而获取这类数据的成本极高且难度极大。

解决方案：MedPixel 与 “MedPLG-440K” 的魔力

于是有了 MedPixel，这是一个旨在成为终极医疗侦探的新型统一模型。MedPixel 并非试图强行让两个不同的模型进行对话，而是从底层构建，旨在同时理解文字和像素。它使用了一个巧妙的接口，其中一个特殊的标记（可以将其视为一个“魔法词”，即 <SEG>）告诉模型：“好了，停止说话，开始画图。”

但是，如何在不雇佣数千名医生为数百万张图像进行标注的情况下，教会一个模型同时进行说话和绘图呢？作者创建了一个名为 MedPLG-440K 的数据集。这并不是一个收集新图像的集合，而是对现有医疗绘图的一种巧妙重构。研究人员提取了数千张已经带有轮廓（掩码/masks）的现有医疗图像，并使用一种智能过程将这些轮廓转化为语言课程。

想象一下，你有一张肿瘤的图画。系统不仅仅保留这张图，还会观察肿瘤的形状、大小和纹理，然后自动生成一段描述：“中心有一个小的椭圆形肿瘤，边缘平滑。”接着，它会创建一个对话场景：医生问道：“你能向我展示那个肿瘤吗？”AI 则通过描述和绘图来进行回答。他们针对大约 440,000 种不同的交互场景进行了这种处理，涵盖了四种主要的交互类型：

1. 指代分割（Referring Segmentation）： “画出右肾。”
2. 推理分割（Reasoning Segmentation）： “找到看起来像是由于氧气不足而导致的区域。”（AI 必须在绘图前先推断出那个区域是什么）。
3. 交互式分割（Interactive Segmentation）： “画出我正在指着的那个东西。”
4. 解释性分割（Explanatory Segmentation）： “描述这个肿瘤并把它画出来。”

至关重要的是，他们没有使用任何外部的大语言模型（LLM）来编写文本，确保了数据纯粹是从医学图像及其现有的轮廓中生成的。

核心秘诀：PLPO

训练模型完成这一切仅仅是成功的一半。研究人员意识到，一个模型可能会写出完美的句子，但画出的轮廓却很糟糕，反之亦然。为了解决这个问题，他们引入了一种名为 像素级偏好优化（Pixel-Level Preference Optimization, PLPO） 的训练技术。

把 PLPO 想象成一位严格的美术老师，她不仅批改作文，还批改随文附带的绘画。在训练期间，模型会对同一个问题生成多个不同的答案。有些答案听起来很棒，但生成的绘图可能很凌乱；有些答案可能没那么华丽，但生成的轮廓却非常完美。PLPO 会查看“地面真值”（Ground Truth，即正确的、真实的绘图），并根据模型的尝试与真实绘图的接近程度对其进行排名。随后，它会教导模型去倾向于那些能产生最佳绘图效果的答案。这使得模型的“大脑”（语言）与其“手”（绘图）保持一致，确保当它说话时，它指向的是正确的位置。

研究发现

结果令人印象深刻。MedPixel 不仅仅是表现尚可，它成为了各方面的佼佼者。

• 精准度： 在 AI 需要指出特定器官或疾病的任务中，MedPixel 在简单的“指向”任务中达到了 85.0 的 Dice 分数，而在复杂的“推理”任务（即 AI 必须先推断出要画什么）中达到了 66.7。这显著优于以往尝试兼顾两者的模型。
• 推理能力： 该模型展现出了处理棘手问题的能力。例如，当被要求寻找与“低氧血症（hypoxemia）”和“双侧浸润（bilateral infiltrates）”相关的区域时，它成功推断出了目标并绘制了正确的掩码，而其他模型在这一任务中经常失败。
• 鲁棒性： 最酷的发现之一是该模型如何处理模糊的指令。如果用户给出了一个略微不准确的框或点来引导绘图，MedPixel 可以利用其语言能力来澄清意图，并依然能画出正确的轮廓。它比之前的“点选并绘图”模型对人为错误更加宽容。
• 泛化能力： 即使在从未见过的医疗数据（零样本迁移）上进行测试，MedPixel 的表现也优于其他模型，这证明它学习的是医学推理的“概念”，而不仅仅是死记硬背特定的图像。

为什么这很重要

这项工作表明，我们不需要在“能说话的模型”和“能绘图的模型”之间做选择。通过将二者统一，并使用一种奖励优秀绘图的智能训练方法，我们可以创造出更接近人类医生思维方式的 AI 助手：观察、推理、解释并精准定位问题。虽然该模型仍存在局限性——例如需要依赖现有数据进行学习，且主要针对 2D 切片而非完整的 3D 体积进行处理——但它代表了迈向能够真正理解医学视觉与语言复杂性的 AI 的重要一步。作者相信，这种方法为开发更具交互性和可靠性的医疗工具打开了大门，在这种工具中，AI 不仅仅是在猜测，而是能精准定位并清晰解释。