🤖 machine learning

RADIANT-PET: Reasoning-Augmented PET/CT Lesion Segmentation with Large Language Models and Reinforcement Learning

RADIANT-PET 是一个新颖的框架，它通过将一种容许性体素级模型与一个通过强化学习优化的、利用结构化文本描述和临床报告进行裁定候选对象的语言模型相结合，从而增强了 PET/CT 病灶分割，进而显著减少了假阳性并使预测结果与临床解释保持一致。

原作者： Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一张巨大的、发光的、人体3D地图（PET/CT扫描图像）中寻找特定的、隐藏的宝藏（癌症病灶）。问题在于，这张地图充满了“噪声”——自然的体温、感冒引起的炎症，或是摄像机的故障——这些东西看起来和你要寻找的宝藏一模一样。

传统的计算机程序试图通过仅仅观察图像来寻找这些宝藏。它们就像是一个只检查物体形状的保安。如果一个物体看起来又圆又亮，他们就会将其标记为宝藏。但由于人体内部非常复杂，这个保安经常会将一个无害的小凸起误认为是宝藏，从而导致许多虚假警报。

RADIANT-PET 是一个全新的系统，它通过引入一位“智能侦探”解决了这个问题。以下是它的工作原理，分步骤进行：

1. 过度热情的侦察兵（高灵敏度分割）

首先，系统使用一种专门的计算机视觉模型（称为 HS-UNet）来扫描身体。你可以把这个模型想象成一名被告知的任务如下的侦察兵：“找出所有可能是宝藏的东西。宁可带回100块被误认为是金子的石头，也不要漏掉一颗真正的金块。”

结果： 这名侦察兵找到了几乎所有的真实病灶，但也带回了一大堆“假阳性”（看起来很可疑的正常身体部位）。

2. 翻译官（结构化描述）

随后，系统会对侦察兵发现的每个可疑点位编写一份详细的成绩单。它不再只是展示一个模糊的色块，而是将图像转化为结构化的文本描述。

类比： 想象侦察兵指着一个发光的点说：“这是一个明亮的、圆形的斑点，位于左肾旁边，形状像一个扁平的煎饼，而且闪烁得非常亮。”
系统还会加入背景信息：“这个点位于第6肋骨的高度。”它将视觉数据转化为了一个故事。

3. 智能侦探（大语言模型，LLM）

这就是见证奇迹的地方。系统将这些“成绩单”输入到一个**大语言模型（LLM）**中——这是一种非常擅长阅读和推理的AI类型，类似于人类医生的思考方式。

职责： 侦探阅读报告：“这个点在肾脏旁边，看起来像个扁平的煎饼。”然后它会利用自身的医学知识进行判断：“啊，这听起来像是正常的肾脏活动，而不是肿瘤。剔除它。”或者，“这听起来像是一个真实的肿瘤。保留它。”
加分项： 如果患者有一份来自人类医生的书面报告（放射科报告），这位侦探也可以阅读该报告！它可以将图像描述与医生的笔记进行交叉比对，就像侦探将证人陈述与犯罪现场进行核对一样。

4. 训练营（强化学习）

为了让侦探更加敏锐，作者使用了**强化学习（具体为 GRPO）**的方法对其进行了训练。

类比： 想象这位侦探是一名正在参加考试的学生。每当它正确识别出一个真实肿瘤或正确排除一个假肿瘤时，它就会获得一颗“金星”（奖励）。每当它犯错时，就会受到一次“惩罚”。
通过数千次的练习测试，侦探学会了观察什么样的模式以及如何处理棘手的案例，最终在区分真实癌症与无害身体噪声方面，变得比原始的仅基于图像的程序要出色得多。

实验结果

论文在淋巴瘤患者身上测试了这个系统。

没有侦探时： 仅基于图像的程序虽然能找到斑点，但无法准确判断哪些是真实的，从而导致许多错误。
有了侦探后（RADIANT-PET）： 系统成功地过滤掉了“噪声”（虚假警报），同时保留了真正的宝藏。
结合医生笔记： 当侦探被允许阅读放射科报告时，它的表现是最好的，达到了最高的准确率。

简而言之： RADIANT-PET 不仅仅是在“看”图片；它在“读”图片，描述图片，并利用智能AI侦探来推理线索，从而确保被计为肿瘤的确实是肿瘤。

技术摘要：RADIANT-PET

问题陈述

在 PET/CT 成像中，准确的病灶分割对于肿瘤学至关重要，特别是对于淋巴瘤分期和预后建模（例如 CAR T 细胞疗法后）。然而，纯基于图像的分割模型难以区分恶性摄取与生理性示踪剂摄取、炎症、感染或成像伪影。现有的仅基于图像的方法（包括最先进的 nnUNet 变体）未能实现超过 0.8 的 Dice 相似系数 (DSC)，这往往导致大量的假阳性，从而扭曲代谢肿瘤体积 (MTV) 的测量。作者假设，这种局限性源于当前分割流程中缺乏显式的医学推理能力，因为这些流程仅依赖视觉模式，而未能整合解剖上下文和临床知识。

方法论

本文提出了 RADIANT-PET（用于 PET 的推理增强描述-推理网络），这是一个将候选生成与病灶级裁定解耦的两阶段混合框架。

1. 高灵敏度候选生成 (HS-UNet)

第一阶段优先考虑召回率，以确保不遗漏任何真实病灶，即便这意味着接受更高的假阳性率。

模型架构： 基于 nnUNet-v2，它是 AutoPET III FDG 子赛道的获胜者。
训练目标： 损失函数被刻意修改为具有容忍性。它结合了 Tversky 损失（ $\alpha=1, \beta=0$ ，以减少对假阳性的惩罚）和 非对称交叉熵 (ACE) 损失（强调假阴性， $\lambda_{FN}=8.0$ ）。
推理： 将决策阈值从 0.5 降低到 0.1，以最大化灵敏度。
替代方案： 也使用了固定的 SUV 阈值法（SUV $\ge$ 2.5）作为临床标准的候选生成基准。
后处理： 使用分水岭分割算法分离融合的摄取区域。边界通过 SUV 谷值检查进行验证，以确保分割对应于真实的代谢分离而非几何伪影。

2. 结构化描述生成

每个候选区域被转换为包含以下内容的结构化文本描述（JSON 格式）：

定量特征： 体素体积、3D 形状描述符（伸长率、球形度等）以及 PET 强度指标（ $SUV_{max}$ 、 $SUV_{mean}$ ）。
局部解剖上下文： 与 TotalSegmentator 分割的器官的重叠百分比以及相对位置向量。
全局解剖上下文： 椎体水平分配（例如 T6）以及相对于图像中心的全身定位。

3. 基于 LLM 的裁定与强化学习

大语言模型 (LLM) 评估结构化描述，将候选区域分类为“真实病灶”或“生理性摄取”。

基础模型： 使用了一个本地 200 亿参数模型 (gpt-oss-20b)，以确保临床部署中的隐私性。
输入： 结构化 JSON 描述，并可选地辅以自由文本放射科报告。
优化 (GRPO)： 模型使用 群体相对策略优化 (GRмо, GRPO) 进行微调，这是一种强化学习算法。
- 奖励函数： 一个复合奖励函数，总和包括：
  1. 二元正确性： 正确分类得 +1，互斥错误得 -1。
  2. 解剖定位： 精确部位匹配得 +2，等效组内匹配得 +1.5。
  3. 推理正则化： 如果推理轨迹未能引用 $SUV_{max}$ ，则给予 -0.5 的惩罚，以确保模型利用成像特征。
训练数据： 模型在 AutoPET 和一个内部 OSU 队列（包含和不包含放射科报告）上进行了训练。

核心贡献

推理增强框架： 一种新颖的流程，将传统的高灵敏度分割与基于 LLM 的推理阶段相结合，用于对候选区域进行裁定，从而超越了纯像素级分类。
用于医学推理的强化学习： 应用 GRPO 来优化 LLM 的病灶裁定，直接针对分类准确性和解剖合理性。
原生报告集成： 直接整合放射科报告作为上下文，允许 LLM 在推理过程中利用医生解释和临床叙述。

结果

该框架在 AutoPET-Test 和一个内部 OSU-Test 队列上进行了评估。

候选生成： 修改后的 HS-UNet 在 OSU-Test 上实现了比基准 nnUNet-v2 (0.63) 更高的灵敏度 (0.88)，并且与简单阈值法相比，其 DSC (0.58 vs. 0.34) 显著提高。
LLM 性能： GRPO 微调显著提升了 gpt-oss-20b 模型的性能。在没有报告的情况下，经过 RL 微调的模型实现了 0.68 的 F1 值（基准模型为 0.52）。在有报告的情况下，其 F1 值达到 0.76，可与强大的商业模型（如 Gemini-Flash-3.0）相媲美。
分割性能：
- 无报告： RADIANT-PET（使用 RL 微调的 LLM）在 AutoPET-Test (DSC 0.82 vs. 0.78) 和 OSU-Test (DSC 0.77 vs. 0.72) 上均优于 nnUNet-v2 基准。
- 有报告： 通过结合 HS-UNet 候选、RL 微调的 LLM 和放射科报告，达到了最佳性能，在 OSU-Test 上实现了 DSC 0.84 和 MTV 平均绝对百分比误差 (MAPE) 0.16。这相对于 nnUNet-v2 基准（DSC 0.72, MAPE 0.83）有了实质性的提升。

意义与主张

论文声称，RADIANT-PET 证明了基于 LLM 的病灶级推理 可作为一种有效的后分割裁定层。通过增加一个评估摄取强度、形态和解剖上下文的推理步骤，该框架成功抑制了生理性假阳性，同时保留了灵敏度。

作者强调：

显式推理除了增加额外的临床上下文外，本身就具有价值，因为即使在没有报告的情况下，经过 RL 微调的模型也达到了或超过了仅基于图像的基准。
整合放射科报告提供了强大的补充信号，使图像衍生的发现与医生的解释保持一致。
使用通过 GRPO 优化的本地 LLM 提供了一种隐私保护的替代方案，缩小了与商业模型之间的性能差距，适用于临床部署场景。

该研究受限于淋巴瘤 FDG PET/CT，并依赖于上游器官分割和手工特征，但它为将医学推理集成到自动化成像工作流中建立了一种新的范式。