Multimodal Deep Learning Fusion for Lung Cancer Subtype Differentiation from CT and PET Imaging
本文提出了一种混合多实例学习框架，该框架通过并行 EfficientNet-B0 编码器和交叉注意力机制融合 CT 与 PET 成像，以实现非小细胞肺癌（NSCLC）与小细胞肺癌（SCLC）之间的自动化患者级鉴别，并证明了在处理类别不平衡和减少对手动分割依赖方面，其性能优于基准方法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在生死攸关的癌症治疗领域，挽救生命的治疗方案与致命错误之间的区别，往往取决于一个至关重要的辨析：准确识别患者患有的究竟是哪种类型的肺癌。医生必须立即区分两种主要的类型。一种被称为非小细胞肺癌，它倾向于在特定位置生长，通常可以通过手术切除或靶向药物进行治疗。另一种是小细胞肺 de 肺癌，它要侵略性得多；它在体内扩散极快，需要完全不同的治疗方法，通常涉及强效化疗和放疗。如果误诊，意味着给患者用了错误的药物，这会延误正确治疗的时机，并导致病情恶化。为了做出这一判断，医生依赖于两种强大的影像工具。一种是 CT 扫描，它就像一份详细的建筑蓝图，展示了肿瘤的物理形状和大小。另一种是 PET 扫描，它就像一张代谢地图，通过点亮细胞能量消耗异常高的区域来显示信息，这是癌症的一个常见迹象。虽然医生擅长解读这些图像，但这项任务非常困难，且这两种扫描往往呈现出难以完美结合的不同层面的信息。
来自巴基斯坦伊斯兰大学的一组研究人员开发了一种新的计算机系统，旨在帮助医生更快、更准确地做出这一艰难决策。研究人员并没有简单地要求计算机将 CT 扫描和 PET 扫描并排观察，而是构建了一个数字大脑，让它在尝试结合之前，先学会独立理解每种类型的图像。他们意识到，以往的计算机程序经常失败，因为它们强行让两种不同类型的图像过早混合，导致 CT 扫描清晰的结构细节淹没了 PET 扫描微弱的闪烁信号。为了解决这个问题，新系统使用了两条独立的路径来研究图像。一条路径分析物理结构，另一条路径研究代谢活动。只有在每条路径都形成了各自的理解后，它们才会汇合并分享所学到的知识。该系统使用了一种类似于“聚光灯”的特殊机制，来决定图像中哪些部分最为重要，从而使其能够专注于肿瘤，同时忽略周围的健康组织。
研究人员在来自 355 名患者的大量医疗记录上测试了这个系统，这一群体反映了该疾病在现实世界中的挑战：这些患者中绝大多数患有更常见的非小细胞类型，而只有极少数患有侵略性强的小细胞类型。这种不平衡是计算机程序面临的一个主要障碍，因为程序往往会因为病例数量太少而学会忽略稀有病例。新系统通过将一名患者的整套图像视为一个单一单元，而非单独判断每一层扫描切片，专门设计用于克服这一问题。这种方法使计算机能够拼凑出患者病情的全貌，即使癌症仅在极少数特定的切片中可见。当研究人员进行测试时，该系统成功地以高度准确性区分了两种类型的癌症。最重要的是，在出现小细胞肺癌的情况下，它成功识别出了 37.50% 的实例，这相比于经常完全漏掉这些病例的以往方法有了显著提升。
该系统还证明了其惊人的速度，能够仅用 1.71 毫秒即可分析相当于单层扫描切片的图像。这种速度意味着该工具可以在繁忙的医院中快速标记高风险患者，几乎瞬间为医生提供第二意见。研究人员强调，这项技术并非旨在取代医生，而是作为一名强大的助手，通过突出图像中最关键的细节来辅助医生。通过以尊重每种图像独特性质的方式，将 CT 扫描的物理地图与 PET 扫描的代谢地图相结合，该系统提供了更清晰的疾病视图。尽管研究人员承认，在该工具能在全球医院投入使用之前还需要进行更多测试，但他们的工作展示了利用人工智能解决肺癌护理中最紧迫问题之一的一个充满希望的前行方向。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。