🧬 biology

Application of H&amp;E images combined with gene expression data-driven multimodal deep learning models in gastric cancer prognosis

本研究介绍了 PGC-pro，这是一种整合了 H&E 病理切片图像、基因表达谱和临床数据的多模态深度学习模型，与单模态方法相比，该模型显著提高了胃癌预后的准确性和可解释性。

原作者： Bo Yang, Hongyi Cai, Hao Li

发布于 2026-09-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Yang, Hongyi Cai, Hao Li

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

胃癌，通常被称为胃部癌症，仍然是全球范围内最严峻的健康挑战之一，每年夺走数十万人的生命。几十年来，医生一直依赖一种被称为 TNM 分期的方法来预测患者的预后。这个系统就像一张地图，绘制出肿瘤的大小以及它向周围淋巴结或远处器官扩散的程度。虽然这张地图至关重要，但它也是不完整的。它描述了疾病的物理范围，但往往忽略了癌症本身独特的生物学个性。两个具有相同大小和位置肿瘤的患者，其预后可能截然不同，因为他们的癌症在微观层面上的行为表现各异。为了弥补这一差距，科学家们正转向两个传统上被分开处理的强大信息源：显微镜下看到的视觉模式以及细胞内部书写的分子指令。其中一个来源是 H&E 切片，这是一种标准的玻璃载玻片，通过粉红色和紫色的染料对薄组织切片进行染色，以揭示细胞的形状和排列。另一个是基因表达数据，它是关于哪些基因在肿瘤内活跃的数字读数，充当着分子的指纹。挑战在于如何将这两类截然不同的信息——图像与数字——结合成一幅连贯的图景，从而告诉医生特定患者的癌症可能有多危险。

在最近的一项研究中，来自青海大学附属医院的研究人员通过构建一种新型计算机模型解决了这一挑战，该模型旨在同时从视觉和分子世界中学习。他们将其创造物命名为 PGC-pro，这是一个不仅观察肿瘤形状或基因，还研究它们如何相互作用的系统。团队从 318 名接受过胃癌治疗的患者数据开始。对于每位患者，他们收集了三样东西：整个肿瘤切片的数字扫描图、一份关于该肿瘤中数千个基因活跃程度的列表，以及包括年龄和疾病阶段在内的患者临床病史。研究人员首先教会计算机识别显微图像中最重要的部分。通过一种模拟病理学家扫描载玻片的方法，该系统学会了忽略空白区域，并专注于癌细胞侵袭正常组织的拥挤区域。与此同时，计算机筛选了遗传数据，以寻找与患者生存时间联系最紧密的特定基因，将数千种可能性缩小到了真正重要的 150 个核心基因组。

这项工作的核心创新在于计算机如何连接这两股信息流。该模型并非简单地将图像数据与基因数据堆叠在一起，而是使用了一种机制，允许两者相互提问。想象一下，图像数据在问基因数据：“在这个特定的细胞簇中正在发生什么样的分子变化？”而基因数据在问图像数据：“在这些基因最活跃的地方，组织看起来是什么样的？”这种来回交锋的交流使得模型能够发现单方面无法看到的深层联系。例如，模型可能会学到，图像中某种杂乱的细胞排列几乎总是与某些基因的高水平活跃度相伴，而这种特定的组合是预后不良的强烈预警信号。通过将这些视觉和分子线索与患者的年龄和疾病阶段相结合，该模型为每个人生成一个单一的风险评分。

这种方法的测试结果清晰且可衡量。当研究人员在患者数据上测试该模型时，它在预测生存率方面明显优于任何仅使用一种类型信息的模型。仅观察基因的模型可以达到一定的预测准确度，仅观察图像的模型表现稍逊，但结合后的模型表现优于两者。该系统获得了一个分数，表明其具有很高的能力来根据死亡风险对患者进行正确排序，而当使用所有三种数据源时，这一数值显著上升。更重要的是，该模型并非一个给出答案但不提供解释的神秘“黑箱”。研究人员内置了工具，让他们能够看到计算机到底在观察什么。他们可以生成热图，显示模型关注的肿瘤切片部分，这些热图始终突出显示了肿瘤侵袭健康组织的边缘以及死细胞区域。他们还可以看到哪些基因驱动了预测，从而识别出模型学到的关键分子标志物。这种透明度至关重要，因为它允许医生通过看到背后的生物学证据来信任计算机的判断。

研究还测试了该模型在随时间推移进行预测时的表现。它成功地估算了一年、三年和五年的生存概率，并在这些不同时间范围内保持了准确性。当患者根据模型的评分被分为高风险组和低风险组时，其实际生存率之间的差异非常显著，证实了该模型能够有效地区分那些可能康复的人和那些可能不会的人。研究人员指出，尽管模型表现良好，但它是基于单一的患者记录数据库进行训练的，其在不同医院或地区的适用性仍需进一步测试。他们也承认，使用的图像有时存在缺陷，如染色不均，这可能会影响计算机的观察。尽管存在这些局限性，这项工作证明了将肿瘤的视觉故事与其分子故事相结合，可以创造出一个更强大的工具来理解这种疾病。通过证明这些不同类型的数据可以交织在一起，从而揭示更清晰的未来图景，这项研究为实现更精准、更个性化的胃癌护理提供了一条充满希望的路径。

技术摘要：用于胃癌预后的 PGC-pro 多模态深度学习模型

问题陈述
准确的预后分层对于胃癌（GC）的个体化治疗至关重要。依赖于 TNM 分期和组织学分级的传统方法无法充分捕捉肿瘤异质性和分子生物学特征。虽然使用 H&E 病理组织学图像或基因表达数据的单模态方法可以提供见解，但它们各具局限性：图像缺乏深层的基因调控网络背景，而基因组数据往往会缺失直观的组织形态学差异。此外，现有的多模态深度学习模型经常受到简单的融合策略（如特征拼接）、解释性差（“黑盒”性质）以及由于交叉验证中的数据泄露或缺乏外部验证而导致的泛化能力不足等问题的困扰。

研究方法
本研究提出了 PGC-pro（病理 + 临床 + 基因组学预后），这是一种旨在整合全切片组织病理学图像（H&E WSI）、RNA-seq 基因表达谱和临床病理学变量的多模态深度学习模型。

数据来源与预处理：
- 队列： 研究最初使用了 TCGA-STAD 队列的数据，其中 432 名患者具有可用的病理数据（755 张 WSI），375 名患者具有临床生存信息。经过严格筛选以确保病理、临床和遗传数据的完全匹配，最终纳入 318 名患者 用于模型构建和验证。
- 病理学： WSI 使用 CLAM（受约束注意力的多实例学习）框架进行处理。组织区域被分割为 256×256 的补丁（patches），并使用 ResNet50 编码器（1024 维）提取特征。注意力机制将补丁特征聚合为切片级表示。
- 基因组学： 通过三层筛选策略（单变量 Cox + Benjamini-Hochberg 校正 + 多变量 Cox）从 RNA-seq 数据中识别出 150 个独立预后基因。
- 临床： 变量包括年龄、性别和 TNM 分期。
模型架构：
该模型采用了三阶段双向交叉注意力架构：
1. 模态内特征增强： 将病理补丁和基因向量投影到 12 维空间。在每种模态内部应用自注意力机制，以捕捉空间依赖性（在图像中）和共表达关系（在基因中）。
2. 跨模态双向交互： 核心的双向交叉注意力机制实现了深度交互：
  - 病理 $\to$ 基因组： 从形态学特征中推断分子模式。
  - 基因组 $\to$ 病理： 识别与特定分子状态相对应的组织区域。
3. 精确特征融合： 聚合后的病理、基因组和临床特征被拼接并通过全连接网络，生成连续的风险评分（Risk Score）。
训练与验证：
- 损失函数： 改进的 Cox 部分似然损失（CoxRankLoss），包含一个排序项。
- 验证策略： 病例级分层 5 折交叉验证。至关重要的是，单个患者的所有数据（WSI 切片、基因、临床数据）都被保留在同一个折叠（fold）中，以防止数据泄露。
- 可解释性： 使用 SHAP（SHapley Additive Explanations）评估基因贡献，并使用 CLAM 注意力热图进行病理区域定位。

核心贡献

新颖的融合逻辑： 超越了简单的特征堆叠，利用多头双向交叉注意力机制来捕捉“形态学特征”与“分子特征”之间的内在相关性。
严谨的验证： 实施了严格的病例级分层交叉验证，消除了多模态研究中常见的数据泄露问题，确保了稳健的泛化估计。
增强的可解释性： 构建了一个连接“病理形态 – 基因 – 预后”的视觉框架。它能够识别影响预测的具体肿瘤区域（通过热图）和核心驱动基因（通过 SHAP），解决了“黑盒”限制问题。
稳健的基因筛选： 利用严谨的统计流程（单变量 $\to$ BH 校正 $\to$ 多变量 Cox）分离出独立的预后基因，确保基因输入具有生物学相关性和统计学显著性。

结果

性能： PGC-pro 模型实现了平均 C-index 为 0.701 ± 0.060。时间依赖性 AUC 分别为 0.730（12 个月）、0.724（36 个月）和 0.726（60 个月）。
比较优势：
- 三模态模型优于最佳单模态模型（仅基因组学，C-index=0.668），提升了 4.9%。
- 它比二模态模型（病理 + 基因组学）高出 5.1%。
- Kaplan-Meier 分析显示高风险组和低风险组之间存在显著的生存差异（Log-rank P < 0.0001）。
可解释性发现：
- 基因： SHAP 分析确定了 NKAIN4、DOK7 和 MISP3 是核心预后驱动因子。NKAIN4 的高表达与预后不良相关，而 DOK7 和 MISP3 则与良好的预后相关。
- 病理： 注意力热图成功定位了肿瘤浸润前沿和坏死区域，与专家标注相吻合。

意义与主张
论文声称 PGC-pro 有效地整合了多维数据，以提供具有高可解释性的精确预后预测。通过证明双向交叉注意力可以捕捉组织形态与基因表达之间的深层相关性，该模型为临床决策支持提供了一个极具前景的工具。作者强调，该模型能够比单模态方法更好地进行风险分层，结合其视觉可解释性，解决了深度学习在肿瘤学临床转化中的关键障碍。研究结论认为，这种方法对于推进胃癌个体化医疗具有重要的理论意义和临床价值。

技术摘要：用于胃癌预后的 PGC-pro 多模态深度学习模型

类似论文