SpatialFusion: A lightweight multimodal foundation model for pathway-informed spatial niche mapping

本文提出了轻量级多模态基础模型 SpatialFusion，通过整合组织病理学、基因表达及推断的信号通路活性，能够识别超越单纯空间邻近性、具有独特通路特征的生物相干微环境，并在结直肠癌和肺癌研究中成功揭示了具有临床意义的形态分子生态位。

要点

这篇论文介绍了一个名为 SpatialFusion 的新工具，你可以把它想象成一位拥有“透视眼”和“读心术”的超级侦探，专门用来破解人体组织（特别是癌症组织）中隐藏的秘密。

为了让你更容易理解，我们用几个生活中的比喻来拆解这项技术：

1. 以前的困境：只看脸，不懂心

在以前，科学家研究癌症组织主要有两种方法：

• 看照片（病理切片）： 就像看一张高清的城市航拍图。医生能看到哪里是高楼（肿瘤细胞），哪里是公园（正常组织），哪里是废墟（坏死区）。但这只能看到“长什么样”，不知道里面的人在“想什么”（基因在做什么）。
• 看名单（基因测序）： 就像拿到了城市里每个人的身份证和日记。我们知道每个人是做什么的（基因表达），但不知道他们具体住在城市的哪个角落，也不知道他们和邻居在聊什么。

问题在于： 癌症不仅仅是细胞的堆积，而是细胞之间复杂的“社交网络”。如果只看照片，会漏掉分子层面的变化；如果只看基因，又不知道它们发生在哪里。而且，以前的很多工具要么太笨重（需要超级计算机），要么只能看一种信息，无法把“照片”和“日记”完美结合起来。

2. SpatialFusion 是什么？

SpatialFusion 就是一个轻量级的“全能翻译官”和“社区规划师”。

• 它很轻（Lightweight）： 以前的模型像是一头大象，需要巨大的算力（像超级计算机）才能跑动。SpatialFusion 像是一辆电动自行车，普通人的笔记本电脑就能跑，因为它很聪明地利用了别人已经训练好的“大脑”（预训练的基础模型），自己只需要做少量的微调。
• 它懂双语（Multimodal）： 它能同时看懂“照片”（组织形态）和“日记”（基因表达），并把它们融合在一起。
• 它懂“潜台词”（Pathway-informed）： 这是它最厉害的地方。它不只是看细胞长什么样，还能推断出细胞里的**“信号通路”**（就像细胞内部的“工作指令”或“情绪状态”）。

3. 它是怎么工作的？（核心比喻）

想象一下，你要给一个巨大的城市（人体组织）划分**“社区”**（Niche，即微环境）。

• 以前的做法： 只是根据**“住得近”**来划分。比如，把离得近的 30 户人家划成一个社区。但这有个问题：隔壁住的可能一个是医生，一个是罪犯，虽然住得近，但他们的“生活方式”完全不同。
• SpatialFusion 的做法： 它不仅看**“住得近”，还看“聊得投不投缘”**。
  • 它会分析这 30 户人家：虽然他们住在一起，但他们的“工作指令”（基因通路）是否一致？
  • 比如，它发现有一群细胞，虽然长得像正常的细胞（照片上看没问题），但它们内部的“警报系统”（信号通路）已经拉响了，正在准备“防御”或“叛变”。
  • 于是，SpatialFusion 能把这群“表面正常、内心焦虑”的细胞，和那些“真正健康”的细胞区分开，划入不同的“社区”。

4. 它发现了什么？（两大发现）

这篇论文展示了 SpatialFusion 在两个癌症研究中的惊人发现：

A. 结肠癌：发现“伪装者”

• 场景： 在结肠癌肿瘤旁边，有一块看起来完全正常的黏膜（就像肿瘤旁边的“和平街区”）。
• 传统视角： 医生用显微镜看，觉得这里很健康，没问题。
• SpatialFusion 视角： 它发现这里其实住着一个**“防御性社区”**。这里的细胞虽然外表正常，但内部已经开启了“防御模式”（分泌抗菌物质、炎症反应），仿佛它们已经预感到危险临近，正在筑墙自保。
• 意义： 这解释了为什么癌症会在看似正常的地方复发（“场癌化”现象）。以前医生肉眼看不出来，现在 SpatialFusion 能提前预警。

B. 肺癌：预测“凶险程度”

• 场景： 在非小细胞肺癌患者中，肿瘤细胞长得都很像。
• 传统视角： 很难区分哪些肿瘤更凶险，哪些比较温和。
• SpatialFusion 视角： 它识别出了两种不同的**“恶性社区”**：
  • 社区 A： 细胞很活跃，像“暴徒”，正在疯狂分裂，血管丰富（适合早期）。
  • 社区 B： 细胞很狡猾，开启了“隐身模式”（免疫逃逸）和“变形模式”（上皮 - 间质转化），并且内部充满了炎症信号。
• 意义： 只要看到“社区 B"的比例高，就能预测这个病人的肿瘤分期更晚、更凶险。这就像通过观察社区里的“氛围”，就能预测这个街区会不会发生大骚乱。

5. 总结：为什么这很重要？

SpatialFusion 就像给病理医生配了一副“增强现实（AR）眼镜”。

戴上这副眼镜，医生不仅能看到组织长什么样，还能看到细胞内部的“情绪”和“策略”。它不需要昂贵的超级计算机，就能在普通的电脑上运行，让科学家和医生能更便宜、更快速地发现癌症的早期迹象、预测病情发展，甚至找到新的治疗靶点。

简单来说，它让机器学会了**“透过现象看本质”**，把原本杂乱无章的细胞数据，变成了一个个有故事、有逻辑的“生物社区”，帮助人类更好地战胜癌症。

技术摘要

1. 研究背景与问题 (Problem)

• 背景： 基础模型（Foundation Models）在单细胞生物学和数字病理学中已展现出强大的跨模态知识迁移能力。然而，现有的空间生物学基础模型仍处于早期阶段。
• 现有挑战：
  1. 整合不足： 大多数模型仅编码单细胞表示，未能充分整合转录组（基因表达）和形态学（H&E 图像）信息来定义功能性微环境（Niche）。
  2. 缺乏通路感知： 现有的空间 niche 检测方法（如 NicheCompass, BANKSY）通常基于细胞类型组成或空间邻近性，缺乏对信号通路激活模式的显式建模，难以区分细胞组成相似但功能状态（通路激活）不同的区域。
  3. 泛化性与资源限制： 现有的空间基础模型（如 NicheFormer, scGPT-spatial 等）往往专注于单细胞嵌入，缺乏多细胞生态系统的建模，或者计算成本高昂，难以在普通硬件上运行。此外，许多模型无法在缺乏配对转录组数据的情况下仅通过 H&E 图像进行推断。
• 核心问题： 如何构建一个轻量级、多模态的基础模型，能够整合组织病理学、基因表达和推断的通路活性，以识别由独特通路激活模式定义的生物一致性空间微环境（Spatial Niches），而不仅仅是空间邻近性？

2. 方法论 (Methodology)

SpatialFusion 是一个轻量级的多模态基础模型，旨在生成具有生物学意义的空间邻域嵌入（Spatial Neighborhood Embeddings）。其架构主要包含三个模块：

A. 单模态编码模块 (Unimodal Encoding)

• 输入： 每个细胞包含原始基因表达计数（GEX）和对应的 256x256 像素 H&E 图像块。
• 编码器： 使用冻结（Frozen） 的基础模型作为编码器，无需训练：
  • 转录组： 使用 scGPT 模型。
  • 图像： 使用 UNI 模型。
• 优势： 利用预训练模型在大规模数据集上学到的生物学特征，实现批次校正和技术无关的表示，同时大幅降低训练参数。

B. 多模态对齐模块 (Multimodal Alignment)

• 架构： 使用多模态自编码器 (mAE)。
• 机制： 将转录组和图像嵌入映射到共享的潜在空间（Latent Space）。
• 训练目标：
  • 模态内重构损失（Within-modality reconstruction）。
  • 跨模态重构损失（Cross-modality reconstruction）：强制潜在表示包含足够的信息以重构另一种模态。
  • 潜在对齐惩罚（Latent alignment penalty）：确保配对模态的嵌入一致性。
• 输出： 生成单细胞分辨率的低维联合嵌入。

C. 空间编码模块 (Spatial Encoding)

• 图构建： 将组织构建为 k-近邻（kNN）图（k=30），节点为细胞，边表示空间邻近性。
• 核心模型： 图卷积掩码自编码器 (GCMAE)。
  • 在图上对节点特征进行掩码（Masking），通过图卷积网络（GCN）学习局部邻域的潜在嵌入。
  • 引入高掩码率（50%）和噪声正则化以增强鲁棒性。
• 关键创新：通路回归损失 (Pathway Regression Loss)
  • 引入辅助任务，利用 PROGENy 算法预测 10 种癌症相关信号通路（如 EGFR, JAK-STAT, NF-κB 等）的激活分数。
  • 目的： 强制潜在空间捕捉通路激活模式。这使得模型能够区分细胞组成相似但功能状态（通路激活）不同的空间邻域。
• 输出： 每个细胞的邻域嵌入（Neighborhood Embedding），通过聚类即可得到空间 Niche。

D. 轻量化设计

• 仅包含约 30 万 可学习参数（mAE 约 28 万，GCMAE 约 2 千）。
• 训练显存需求 < 5 MB，推理 < 2 MB，可在普通 GPU 笔记本电脑上运行。

3. 关键贡献 (Key Contributions)

1. 首个通路感知的空间基础模型： 显式地将信号通路激活模式纳入模型训练目标，能够识别由功能状态定义的微环境，而不仅仅是细胞类型。
2. 轻量级与高效性： 利用冻结的基础模型编码器，大幅降低了计算成本和显存需求，使其易于部署。
3. 强大的多模态与零样本能力：
   • 支持配对数据（H&E + ST）和仅图像（H&E-only）推理。
   • 在未见过的组织类型（如前列腺癌）和未见过的技术平台（如 Visium HD）上表现出优异的零样本（Zero-shot）泛化能力。
4. 生物发现能力： 成功在结直肠癌（CRC）和非小细胞肺癌（NSCLC）中发现了具有临床意义的新型空间 Niche。

4. 实验结果 (Results)

A. 基准测试 (Benchmarking)

• 数据集： 卵巢癌（OVCA）、乳腺癌（BRCA）、前列腺癌（PRAD）和肺腺癌（LUAD）的 Visium HD 数据。
• 对比模型： 与专业 Niche 检测方法（NicheCompass, BANKSY）及现有空间基础模型（NicheFormer, scGPT-spatial, Novae, OmiCLIP）对比。
• 性能：
  • 在卵巢癌和乳腺癌数据上，SpatialFusion 在调整兰德指数（ARI）、归一化互信息（NMI）和空间一致性指标上全面优于或持平其他模型。
  • 在未见过的组织（前列腺癌） 和未见过的技术（Visium HD） 上，SpatialFusion 表现出极强的泛化性，零样本性能优于大多数基线模型，微调后性能进一步提升。
  • 消融实验： 证明了多模态对齐和通路回归损失对提升模型性能至关重要。

B. 生物学发现应用

1. 结直肠癌 (CRC) - 发现癌前 Niche：

   • 在形态学正常的肿瘤旁黏膜（Normal-adjacent mucosa）中识别出一个独特的 Niche（Niche 2）。
   • 该 Niche 在 H&E 染色下与正常黏膜（Niche 1）无法区分，但表现出防御性/应激状态：上皮细胞分泌和抗菌程序上调，浆细胞发生转录重编程。
   • 这揭示了“场癌化”（Field Cancerization）现象，即肿瘤周围看似正常的组织已发生分子层面的改变。

2. 非小细胞肺癌 (NSCLC) - 预测肿瘤分期：

   • 应用注意力机制多实例学习（ABMIL）模型，利用 SpatialFusion 嵌入预测病理肿瘤分期（pT1/2 vs pT3/4），AUC 达到 0.8，显著优于仅使用基因表达的基线（AUC 0.36）。
   • 识别出两个关键的恶性 Niche：
     • Niche 10： 增殖型、血管化良好，与较小肿瘤相关。
     • Niche 16： 侵袭性强，富含上皮 - 间质转化（EMT）特征，JAK-STAT、TNFα、NF-κB 通路高激活，与晚期肿瘤（pT3/4）显著相关。
   • 这些发现表明 SpatialFusion 能无监督地识别与肿瘤进展和免疫逃逸相关的微环境。

5. 意义与展望 (Significance)

• 临床转化潜力： SpatialFusion 能够发现传统病理学无法识别的分子亚型微环境，为癌症分期、预后评估和靶向治疗（如针对 JAK-STAT 通路）提供了新的生物标志物。
• 方法论突破： 证明了在基础模型中引入“通路监督”可以有效解决空间生物学中功能状态定义模糊的问题。
• 可扩展性： 其轻量级特性使得该模型可以广泛应用于大规模临床队列分析，甚至在没有配对转录组数据的情况下，仅通过 H&E 图像即可推断空间微环境特征。
• 局限性： 依赖预训练基础模型的偏差；Visium HD 数据中的转录扩散问题；目前缺乏真正的“金标准”Niche 标签进行验证。

总结： SpatialFusion 通过融合形态学、转录组和通路活性，提供了一种高效、可解释且泛化能力强的框架，用于揭示癌症中复杂的时空组织结构和功能微环境，推动了空间多组学分析从“细胞计数”向“功能生态位”理解的转变。