Multimodal spatial alignment and morphology mapping with MOSAICField

本文介绍了 MOSAICField，这是一种利用深度神经网络进行非线性形变场估计的统一框架，能够整合多模态空间组学数据，实现跨切片物理对齐与形态结构映射，从而构建高精度的三维组织模型并提升多模态分析能力。

要点

这篇论文介绍了一种名为 MOSAICField 的新技术，它就像是一个超级智能的“空间拼图大师”，专门用来把生物组织切片的各种复杂数据完美地拼合在一起。

为了让你更容易理解，我们可以把这项技术想象成修复一本被撕碎、打乱顺序，而且每一页都用不同语言写的古老地图。

1. 背景：为什么我们需要这个？

想象一下，科学家想研究人体内的一个肿瘤（比如前列腺癌）。他们不能只切一刀，因为肿瘤是立体的。所以他们把肿瘤像切黄瓜一样，切成几百片薄薄的切片。

• 问题 A（物理对齐）： 每一片切片在切的时候都可能被拉伸、旋转或扭曲了。就像你把一张纸撕成碎片，再试图把它们拼回原样，但碎片都变形了。
• 问题 B（多模态数据）： 更麻烦的是，每一片切片可能用了不同的“扫描仪”来测量。
  • 有的切片测的是基因（像看文字说明书）；
  • 有的切片测的是蛋白质（像看化学配方）；
  • 有的切片拍的是组织照片（像看风景照）。
  • 这就好比：第 1 页是中文写的，第 2 页是法文写的，第 3 页全是图画。传统的拼图软件根本没法把中文和图画拼在一起，因为它们“语言不通”。

2. MOSAICField 是怎么工作的？

MOSAICField 就像是一个拥有透视眼和变形术的魔术师，它分两步走：

第一步：物理对齐（把碎片拼回原样）

• 比喻： 想象你在玩一个巨大的拼图，但拼图块不仅形状变了，颜色也变了。
• 做法： 这个系统先不管内容是什么，它只看“大概的轮廓”。它利用一种叫“最优传输”的数学魔法，先把所有切片在空间上粗略地对齐，把旋转、拉伸都纠正过来。
• 结果： 现在，所有的切片都回到了它们原本在 3D 空间中的正确位置，就像把散落的拼图块重新摆回了桌子上，虽然还没拼好，但位置对了。

第二步：形态对齐（追踪复杂的结构）

• 比喻： 这是最精彩的部分。想象前列腺里有很多像下水道管道（导管）一样的结构。这些管道不是直上直下的，它们是弯曲的、斜着穿过组织的。
  • 当你切黄瓜时，如果刀是斜着切的，管道在每一片切片上看起来形状都不一样（有的像圆圈，有的像长条）。
  • 传统的软件只能把切片“硬拼”在一起，管道看起来是断断续续的。
• 做法： MOSAICField 会学习一种非线性的变形场（可以想象成一种智能的橡皮泥）。它能识别出：“哦，虽然这一片里的管道看起来像个椭圆，但根据它和上一片的关系，它其实应该连成一条弯曲的线。”于是，它会把图像像橡皮泥一样拉伸、扭曲，让管道在 3D 空间里真正连贯起来。
• 结果： 即使管道是斜着穿过组织的，它也能在 3D 模型里完美追踪出管道的完整路径。

3. 它的厉害之处在哪里？

• 不懂“语言”也能拼： 以前的软件要求切片必须有相同的基因才能对齐。MOSAICField 不需要！它只看结构模式。就像你不需要懂中文和法文，只要看到“这一页有个大圆点，那一页也有个圆点，而且周围的花纹相似”，你就能把它们连起来。
• 3D 重建： 它能把几百个 2D 切片变成一个高精度的 3D 肿瘤模型。
• 发现新秘密： 因为它能把基因数据和蛋白质数据在同一个 3D 位置上对应起来，科学家就能发现：“哦，原来在这个特定的弯曲管道位置，某种基因和某种蛋白质同时活跃，这可能就是癌症转移的关键！”

4. 总结

简单来说，MOSAICField 解决了生物医学研究中的一个大难题：如何把不同技术、不同切片、不同角度的数据，像变魔术一样拼成一个连贯、真实、立体的 3D 世界。

• 以前： 我们只能看平面的、断断续续的、语言不通的碎片。
• 现在： 我们有了完整的 3D 地图，能看清肿瘤内部复杂的“城市街道”（血管、导管）和“居民活动”（基因、蛋白表达）。

这项技术将帮助医生和科学家更清楚地理解癌症是如何生长和扩散的，从而开发出更精准的治疗方案。

技术摘要

1. 研究背景与问题 (Problem)

随着空间转录组学、空间蛋白质组学和空间表观基因组学等技术的发展，研究人员可以在组织切片上获取数百至数千个特征的空间分辨数据。然而，构建全面的组织和肿瘤图谱面临以下主要挑战：

• 多模态整合困难：现有的空间技术通常只能测量单一模态（如仅转录组或仅蛋白）。为了获得全面视图，同一组织的不同切片往往使用不同的技术（如 H&E 染色、10x Xenium 转录组、CODEX 蛋白成像）进行测量。
• 缺乏共同特征：现有的多组学整合工具通常依赖于不同切片间共享的特征（如共同表达的基因）。然而，跨模态数据（如 RNA 与 H&E 图像）之间往往没有直接的共同特征，导致传统方法失效。
• 物理对齐与形态对齐的混淆：
  • 物理对齐 (Physical Alignment)：旨在将切片恢复到原始组织的连续 3D 坐标系中，校正由于切片制备引起的旋转、平移和缩放。
  • 形态对齐 (Morphological Alignment)：旨在追踪跨越切片的特定形态结构（如导管、血管、神经元），这些结构可能以非垂直于切片方向的角度穿过组织。
  • 现有方法通常将两者混为一谈，或者依赖人工注释，缺乏自动化的跨模态形态追踪能力。

2. 方法论 (Methodology)

MOSAICField 提出了一种统一的框架，通过两个主要步骤实现任意模态组合的空间切片对齐：

步骤 1：仿射对齐 (Affine Alignment)

• 目标：计算相邻切片之间的全局仿射变换（平移、旋转、缩放）。
• 核心技术：扩展了全局不变最优传输 (Global Invariant Optimal Transport, OT)。
  • 利用 Fused Gromov-Wasserstein (FGW) 距离，结合空间坐标距离和特征距离。
  • 创新点：在 Wasserstein 项中引入仿射变换 $T$，并在 Gromov-Wasserstein 项中允许跨不同度量空间（即不同模态）的特征比较。这使得即使两个切片完全没有共享特征（例如一个是基因表达，一个是组织学图像），也能通过特征分布的结构相似性进行对齐。
  • 通过块坐标下降算法同时求解耦合矩阵 $\Pi$ 和变换矩阵 $T$。

步骤 2：非线性对齐 (Nonlinear Alignment via Neural Fields)

• 目标：在仿射对齐的基础上，学习非线性变形场以校正局部扭曲并追踪精细形态。
• 核心技术：基于神经隐式表示 (Neural Implicit Representations) 的变形场。
  • 将切片视为多通道图像，使用多层感知机 (MLP) 学习位移场 $v_\theta$，输出每个坐标点的位移向量。
  • 损失函数：
    1. 广义模态无关邻域描述符 (Generalized MIND) 损失：受 MIND 启发，计算图像块与其邻域的差异描述符。该方法不依赖像素强度的直接匹配，而是比较局部结构模式，从而适用于不同模态。
    2. 单通道 MSE 损失：将多通道图像降维为灰度图并计算均方误差，作为辅助约束。
  • 正则化：包含雅可比行列式正则化（防止折叠）和位移幅度正则化。

双重对齐策略 (Dual Alignment Strategy)

MOSAICField 明确区分并分别计算两种对齐：

1. 物理对齐 ($\phi_P$)：在全局、低分辨率尺度上运行。关注整体几何一致性，重建组织的 3D 结构。
2. 形态对齐 ($\phi_M$)：在局部、全分辨率尺度上运行（基于物理对齐后的切片）。关注精细的形态结构（如导管形状），捕捉局部非线性变形。

3. 关键贡献 (Key Contributions)

1. 无需共同特征的对齐：MOSAICField 是首个能够处理完全无共享特征（如转录组 vs. 组织学图像）的跨模态空间对齐方法。
2. 物理与形态对齐的解耦：首次明确区分并分别优化物理 3D 重建和形态结构追踪，解决了传统方法无法处理非垂直切片方向结构的问题。
3. 统一的神经场框架：结合全局不变最优传输和神经隐式变形场，提供了一个端到端的深度学习框架，适用于任意模态组合。
4. 开源工具：提供了完整的代码实现，支持从模拟数据到真实生物样本的广泛应用。

4. 实验结果 (Results)

研究团队在模拟数据和真实的人类肿瘤图谱网络 (HTAN) 前列腺癌样本上进行了评估。

A. 模拟数据评估

• 物理对齐：在模拟了全局旋转、缩放和正弦波非线性扭曲的胚胎切片上，MOSAICField 显著优于 STalign, PASTE, SANTO 和 CAST。它能准确恢复旋转和缩放，并校正非线性扭曲，注册误差最低，标签转移调整兰德指数 (LTARI) 最高。
• 形态对齐：在模拟具有非垂直轨迹的空心管腔结构时，MOSAICField 成功追踪了管腔的连续路径，Jaccard 相似度最高。其他依赖共享特征或刚性变换的方法在此任务中完全失败。

B. 真实数据评估 (HTAN 前列腺癌样本)

• 数据集：包含 16 个连续切片，使用三种不同平台测量（10x Xenium 转录组、H&E 染色、CODEX 蛋白成像）。
• 3D 模型重建：MOSAICField 成功将不同模态的切片整合成一个统一的 3D 模型。
  • 物理对齐性能：相邻切片间的 Jaccard 相似度达到 0.98-1.00，显著优于其他方法。
  • 特征相关性：对齐后的基因 - 蛋白表达相关性提高了 1.8 倍（相比仅仿射对齐）和 10 倍（相比未对齐数据）。
• 形态追踪：
  • 成功追踪了前列腺导管系统在 3D 空间中的复杂路径和形状变化（如收缩、扩张）。
  • 与人工注释相比，MOSAICField 的形态对齐 Jaccard 相似度比次优方法高出 35%-100%。
  • 能够捕捉到物理对齐无法解决的局部形状变化（如导管截面的非刚性形变）。
• 功能关系推断：在形态对齐后，跨模态（如 CD44 蛋白与 CD44 基因）的空间表达模式显示出强相关性，证明了其在推断生物学功能关系方面的有效性。

5. 意义与展望 (Significance)

• 构建 3D 多模态图谱：MOSAICField 为构建全面的 3D 组织和肿瘤图谱提供了关键技术，使得研究者能够在 3D 空间中同时观察基因、蛋白和组织形态。
• 揭示动态生物学过程：通过精确追踪导管、血管和肿瘤边界，有助于研究肿瘤侵袭、血管生成等动态过程。
• 推动下游分析：准确的 3D 对齐为细胞间通讯分析、多模态特征生成和空间生物学假设验证奠定了基础。
• 未来方向：该方法可扩展至时间序列时空数据（如伤口愈合、免疫反应），并有望与下游计算模型结合，进一步探索组织微环境的复杂性。

总结：MOSAICField 通过创新的数学 formulation（全局不变 OT）和深度学习架构（神经场），突破了多模态空间数据整合的瓶颈，实现了从“物理位置重建”到“精细形态追踪”的全方位对齐，是空间生物学领域的一项重要工具。