ARCH3D: A foundation model for global genome architecture

本文介绍了 ARCH3D，这是一种利用新型掩蔽位点建模任务来整合全基因组接触谱信息的基础模型，能够捕捉全局基因组结构、在极端稀疏条件下重建染色质相互作用并识别多向互作，从而为构建模拟基因组行为与动态的“虚拟基因组”奠定基础。

要点

这篇论文介绍了一个名为 ARCH3D 的人工智能模型，它就像是一个**“基因组建筑师”**，专门用来理解人类细胞内 DNA 是如何在三维空间中折叠和排列的。

为了让你更容易理解，我们可以把细胞核想象成一个巨大的、拥挤的图书馆，而 DNA 就是里面成千上万卷长长的书卷。

1. 为什么要造这个模型？（背景）

以前的 AI 模型（比如 Evo 或 Geneformer）主要擅长阅读“书卷上的文字”（DNA 序列）或者“书卷的标题”（基因表达）。它们知道书里写了什么，但不知道这些书在图书馆里是怎么摆放的。

然而，在细胞里，书怎么摆放（基因组架构）至关重要。

• 如果两本看似无关的书（基因）被折叠到了同一个角落，它们可能会“聊天”，从而启动某种功能（比如决定细胞是变成皮肤还是变成心脏）。
• 以前的技术就像只能看局部：要么只看一本书的某一页（局部片段），要么只能看到书和书之间非常近的距离。如果要看到整个图书馆的布局，或者看到相隔很远的两本书是如何互动的，以前的模型就“瞎”了。

2. ARCH3D 是怎么工作的？（核心创新）

ARCH3D 是一个**“基础模型”（Foundation Model），你可以把它想象成一个超级图书馆管理员**。它通过一种全新的方法——“掩码位点建模”（Masked Locus Modeling）来学习。

• 以前的做法（拼图法）： 就像给你一张图书馆的局部照片（比如只拍书架的一小块），让你猜这块区域里有什么。这只能看到很近的东西。
• ARCH3D 的做法（全局视野）： 它不只看局部，而是随机抓取图书馆里不同位置的书（基因组上的不同位置），把它们放在一个“序列”里。
  • 它会把其中 200 本书“遮住”（Mask），然后问 AI：“根据剩下的书的位置和它们之间的互动，你能猜出被遮住的书原本在哪里，以及它们和周围的书有什么关系吗？”
  • 通过这种“猜谜游戏”，ARCH3D 学会了理解整个图书馆的全局布局，而不仅仅是局部。

3. ARCH3D 的三大超能力

能力一：记住图书馆的“空间感”

当 ARCH3D 学习完后，它生成的“书卷档案”（Embeddings）完美地反映了真实的物理空间。

• 比喻： 就像你闭上眼睛，脑海里能构建出图书馆的地图。ARCH3D 生成的地图显示，同一本书架（同一条染色体）上的书靠得很近，而不同书架的书离得较远。甚至它能感觉到，未分化的细胞（像婴儿）书架比较乱，而分化的细胞（像成人）书架排列更紧密有序。

能力二：在“极度稀疏”的数据中重建全景

这是它最厉害的地方。

• 比喻： 想象图书馆里 99% 的书都丢了，只剩下零星的几本（数据极度稀疏，比如只有 1% 的接触数据）。以前的模型（像 HiCFoundation）只能修补它们眼前那一小块区域，一旦数据太少就束手无策。
• ARCH3D 的表现： 它利用学到的“全局地图知识”，即使只有零星的几本书，也能推断出整个图书馆的布局，甚至能重建出那些相隔很远的书（不同染色体之间）是如何互动的。它就像是一个经验丰富的老管理员，哪怕只看到几本书，也能猜出整个图书馆的藏书分布。

能力三：预测“多人聚会”（高阶相互作用）

现在的技术（Pore-C）能发现三本或更多书同时聚在一起的情况（多向相互作用），但这数据太贵太少了。

• 比喻： 以前我们只能看到两个人握手（两两互动），很难看到三个人开小会。
• ARCH3D 的表现： 它利用从普通数据（Hi-C）中学到的知识，成功预测了哪些书会组成“三人小组”或“四人小组”。它的预测准确率（0.93）远超之前的最佳模型（0.78）。这意味着它能告诉我们，哪些基因会一起工作，从而控制复杂的生命过程。

4. 这意味着什么？（未来愿景）

ARCH3D 的出现，标志着我们开始构建**“虚拟基因组”**（Virtual Genome）。

• 未来的场景： 想象一下，医生不再需要先在病人身上做昂贵的实验，而是先在电脑里运行这个“虚拟基因组”。
  • 医生可以问：“如果我把这个基因的位置折叠一下，会发生什么？”
  • 模型会模拟出结果，告诉医生这种改变会不会导致疾病，或者能不能治愈疾病。
  • 这将极大地加速新药研发和细胞重编程（比如把皮肤细胞变成干细胞）的研究。

总结

简单来说，ARCH3D 是第一个能真正“看懂”DNA 在细胞核里三维折叠方式的 AI 大师。 它不再局限于阅读文字，而是理解了整个空间的布局。它能在数据很少的情况下重建全景，还能预测复杂的基因互动，为未来在电脑里模拟和操控生命过程打下了坚实的基础。

技术摘要

ARCH3D：全球基因组架构的基础模型技术总结

1. 研究背景与问题定义 (Problem)

尽管生物基础模型（Foundation Models）在 DNA 序列、RNA 转录组和蛋白质序列分析方面取得了显著进展，但基因组架构（Genome Architecture），即染色质在三维空间中的组织方式，长期以来被忽视。基因组架构对基因转录调控、DNA 复制时机和细胞命运决定至关重要。

现有的基于 Hi-C 数据（染色质构象捕获技术）的机器学习方法存在以下主要局限性：

• 上下文窗口受限： 现有的方法（如 HiCFoundation）多采用基于“补丁（Patch-based）”的策略，仅输入 Hi-C 矩阵的局部子矩阵（如 224×224 像素）。这导致模型只能捕捉局部相互作用，无法有效学习跨越整个基因组的长距离（尤其是染色体间）相互作用。
• 分辨率与覆盖率的权衡： 为了增加上下文窗口，现有方法往往需要降低分辨率，从而丢失精细结构信息。
• 数据稀疏性挑战： 在低测序深度下，Hi-C 数据（特别是染色体间区域）极其稀疏，现有模型难以在极端稀疏条件下准确推断相互作用。
• 高阶结构识别困难： 现有的成对（Pairwise）数据难以直接推断多路（Multi-way）染色质相互作用（如 Pore-C 数据所揭示的），而缺乏能够利用成对数据预测高阶结构的基础模型。

2. 方法论 (Methodology)

ARCH3D 是一个专为全局基因组架构设计的基础模型，其核心创新在于基于位点（Locus-based）的编码策略和**掩码位点建模（Masked Locus Modeling, MLM）**任务。

2.1 数据预处理与 Tokenization

• 数据源： 整合了来自 4DNucleome 和 ENCODE 项目的 481 个 Hi-C 实验数据，涵盖 31 种人类组织，分辨率统一为 5 kb。
• 位点级 Tokenization： 不同于将 Hi-C 矩阵切分为固定大小的补丁，ARCH3D 将基因组划分为可变长度的位点（Loci）。
  • 每个位点对应 Hi-C 矩阵中的一行（或几行的平均），包含该位点与全基因组所有其他位点的接触频率。
  • 支持多种长度（5 kb 至 1 Mb），通过列平均处理不同分辨率的位点。
• 输入序列构建： 从全基因组中随机采样1,024 个位点组成输入序列。这种随机采样策略打破了序列必须连续的物理限制，显著增加了输入序列的信息量，并作为数据增强手段。

2.2 模型架构

• 骨干网络： 基于 BERT-large 架构的 Transformer 编码器（24 层，隐藏层维度 1,024，16 个注意力头）。
• 位置编码（Positional Encoding）： 设计了生物学启发的位置编码，包含两部分：
  1. 染色体嵌入： 每个染色体对应一个可学习的向量。
  2. 碱基对嵌入： 使用正弦/余弦编码（Sinusoidal encoding）表示位点的起始和终止碱基位置。
  • 这种编码方式使得模型能够理解位点在全基因组范围内的绝对位置，而不仅仅是序列中的相对位置，从而允许输入序列由非连续的位点组成。

2.3 预训练任务：掩码位点建模 (MLM)

• 任务机制： 输入序列中随机掩码 200 个位点（替换为 [MASK] 向量）。
• 预测目标： 模型需预测输入序列中所有位点对（包括掩码和非掩码位点）之间的接触频率（像素值）。
• 损失函数： 预测像素值与真实 Hi-C 接触频率之间的均方误差（MSE）。
• 优势： 通过预测全基因组范围内的接触，模型被迫学习位点之间的全局空间关系，而不仅仅是局部邻域关系。

2.4 下游任务微调

• 分辨率增强（Resolution Enhancement）： 在低覆盖率（如 1%）的 Hi-C 数据上进行微调，以预测高覆盖率的接触图谱，特别是针对极度稀疏的染色体间区域。
• 高阶结构识别（Hyperedge Prediction）： 冻结编码器，训练一个任务头（Task Head），利用 ARCH3D 生成的位点嵌入来预测 Pore-C 数据中的多路相互作用（3-5 路接触）。

3. 关键贡献 (Key Contributions)

1. 首个基因组架构基础模型： 提出了 ARCH3D，填补了生物基础模型在 3D 基因组结构领域的空白，实现了从局部补丁到全局位点表示的范式转变。
2. 创新的掩码位点建模任务： 设计了能够利用全基因组接触信息的 MLM 任务，使模型能够捕捉长距离和染色体间的相互作用。
3. 可变长度与随机采样策略： 通过支持可变长度位点和全基因组随机采样，极大地扩展了模型的上下文窗口，同时避免了局部冗余，显著增加了训练数据的有效多样性。
4. 生物学启发的位置编码： 解决了 Transformer 在处理非连续基因组序列时的位置感知问题，使模型能准确区分不同染色体和远距离位点。

4. 实验结果 (Results)

4.1 嵌入空间保留空间结构

• 染色体区室化： 在低维嵌入空间中，同一染色体的位点距离更近，不同染色体的位点距离较远，完美复现了细胞核内的“染色体疆域（Chromosome Territories）”现象。
• 细胞分化反映： 嵌入距离反映了细胞的分化程度（如 H1-hESC 比 IMR-90 更紧密），与生物学事实一致。
• 结构保留： 嵌入空间中的距离图与原始 Hi-C 接触图在染色体 14 和 17 上表现出高度相似的区室化模式（Compartmentalization）。

4.2 极端稀疏下的相互作用推断

• 分辨率增强： 在仅保留 1% 读数的 Hi-C 数据（极度稀疏）上，ARCH3D 能够准确重建染色体间相互作用。
• 对比优势： 虽然 HiCFoundation 在局部精细结构（对角线附近）上表现更好，但它无法处理超出 224 像素窗口的长距离相互作用。ARCH3D 能够预测全图谱的接触，特别是在染色体间区域（非零像素仅 0.42% 的情况下）表现优异，而基于补丁的模型在此处完全失效。

4.3 高阶结构识别

• 多路接触预测： 利用 ARCH3D 嵌入预测 Pore-C 数据中的多路相互作用（Hyperedges）。
• 性能指标： 在 GM12878、BJ 和 IR 成纤维细胞系上，ARCH3D 的平均 AUROC 达到 0.930，显著优于现有的深度学习模型 MATCHA (0.551) 和最佳的多重相关统计方法 (0.787)。
• 泛化能力： 模型在未见过的真实 Hi-C 数据上依然保持高性能，证明了其强大的泛化能力。

5. 意义与展望 (Significance)

• 构建“虚拟基因组”的基石： ARCH3D 为构建能够模拟基因组行为和动态的“虚拟基因组（Virtual Genome）”提供了结构基础。结合转录组基础模型，未来可实现对细胞重编程策略的计算机模拟（In silico perturbation）。
• 多模态融合潜力： ARCH3D 生成的位点嵌入可以与 DNA 序列、scRNA-seq 等其他模态的基础模型无缝对接，促进对细胞过程的全面多模态建模。
• 加速生物发现： 通过提高稀疏数据的利用率和预测高阶结构，ARCH3D 有助于减少湿实验成本，加速药物靶点发现和细胞疗法开发。

总结： ARCH3D 通过引入全局上下文和创新的掩码位点建模任务，成功解决了现有 Hi-C 分析模型在长距离相互作用和稀疏数据推断上的瓶颈，为理解三维基因组架构和构建下一代生物 AI 模型奠定了重要基础。