🤖 machine learning

DynImmune-BERT: Dynamic Immune Repertoire Modeling with Neural ODE Driven Continuous Transformers

本文介绍了 DynImmune-BERT，这是一种利用神经常微分方程（Neural ODEs）和专门的注意力机制来有效捕捉纵向 T 细胞受体库动态变化，从而改进患者免疫状态预测的新型连续时间模型，解决了静态语言模型在表示时间性免疫变化方面的局限性。

原作者： Rong Fu, Yongtai Liu, Xiaowen Ma, Haoyu Zhao, Shuo Yin, Yiqing Lyu, Long Zhang, Wangyu Wu

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rong Fu, Yongtai Liu, Xiaowen Ma, Haoyu Zhao, Shuo Yin, Yiqing Lyu, Long Zhang, Wangyu Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你的身体是一座繁忙、高科技的城市，拥有一支庞大且不断变化的安保部队：你的免疫系统。这支军队由数百万个独特的士兵组成，被称为 T 细胞，每个士兵都佩戴着一个特定的身份识别证（T 细胞受体），旨在识别病毒或癌症等不同的威胁。当城市面临入侵者时，拥有正确证件的士兵会迅速大量繁殖以参与战斗，而其他士兵则进入待命状态。这整套士兵及其身份识别证的集合被称为你的“免疫库”（immune repertoire）。

科学家们长期以来一直试图通过阅读这些身份识别证来了解人体内部正在发生什么。如果他们看到某个特定的证件突然大量出现，这可能意味着感染正在酝酿；如果某个证件消失了，则可能意味着威胁已经消除。然而，大多数之前的计算机程序将这些免疫军队视为一张静态的照片集。它们会对患者的血液进行单次采样，统计证件数量，然后做出推测。问题在于，生命不是一张照片，而是一部电影。免疫系统在不断变化，士兵在到达、离开和重新出现的时间点都是不规则的。要真正理解疾病的故事，你需要观看整部电影，而不仅仅是其中一帧。

这就是名为 DynImmune-BERT 的一项新研究所发挥作用的地方。研究人员构建了一个智能计算机模型，它不仅观察你免疫军队的单一快照，还观察其随时间变化的整个过程。他们没有将你的免疫系统视为一个静态的零件袋，而是将其建模为一个在不规则检查之间不断演化的、生动且呼吸着的旅程。

以下是他们是如何做的，以及他们的发现：

“静态”照片的问题

想象一下，如果你只能通过看最终比分来理解一场足球赛，你会遇到什么问题。你会知道谁赢了，但你会错过所有的精彩瞬间：第一分钟进的球、第二分钟受伤的球员，以及最后时刻的反超。之前的模型在处理免疫数据时也存在类似的问题。它们将患者的血液样本总结为一个“序列包”，忽略了采样发生的时间，或者忽略了特定免疫细胞在两次就诊之间是如何变化的。这错失了关于身体如何应对癌症等疾病的关键线索。

解决方案：时空侦探

作者创建了 DynImmune-BERT，这是一个将患者免疫历史视为连续、流动故事的系统。以下是他们使其奏效的巧妙技巧：

时间的“奶昔”（神经常微分方程 - Neural ODEs）：
在现实世界中，患者并不会在完美的、规则的时间间隔进行采血。有时间隔是两周，有时则是三个月。传统的计算机在处理这种“锯齿状”的时间线时会遇到困难。DynImmune-BERT 使用了一种名为**神经常微分方程（Neural ODE）**的数学工具。你可以把它想象成一个时空侦探，能够平滑地填补两次抽血之间的空白。它不仅仅是在猜测，而是通过数学方式让免疫故事向前“流动”，预测在没有收集数据的几周内，军队可能会如何变化。
“消失的表演”（事件感知重启 - Event-Aware Restarts）：
有时，某个特定的免疫士兵（克隆）会在血液样本中消失。在旧模型中，计算机可能会感到困惑，认为这个士兵只是变小了。但在现实中，该士兵可能已经完全消失，随后又重新出现。DynImmune-BERT 是“感知事件”的。如果一个士兵消失后又突然出现，模型会按下“重置按钮”。它使用一种特殊的低秩元适配器（low-rank meta-adapter）（一个微小且高效的辅助工具）来立即重新初始化该士兵的状态，承认一个新篇章的开始。这可以防止模型在数学运算中迷失方向。
“VIP 与群众”（混合监督 - Hybrid Supervision）：
在任何免疫军队中，少数“VIP”士兵（优势克隆）非常响亮且数量众多，而成千上万的其他士兵虽然稀少，却可能掌握着特定疾病的秘密。旧模型要么只关注 VIP，要么会被噪声淹没。DynImmune-BERT 使用了混合传输目标（hybrid transport objective）。这就像拥有两种不同类型的麦克风：一种专门用来清晰地捕捉 VIP 的大声呐喊，另一种则足够灵敏，能捕捉到稀有士兵的细语。这确保了模型能从所有人身上学习，而不仅仅是那些最受欢迎的细胞。
“邻里守望”（有界注意力机制 - Bounded Attention）：
面对数以千计的免疫细胞，让计算机比较每一个细胞与其它所有细胞是不可能的（那会太慢了）。相反，模型构建了一个“有界邻里”。对于任何给定的细胞，它只观察与其最接近的邻居——即那些在序列或丰度上相似的细胞。这保持了计算的高效与快速，就像一个邻里守望系统，只与隔壁的住户交流，而不是向全城呼叫。

他们的发现

研究人员在肺癌和甲状腺癌 (THCA) 患者的数据上测试了他们的新模型。他们将 DynImmune-BERT 与许多现有的“静态”模型以及更简单的基于时间的模型进行了对比。

结果： 在内部测试中（即使用相同数据比较其不同版本的模型时），DynImmune-BERT 在肺癌方面的 AUC 达到了 0.982，在甲状腺癌方面达到了 0.984。（AUC 为 1.0 代表完美得分，因此这些是非常高的分数）。
对比： 与文献中著名的模型（如 DeepTCR 或 BertTCR）相比，DynImmune-BERT 显示出了更高的分数。然而，作者谨慎地指出，由于其他研究使用了不同的数据集和规则，这种比较是非常复杂的。他们强调，真正的证明来自于他们的内部测试，这些测试表明，加入“时间”和“事件”特征显著提高了准确性，优于那些仅查看最后一次样本或进行平均化处理的模型。
局限性： 该模型在拥有患者多次重复血液样本时效果最好。当他们尝试在患有罕见癌症的极小群体（某些组别人数少于 20 人）上进行测试时，结果显示出“广泛的不确定性”。这意味着，虽然该模型看起来很有前景，但我们需要更多的数据才能绝对确定它是否适用于每种类型的癌症。

为什么这很重要

DynImmune-BERT 表明，要真正理解我们的免疫系统如何对抗疾病，我们需要停止拍摄快照，开始观看电影。通过尊重现实医疗就诊的不规则时间，并处理免疫细胞“消失与重现”的特性，该模型提供了一种更准确的方法来预测癌症状态。

作者总结道，虽然该模型是一个强大的新工具，但它目前还不是一根“魔杖”。它需要谨慎解读，特别是对于罕见疾病，并且在应用于医院之前，需要在更大规模的人群中进行更多测试。但就目前而言，它证明了当我们让计算机理解时间的“流动”时，它们能比以往任何时候都更清晰地洞察免疫系统的故事。

技术摘要：DynImmune-BERT

1. 问题陈述

适应性免疫库，特别是 T 细胞受体 (TCR) 序列，包含了关于克隆扩增、收缩、消失和在免疫扰动后重新出现的时序信号。虽然静态库语言模型能有效地将样本总结为“序列包”，但它们无法充分表征纵向数据中固有的不规则采样间隔、测序深度变化以及动态克隆存在模式。

现有的免疫库分析深度学习方法（如 DeepTCR、BertTCR）通常在单个样本内聚合克隆型，或独立比较样本。这导致了生物学现实——稀疏、重尾且由事件驱动的动力学——与通常与时间无关的计算表示之间的不匹配。此外，TCR 数据面临特定的挑战：

成分属性（Compositional Nature）： 克隆频率受测序深度的约束。
零膨胀（Zero Inflation）： 由于生物学性消失、采样深度有限或技术性截断，许多克隆在大多数时间点是不存在的。
不规则性（Irregularity）： 纵向研究通常跨越数周或数月，且时间间隔不均匀。
事件不连续性（Event Discontinuity）： 克隆的诞生与死亡违反了所有潜在状态都在单一连续向量场下平滑演化的假设。

核心要解决的问题是如何编码受试者的不规则 TCR 轨迹，以预测患者层面的免疫状态（特别是癌症检测），同时保留克隆存在事件、成分稳定性以及来自高丰度和低丰度克隆的监督信息。

2. 方法论：DynImmune-BERT

DynImmune-BERT 是一个由神经常微分方程 (Neural ODEs) 和连续 Transformer 驱动的连续时间免疫库模型。它将免疫库视为一个演化的患者轨迹。

2.1 深度自适应成分状态初始化

为了处理测序数据的成分属性和零计数不稳定性，该模型采用了深度自适应中心对数比 (CLR) 初始化：

伪计数（Pseudocounts）： 使用深度自适应伪计数 $\epsilon(t) = \kappa / (N(t) + \kappa)$ ，其中 $N(t)$ 是测序深度。这更强地正则化了低深度观测。
稳定性（Stabilization）： 初始状态 $y_c(t)$ 计算为相对频率加上伪计数的对数比，并针对支持集进行中心化。这稳定了丰度并实现了连续时间动力学。
存在门控（Presence Gates）： 二进制指示器 $I_c(t)$ 用于追踪一个克隆是被观测到（读数 $>0$ ）还是缺失。

2.2 有界邻域构建

为了管理拥有数千个克隆的免疫库中的计算复杂度，模型为每个克隆 $c$ 构建了一个有界注意力邻域 $N_c(t)$ 。该邻域的大小限制为 $B$ ，并包含三个组成部分：

高丰度邻居： 具有高读数量的克隆。
嵌入邻居： 与焦点克隆序列嵌入最接近的克隆。
稀有克隆尾部： 采样的低丰度候选者，以确保稀有克隆型不会被忽略。
这通过将注意力从全对比较减少到局部聚合，同时保留了来自丰度、序列相似性和稀有探索的上下文信息。

2.3 事件感知连续动力学

模型的核心是一个 Neural ODE，用于在不规则观测之间传播潜在状态：
$\frac{dy_c(t)}{dt} = I_c(t) \cdot F_\theta(y_c(t), e_c, N_c(t), s(t), t)$

门控动力学（Gated Dynamics）： 存在门控 $I_c(t)$ 防止缺失的克隆在向量场 $F_\theta$ （一个连续 Transformer）的作用下发生漂移。
事件感知状态重启（Event-Aware State Restart）： 当一个克隆从缺失转为存在（重新出现）时，连续演化会被中断。一个低秩元适配器（Low-Rank Meta-Adapter） $\Delta_\phi$ 根据其序列嵌入和时间来初始化重新出现的克隆型状态，随后进行重新中心化步骤以恢复 CLR 约束。这处理了克隆诞生/重新出现带来的不连续性，而无需强制进行平滑插值。

2.4 混合传输监督

为了同时监督优势克隆和稀有克隆，模型使用了混合传输目标函数：

优势克隆： 对前列克隆使用熵最优传输 ( $S_\lambda$ ) 来匹配概率分布。
稀有克隆： 对尾部克隆使用切片 Wasserstein 距离 ( $SW_L$ ) 来处理弥散分布。
总损失： 结合了交叉熵、混合传输损失、时间正则化和谱正则化。

3. 核心贡献

轨迹公式化： 本文将免疫库分类形式化为一个患者层面的轨迹问题，其中观测时间、读数计数、测序深度和克隆存在是显式变量。
事件感知连续 Transformer： 引入了一种结合了稳定成分状态、有界邻域注意力、通过 Neural ODE 进行隐式积分以及利用低秩适配器重启重新出现克隆型的创新架构。
全面的评估框架： 研究将文献报告的基准模型与内部控制的对比实验进行了区分。它报告了小规模外部队列的不确定性，增加了校准和阈值诊断，并可视化了潜在克隆轨迹和注意力邻域。

4. 结果

评估在肺癌和甲状腺癌 (THCA) 数据集上进行，并在 17 种癌症类型上进行了外部验证。

内部时间对比： 在匹配的患者层面拆分中，DynImmune-BERT 取得了最高性能。
- 肺癌 AUC： 0.982（相比之下，Latent ODE 控制组为 0.963，Time-aware Transformer 为 0.949）。
- THCA AUC： 0.984（相比之下，Latent ODE 控制组为 0.969）。
- 消融实验表明，Neural ODE 核心是精度提升的主要驱动力，而事件处理和自适应伪计数提高了跨随机种子的鲁棒性。
外部验证： 在外部队列（如 THCA、GBM、肺癌）中，模型表现出高准确率（例如肺癌为 0.957），但对于少于 20 例病例的子集表现出较宽的不确定性区间，凸显了大型验证集的重要性。
与文献对比： 虽然 DynImmune-BERT 在提供的表格中报告了高于静态基准模型（如 BertTCR、DeepLION2）的 AUC，但作者指出这些是基于不同协议的跨研究比较，应将其视为先前性能范围的背景参考，而非直接的头对头优越性证明。
计算成本： 全模型约需 122.4M 参数，单 GPU 每轮迭代耗时 3.8 分钟，推理延迟为每名受试者 13.5 毫秒。

5. 意义与主张

论文声称，事件感知的时间建模可以作为强静态编码器的有力补充，当纵向免疫库结构可用时尤为如此。DynImmune-BERT 的意义在于其能够：

弥合稀疏、不规则的生物学数据与连续数学模型之间的差距，而不必假设克隆动力学的机械平滑性。
提供一个能够显式处理克隆“消失与重新出现”的框架，而这正是静态模型往往会遗漏的。
提供一套诊断套件（轨迹可视化、校准图、阈值稳定性），允许研究人员在查看聚合分类指标的同时检查动态行为。

作者保持了审慎的态度，承认小型外部队列和协议差异需要谨慎解释。他们强调，该方法在重复进行免疫库测量时最为有效，且学习到的轨迹需要结合临床元数据（如 HLA、治疗方案）进行前瞻性验证，以确认其与可解释免疫事件的对应关系。