🤖 machine learning

LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts

LongMoE 是一个统一的框架，通过整合上下文感知填补、频域时间标记化以及轨迹感知的稀疏混合专家路由，解决了临床学习中模态缺失和纵向动态的双重挑战，从而在不规则、不完整的多模态就诊序列中实现鲁棒的患者特定建模。

原作者： Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 LONGMOE 论文的解释，通过简单的概念和日常类比进行了拆解。

核心问题：“缺失的拼图碎片”与“流动的画面”

想象一位医生正在尝试诊断一名阿尔茨海默病患者。他们面前有一个巨大的拼图需要解决，但拼图碎片来自不同的盒子：

盒子 1： 脑部扫描（MRI）。
盒子 2： 血液检测和脑脊液样本。
盒子 3： 遗传数据。
盒子 4： 认知测试评分（如记忆游戏）。

挑战 1：缺失的碎片（模态缺失性）
在现实世界中，患者并不总是每次就诊都带齐所有的盒子。有时他们只有血液检测结果；有时只有脑部扫描。旧的计算机模型就像刻板的厨师：如果你不给他们提供所有的食材，他们要么拒绝烹饪，要么就胡乱猜测。它们将每一次就诊视为一个完全独立的新事件，忽略了患者上个月也来过这个事实。

挑战 2：流动的画面（纵向动态变化）
阿尔茨海默病不是一张快照，而是一部电影。如果脑部扫描显示海马体（大脑的记忆部分）处于“中等大小”，这与患者海马体在过去一年内迅速萎缩的情况相比，其含义是完全不同的——如果海马体在过去十年里一直保持稳定，意义则大不相同。旧的模型往往只关注电影的当前帧，却忘记了前序场景的情节。

解决方案：LONGMOE（智能、自适应的团队）

作者提出了 LONGMOE，这是一个旨在同时处理“缺失碎片”和“流动画面”问题的全新 AI 系统。不要把它看作一个单一的机器人医生，而要把它看作一个协同工作的专业医疗团队。

以下是该系统四个主要部分的工作方式：

1. “上下文感知填补”（智能填充器）

当患者在没有特定检查（例如没有 MRI）的情况下到达时，系统不会只是留下空白或随机猜测。

类比： 想象你正在读一本书，其中缺了几页。如果故事的前一页刚描述了一个角色走进房间，你可以合理地推测在下一段中，该角色仍然在房间里。
工作原理： 如果患者上个月做过 MRI，系统会“向前推进”上一次已知的数值，将其作为临时的占位符。如果是第一次就诊且没有任何数据，它会利用其他可用的测试（如血液检查）来对缺失的 MRI 可能的情况做出合理的推测。它利用上下文而非空白来填补间隙。

2. “注意力标记化”（时间戳时钟）

系统需要理解事情是何时发生的，而不只是发生了什么。就诊时间间隔并不均匀；有些患者每 6 个月来一次，有些则每 2 年来一次。

类比： 想象你在听一首歌。如果你只听到音符，你知道旋律。但如果你不知道节奏（速度），这首歌听起来就会很奇怪。LONGMOE 为数据添加了一个“节奏”层。它使用一种特殊的数学编码（就像一个独特的时钟指针），告诉 AI 两次就诊之间到底过去了多少时间，从而使其能够检测出疾病是在缓慢变化（慢速圆舞曲）还是在快速恶化（快速鼓点）。

3. “轨迹感知编码器”（讲述者）

这是整个运作的大脑。它将所有的就诊记录（过去和现在）编织成一个完整的故事。

类比： 这个模块不是看一张跑步者的单张照片，而是看整场比赛的视频。它能理解一个正在减速的跑步者与一个刚刚起步的跑步者处于完全不同的状态，即使他们在赛道上的位置此刻完全相同。它结合了患者的历史，以理解当前的状况。

4. “稀疏混合专家模型”（专业化团队）

这是最独特的部分。LONGMOE 并没有试图让一个庞大的 AI 精通所有领域，而是拥有一个路由（Router）和一个专家团队。

路由（Router）： 这是一个“交通警察”。当患者到来时，路由会观察他们的具体情况：“哦，这位患者有遗传学和血液检测数据，但没有脑部扫描。而且他们正处于早期衰退阶段。”
专家（Experts）： 随后，路由会召唤完成这项任务所需的特定专家。
- 它可能会唤醒 专家 A（擅长遗传学）。
- 它可能会唤醒 专家 B（擅长追踪缓慢的衰退过程）。
- 它会忽略 专家 C（只擅长阅读脑部扫描，而我们现在并没有这些数据）。
优势： 这使得系统既高效又高度准确。它不会在不需要的专家身上浪费能量，并确保由最合适的专家来处理该患者所拥有的特定数据组合。

研究发现了什么？（结果）

研究人员在三个大规模真实世界医疗数据集（ADNI, OASIS-3, 和 MIMIC-IV）上测试了这个系统。

“缺失碎片”测试： 当他们移除部分数据（模拟患者未进行所有检查的情况）时，旧的模型表现糟糕或直接崩溃。LONGMOE 依然表现强劲。这就像一位即便在厨房食材减半的情况下，仍能根据食谱历史进行食材替换，并做出美味佳肴的厨师。
“全量数据”测试： 即使在所有数据都可用时，LONGMOE 的表现也达到了甚至超过了现有的最佳模型。
“故事”测试： 系统证明了了解患者病史（轨迹）至关重要。当他们移除 AI 的“讲述故事”部分时，性能显著下降，这证明了观察过去与观察现在同样重要。

总结

LONGMOE 是一种让计算机从混乱、不完整且随时间分布的患者数据中学习的新方法。它像是一个智能医疗团队，能够：

利用已知信息填补缺失的信息。
理解疾病的时间维度和变化速度。
动态选择合适的专家，来分析每个患者所拥有的特定数据组合。

其结果是一个更加稳健且可靠的系统，能够应对现实临床环境中完美数据稀缺以及患者病史复杂的复杂情况。

技术摘要：LONGMOE

问题陈述

多模态临床学习面临两个基本且交织的挑战，而现有方法未能对其进行统一处理：

模态缺失性（Modality Missingness）： 在现实世界的临床队列中，由于异质性的采集协议和资源限制，在特定的患者就诊时，任意子集的模态（例如影像学、文本、遗传数据）往往是不可用的。
纵向动态性（Longitudinal Dynamics）： 一项观察结果的诊断意义与其演进的疾病轨迹密不可分。一个生物标志物的价值取决于它在个体衰退轨迹中所处的位置，而非其在单个静态快照中的绝对值。

现有方法将这些挑战孤立对待。缺失模态框架（如 Flex-MoE, FuseMoE）通常将每次就诊视为独立的静态快照，丢弃了时间上下文。相反，纵向模型（如基于 GRU 的方法）通常假设每次就诊时模态均完整可用，并在系统性缺失的情况下性能下降。目前尚无模型能有效处理不规则就诊间隔、任意模态组合以及群体异质性这一共同挑战。

方法论：LONGMOE 架构

作者提出了 LONGMOE（纵向混合专家模型），这是一个旨在共同解决模态缺失性和纵向动态性的统一框架。该架构通过四个顺序模块处理患者的纵向就诊序列：

1. 特定模态嵌入

每种模态 $m_l$ 由专门的编码器 $\phi_l$ 进行处理，该编码器根据其结构特性进行了定制：

MRI： 一个 3D 卷积编码器，后接 MLP 投影。
临床评分、生物标志物和遗传学： 特定模态的 MLP。
时间嵌入： 就诊时间戳被编码为学习到的嵌入，捕捉绝对时间和访视间隔。
未观测到的模态最初被设置为零向量。

2. 模态填补与标记化（Tokenization）

该模块处理缺失数据并创建统一的就诊标记（Visit Token）：

上下文感知填补：
- 前向携带（Carry-Forward）： 如果某种模态在之前的就诊中已被观测到，则复制最近一次的嵌入（其动机在于生物标志物具有很强的短期自相关性）。
- 上下文填补： 如果此前不存在观测记录，则使用一个学习网络基于当前就诊中可用的模态来生成嵌入，并使用零掩码（Zero-masking）以防止来自缺失信号的污染。
注意力标记化：
- 模态融合： 在填补后的模态嵌入上应用多头自注意力机制，以学习模态间的依赖关系。
- Viscode 编码： 一种连续时间多频率正弦位置编码，将就诊时间戳映射为固定维度的向量。该编码对于非均匀采样序列是**证明可单射（Provably Injective）**的，能够捕捉缓慢的纵向趋势和快速的变化率，而无需假设均匀的就诊间隔。
- 融合： 模态嵌入与 Viscode 编码通过元素级相加进行融合，生成就诊标记 $z_t$ 。

3. 轨迹感知纵向建模

由一叠 Transformer 编码器块处理就诊标记序列 $\{z_t\}$ 。

因果掩码（Causal Masking）： 因果注意力掩码确保了就诊 $t$ 的表示仅依赖于历史信息 $\{v_1, \dots, v_t\}$ ，从而防止未来信息的泄露。
输出： 这产生了一个上下文化的嵌入 $h_t$ ，它整合了患者完整的疾病进展轨迹，作为路由模块的丰富输入。

4. 上下文感知的稀疏 MoE 路由

最后一层采用稀疏混合专家（SMoE）架构，以处理患者特异性和模态模式：

专家架构： 该层包含 $K=8$ $K = 8$ 个专家，分为：
- 个体专家（Individual Experts）： 针对不同患者亚群的专门化子网络。
- 共享专家（Shared Experts）： 对所有输入开放，用于捕捉群体层面的共同模式并防止过度专业化。
路由： 路由网络将轨迹嵌入 $h_t$ 映射到一个得分向量。硬 Top-1 路由选择单个最相关的专家（加上始终激活的共享专家）。
聚合： 最终预测通过对所有就诊的专家输出进行注意力聚合获得，权重由路由器的置信度决定。
正则化： 负载均衡损失（Load-balancing loss）防止路由器崩溃，确保专家的均匀利用。

核心贡献

统一框架： LONGMOE 是第一个在临床多模态学习中同时处理模态缺失性和纵向时间动态性的模型。
新型架构组件：
- 一个上下文感知填补模块，利用历史数据和当前上下文。
- 一个结合了跨模态注意力和针对不规则序列的证明可单射的多频率时间编码的注意力标记化模块。
- 一个轨迹感知编码器，用于建模疾病进展。
- 一个上下文调节的 SMoE 路由层，根据观测到的模态组合和患者轨迹动态选择专家。
鲁棒性： 该框架在模态缺失或共时性模态较弱的情况下表现出鲁棒性，同时在全模态设置下仍具有竞争力。

实验结果

作者在三个数据集上评估了 LONGMOE：ADNI（阿尔茨海默病神经影像学倡议）、OASIS-3 和 MIMIC-IV。

性能： 在 ADNI 和 MIMIC-IV 的所有模态组合下，LONGMOE 均取得了最佳的 AUC-ROC。在 OASIS-3 上，它在七种组合中的四种中处于领先地位，特别是在影像学和遗传学占主导地位的设置中，其他基准模型在此类设置下会发生崩溃。
缺失模态鲁棒性：
- 在 ADNI 上，即使仅存在单一模态，LONGMOE 仍能保持高水平性能（AUC $\approx$ 0.94–0.97），而 TF 等基准模型则降至随机水平（0.50），其他模型也出现了显著退化。
- 轨迹感知编码器有效地利用纵向上下文来替代缺失的共时性模态信息，使得随着模态移除，性能退化曲线几乎保持平缓。
消融实验： 移除纵向编码器（LE）或 Viscode 编码（VE）导致了最大的性能下降，证实了它们的关键作用。研究还表明，共享专家和负载均衡机制对于应对严重的缺失情况或较小的队列至关重要。
复杂度： 由于采用了轨迹感知 Transformer，与静态基准模型（例如 Flex-MoE 的 183K 参数）相比，LONGMOE 具有更高的参数量和前向传播延迟。然而，作者指出这对于离线批处理推理是切实可行的，尽管这限制了其在床旁实时应用中的可能性。

重要性与声明

论文声称 LONGMOE 为具有纵向感知能力的多模态临床学习奠定了坚实基础。其主要意义在于弥合了处理缺失数据与建模疾病进展之间的鸿沟。通过将患者的历史视为一个连续、不规则的轨迹而非一系列独立的快照，该模型即使在当前就诊缺乏关键模态的情况下，也能提取出具有辨别力的信号。

作者明确指出，虽然该模型对于离线批处理推理和处理复杂的、不完整的临床记录非常有效，但其轨迹感知编码器增加的计算成本限制了其在床旁实时支持中的应用。此外，由于编码器需要至少一个过去的观测值才能生成有意义的嵌入，因此该模型无法利用纵向上下文来处理首次就诊的患者。