🤖 machine learning

Multi-Rate Mixture of Experts for Accelerating Liquid Neural Network Training

本文提出了一种基于液体神经网络（Liquid Neural Networks）的多速率混合专家（Multi-Rate Mixture-of-Experts）框架，该框架利用不同的时间尺度专家和自适应注意力机制来有效建模复杂的异构多元时间序列数据，与传统基准模型相比，实现了卓越的预测性能和计算效率。

原作者： Shilong Zong, Almuatazbellah Boker, Hoda Eldardiry

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shilong Zong, Almuatazbellah Boker, Hoda Eldardiry

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：从混乱的数据中预测未来

想象一下，你正在尝试预测医院里的病人何时可能发生严重的感染（败血症）。你面前有一股不断涌入的数据流：心率、体温、血压和实验室检查结果。

问题在于，这些数据非常混乱。

它们是不规则的： 传感器并不总是在完全相同的时间点发出信号。
它们是有噪声的： 有时机器会出故障，或者护士忘记记录某个数值。
它们发生的速率不同： 病人的心率可能在几秒钟内突然飙升（快），而他们的免疫系统可能会在几天内缓慢减弱（慢）。

旧的计算机模型（如 LSTM）就像一个节拍器：它们只在固定的、规则的时间间隔检查数据。它们难以理解现实生活中那种混乱、不规则且多速率的本质。

解决方案：一支由专门的“液体”专家组成的团队

作者提出了一种名为 多速率混合专家模型 (Multi-Rate Mixture of Experts, MR-MoE) 的新系统。为了理解它的工作原理，我们将它分解为三个部分：

1. “液体”基础（连续时间）

与其使用节拍器，不如想象一条流动的河流。这就是“液体神经网络”（Liquid Neural Network, LNN）。

旧方法： 每秒给河流拍一张照片。你可能会错过两张照片之间发生的任何水花。
新方法： 持续观察水的流动。该模型理解时间是一个平滑的流，而不是一系列离散的步骤。这有助于它处理那些在奇怪时间发生的、不规则的数据。

2. “混合专家模型”（这个团队）

单一的一条河流很难同时解释突发的瀑布和缓慢的深流。因此，作者构建了一个专家团队（Experts）。

快速专家： 这个专家就像一名短跑运动员。他们经过专门调优，能够注意到突然的、快速的变化（比如心率飙升）。
慢速专家： 这个专家就像一名马拉松选手。他们经过专门调优，能够注意到缓慢的、渐进的趋势（比如体温在 24 小时内缓慢升高）。
门控网络（Gatekeeper）： 想象一个位于路口的交通警察。这个“门控网络”观察当前的情况并做出决定：“现在，我们需要短跑运动员的意见，”或者“现在，我们需要马拉松选手的观点。”它将他们的答案进行混合，以获得最佳的预测。

3. “注意力”机制（聚光灯）

即使拥有一个优秀的团队，你也可能会被过多的信息淹没。作者增加了两种类型的“聚光灯”来帮助团队集中注意力：

特征注意力（过滤器）： 假设数据有 50 个不同的变量（心率、血糖、鞋码等）。有些是重要的，有些只是噪声。这个聚光灯只照向重要的变量，并调暗无关变量的光线，就像保镖把不请自来的客人赶出去一样。
时间注意力（时间旅行者）： 这个聚光灯回顾历史。它会询问：“现在的这一刻，过去哪个时刻才是真正重要的？”它忽略掉历史中无聊的部分，并聚焦于导致当前情况的关键时刻。

他们是如何测试的

团队在用于预测败血症的真实 ICU 病人数据集上测试了这个新系统。他们将这个“超级团队”与以下模型进行了对比：

老派势力 (LSTM)： 标准的、步进式的模型。
单一河流 (Monolithic LNN)： 一个连续的模型，但只有一个大脑。
标准团队 (MoE)： 一个专家团队，但他们观察时间的方式都是一样的。

测试结果

论文声称，他们的新型 带有注意力的 MR-MoE 模型赢得了比赛。

准确性： 它在预测败血症方面优于所有其他模型。它捕捉到了更多的真实病例（更高的 AUROC），并且能更好地避免误报（更高的 AUPRC）。
为什么能赢： 通过分离快速和慢速的过程，模型不会感到困惑。通过使用“聚光灯”，它忽略了噪声并专注于正确的线索。
效率： 令人惊讶的是，尽管它是一个复杂的团队，但它使用的计算机内存并没有比旧的、更简单的模型显著增加。事实上，通过简化对“快速”专家的处理方式，它非常高效。

核心结论

该论文认为，要理解复杂、混乱的时间序列数据（如患者健康状况），你不应该使用单一、僵化的模型。相反，你应该使用一支在不同速度下工作的专家团队，由一位聪明的管理者来引导，这位管理者知道何时该听取谁的意见，同时利用聚光灯来忽略噪声。这种方法带来了更智能、更准确的预测。

技术摘要：用于加速液体神经网络训练的多速率混合专家模型

问题陈述

多变量时间序列数据（特别是在临床环境中）具有复杂的时域依赖性、不规则采样以及跨越多个时间尺度的异构动态特性。传统的循环神经网络（RNN），如长短期记忆网络（LSTM），运行在离散时间上，往往难以有效捕捉连续且不规则的时间行为。虽然液体神经网络（LNN）通过由微分方程建模的连续时间动力学解决了这些局限性，但标准的 LNN 架构通常依赖于单一的动力系统。这种单体化方法限制了模型捕捉不同底层过程在不同时间尺度上演化的异构模式的能力。此外，LNN 所需的数值积分可能会产生高昂的计算成本，为大规模数据集或长预测时界带来了瓶颈。

方法论

作者提出了一个整合了液体神经网络（LNN）、混合专家模型（MoE）和注意力机制的结构化框架，以应对这些挑战。该方法论通过以下几个阶段演进：

液体神经网络 (LNNs)： 基础采用 LNN，其隐藏状态根据连续时间微分方程进行演化。时间常数 ( $\tau$ ) 控制状态演化的速率，使模型能够适应潜在的时间动力学。
混合专家模型 (MoE)： 为了增强表示能力，该框架将模型分解为多个专家 ( $K$ )，其中每个专家都是一个独立的 LNN。门控网络根据输入条件自适应地加权每个专家的贡献，允许不同的专家专注于不同的时间模式。
多速率混合专家模型 (MR-MoE)： 核心创新在于为不同的专家明确分配了不同的时间尺度。专家与不同的时间常数相关联 ( $\tau_1 \ll \tau_2 \ll \dots \ll \tau_K$ $τ_{1} ≪ τ_{2} ≪ \dots ≪ τ_{K}$ )。
- 快速专家： 使用基于奇异摄动理论的准稳态映射进行建模，以高效近似快速变化的动力学。
- 慢速专家： 使用完整的连续动力学进行建模，以捕捉缓慢演化的趋势。
- 这种分离使得模型能够显式地将快速变化的动力学与缓慢演化的时间趋势解耦，从而减少了过程间的干扰。
注意力机制： 该框架引入了两种类型的注意力机制以提高鲁棒性和可解释性：
- 特征级注意力： 识别相关的输入变量并抑制噪声或无关特征，起到软选择层的作用。
- 时间注意力： 选择性地关注具有信息量的历史隐藏状态，以改进长程依赖建模。

核心贡献

论文概述了四项主要贡献：

LNN 的 MoE 框架： 引入了一种基于 LNN 的 MoE 架构，通过允许不同专家捕捉多样化的时间模式，提高了表示能力，与单体模型相比提供了更大的灵活性和鲁棒性。
多速率架构 (MR-MoE)： 提出了一种专家运行在不同时间尺度上的架构。这种设计显式地分离了快动态和慢动态，在改善异构行为建模的同时，减少了过程干扰。
集成注意力机制： 将特征级和时间级注意力结合到 MR-MoE 框架中。这种结合增强了对噪声的鲁棒性，提高了信噪比，并强化了长程依赖建模，同时提升了预测性能和可解释性。
实证验证： 在复杂的多元时间序列预测任务（败血症预测）上验证了该框架的有效性，显示出相对于强基准模型的持续改进。

实验结果

所提出的框架在用于败血症预测的临床多元时间序列数据集上进行了评估，并与 LSTM、单体 LNN、标准 MoE（带有 LNN 专家）以及不带注意力的 MR-MoE 进行了对比。

性能指标： 模型使用受试者工作特征曲线下面积 (AUROC) 和精确率-召回率曲线下面积 (AUPRC) 进行评估。
- LSTM 基准： 实现的 AUROC 约为 0.53，AUPRC 约为 0.22。
- 单体 LNN： 提升至约 0.55 AUROC 和 0.32 AUPRC，展示了连续时间动力学的优势。
- 标准 MoE (LNN 专家)： 进一步提升至约 0.58 AUROC 和 0.36 AUPRC，突显了专家专业化的价值。
- MR-MoE (不带注意力)： 实现了约 0.61 AUROC 和 0.42 AUPRC，证实了显式多尺度建模显著有助于提升性能。
- 带注意力的 MR-MoE： 全模型达到了最高性能，AUROC 达到约 0.65–0.68，AUPRC 达到约 0.45。
效率与鲁棒性：
- 内存： 由于对快速专家采用了准稳态近似，MR-MoE 模型表现出比 LSTM 基准更好的内存效率。虽然注意力机制引入了适度的内存开销，但整体权衡仍是理想的。
- 噪声抗性： 在输入噪声水平增加的实验中，带有注意力的 MR-MoE 模型表现出比 LSTM 和单体 LNN 基准显著更慢的性能下降，这归功于将瞬态噪声与稳定趋势分离以及对无关特征的抑制。

意义与主张

论文声称，所提出的多速率-MoE 框架是唯一同时结合了连续时间动力学、专家专业化、多尺度建模和自适应注意力机制的架构。作者断言，这种集成对于建模复杂的异构时间序列数据至关重要。

该工作的意义在于其能够：

解耦时间尺度： 通过显式分离快速和慢速动力学，模型避免了单系统方法中常见的干扰。
增强鲁棒性： 多专家分解与注意力机制的结合有效地减轻了噪声、不规则临床数据的影响。
平衡性能与效率： 该框架通过奇异摄动近似和结构化分解，在保持计算效率的同时，实现了卓越的预测准确度 (AUROC 和 AUPRC)。

作者总结道，结合连续时间建模、多尺度分解和自适应注意力为未来的临床预测和复杂时间序列分析研究提供了一个有前景的方向。未来的工作确定为聚焦于解耦的多时间尺度训练策略，并将时间常数设为可学习参数，以进一步提高灵活性和可扩展性。