🤖 machine learning

Faithful Embeddings of Irregular and Asynchronous Data for Online Log-NCDEs

本文提出了一种针对对数神经控制微分方程的连续且单射的嵌入方法，该方法直接从数据增量构建对数签名而无需插值，从而实现了对不规则及异步时间序列数据的准确、高效且鲁棒的在线建模。

原作者： Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

核心难题：试图填补空白

想象你正在试图理解一个故事，但你手中的书页是破损的、缺失的，并且随机到达。有时你会得到一整页；其他时候，你只得到一句话。

大多数计算机模型（例如驱动 AI 聊天机器人或预测股票价格的模型）都是为阅读那些页面按完美顺序、一个接一个且毫无间断到达的故事而构建的。为了让杂乱无章、不规则的数据适应这些模型，科学家们通常试图“填补空白”。他们会猜测在现有页面之间发生了什么。

插值（Interpolation）： 在两个点之间画一条平滑的线。
填补（Imputation）： 根据周围的数据猜测缺失的数值。

论文的批评： 作者认为这种“猜测”是危险的。如果你在两个数据点之间画一条平滑的线，你可能会编造一个从未发生过的故事。你正在向计算机提供虚假信息，这可能导致糟糕的决策。

解决方案：“忠实”的信使

作者提出了一种将数据发送给计算机的新方法，而不是猜测空白处发生了什么。他们称之为“忠实嵌入（Faithful Embedding）”。

这就像是一个信使服务，只如实报告它看到的内容，不多不少。

旧方法（插值）： 信使说：“我在 1:00 看到了你，在 2:00 又看到了你，所以我假设你在这两者之间沿直线行走。”（这可能是错的；也许你跑了、停了，或者去了商店）。
新方法（忠实）： 信使说：“我在 1:00 看到了你。然后，在 2:00，我又看到了你。这是那两次之间你位置的差异。”

计算机不需要知道你在其间如何移动；它只需要知道起点、终点和变化。这使数据保持对现实的“忠实”。

工作原理："Log-Signature"配方

这篇论文介绍了一种特定的数学工具，称为Log-NCDE（神经控制微分方程）。为了使其能够处理杂乱的数据，他们创建了一种特殊的配方，将观察结果转化为数学形式。

想象你在追踪一名徒步者在森林中的旅程，但你只在随机时间收到他们的短信。

增量（The Increment）： 系统不问“你在哪里？”，而是问“自上次短信以来，你移动了多远？”以及“朝哪个方向？”
计数（The Count）： 它还会记录：“嘿，刚收到一条消息！”这至关重要，因为如果徒步者静止不动但发送消息说“我还在这里”，这与他们根本没发送消息是不同的。系统会统计这些事件，以确保不会跟丢。
"Log-Signature"： 这是魔法酱汁。它是一种将整个旅程片段（一个区间）总结为单个紧凑“指纹”的方法。
- 系统不是查看徒步者迈出的每一步，而是查看特定时间块内的总变化。
- 它不仅捕捉距离，还捕捉曲折和转弯（例如，如果徒步者绕圈走）。这被称为捕捉“高阶信息”。

为何这是游戏规则的改变者

作者证明了两点主要内容：

无需猜测： 你不需要在数据点之间编造一条平滑的路径。如果你只是准确记录变化和时隙，一个聪明的计算机模型可以学得一样好（甚至更好），就像你猜了路径一样。
速度与效率： 由于系统将时间块总结为这些“指纹”（log-signatures），它可以更快地处理数据。
- 类比： 想象阅读一本 1000 页的书。
  - 旧方法： 你逐字逐句地阅读，甚至包括你已经知道的内容。
  - 新方法： 你将每一章总结为一句话，然后阅读这些句子。你能快得多地掌握整个故事，而且你可以在书还在被撰写时就这样做（在线计算）。

结果：更棘手的数据，更好的答案

该团队在两类挑战上测试了这种方法：

合成数据（“虚假”世界）： 他们创建了计算机模拟，其中数据不规则地到达、异步到达（不同通道在不同时间）且稀疏（大量信息缺失）。
- 结果： 他们的方法非常稳健。即使 95% 的数据缺失，他们的模型仍然运作良好。其他依赖“填补空白”的模型惨败，因为他们的猜测是错误的。
真实世界数据（“真实”世界）： 他们在用于分类心跳或蠕虫运动等事物的标准数据集上进行了测试。
- 结果： 他们的模型速度更快（在某些情况下快达 3000 倍），且更准确，特别是在数据杂乱或稀疏的情况下。

结论

这篇论文认为，当处理杂乱无章的真实世界数据时，诚实是上策。不要试图猜测空白处发生了什么。相反，如实记录你看到的内容、它变化了多少以及何时发生。通过使用特殊的数学摘要（log-signature）来打包这些诚实的数据，你可以构建出更快、更准确、更能应对现实世界混乱的 AI 模型。

技术摘要：面向在线 Log-NCDE 的不规则与异步数据忠实嵌入

问题陈述

连续时间机器学习模型，如神经受控微分方程（NCDEs）和对数 NCDEs（Log-NCDEs），为处理不规则、异步和稀疏的时间序列数据提供了一个自然的框架。然而，一个关键的设计瓶颈依然存在：如何将离散观测值嵌入到连续时间路径中，而不引入伪影。

标准方法依赖于插值或填补，在将数据输入模型之前重构连续观测路径。正如论文所示，这些方法存在显著缺陷：

填补用实践中从未观测到的数据填充缺失值。
插值可能生成超出观测数据范围的值，或在测量之间强加人为的动态。
这些重构步骤将“未观测到的行为”引入表示中，迫使模型消耗可能不现实的输入。

论文认为，忠实的连续时间表示应仅保留实际观测到的信息，将未观测行为的重构留给建模过程本身，而非嵌入过程。

方法论

1. 理论基础：忠实嵌入

作者形式化了忠实嵌入的概念。他们证明了一个通用性转移结果（引理 1）：如果数据空间 $X$ 和模型输入空间 $P$ 是豪斯多夫拓扑空间，且嵌入 $\phi: X \to P$ 是连续且单射的，那么下游模型在 $P$ 的紧子集上的通用性将转移到原始数据空间 $X$ 上。

这意味着，对于像 NCDEs 和 Log-NCDEs 这样的通用模型，嵌入无需重构路径；它只需是一个连续且单射的映射，能够保持不同数据流的可区分性。

2. 提出的嵌入：Log-NCDE 控制路径

基于 Morrill 等人 [2022] 为 NCDEs 引入的直角控制路径，作者构建了一种专门针对Log-NCDEs的忠实嵌入。与使用控制路径逐点值的标准 NCDEs 不同，Log-NCDEs 在区间对数签名上运行。

提出的嵌入操作如下：

输入表示：输入由离散观测流 $x = ((t_0, s_0, x_0), \dots, (t_n, s_n, x_n))$ 和连续观测变量 $C$ （例如时间）组成。
增量编码：不进行插值，而是将每个观测转换为李代数增量 $\Delta_i$ $Δ_{i}$ 。该增量捕获：
- 每个观测通道自上次观测以来的值变化。
- 专用“计数坐标”的增量，以区分重复值与无新观测的情况。
- 可选地，如果可用，包含高阶局部信息（例如预计算的有符号面积）。
区间组合：对于任意查询区间 $[\alpha, \beta)$ $[α, β)$ ，嵌入通过组合以下部分构建签名因子 $G_{\alpha, \beta}$ $G_{α, β}$ ：
- 连续观测变量（例如时间）在事件间隙上的签名因子。
- 该区间内发生的每个离散事件的指数因子 $E_i = \exp(\Delta_i)$ 。
对数签名提取：通过对组合签名 $G_{\alpha, \beta}$ 应用对数，获得区间对数签名 $\Phi_{\alpha, \beta}$ 。

这种构造允许通过关联扫描进行在线计算和时间并行处理，因为区间的对数签名仅依赖于该区间结束之前的观测值。

3. 模型架构：Log-SLiCE

作者在结构化线性 CDEs (SLiCEs) 中实现了这种嵌入，具体为 Log-SLiCE 变体。

区间上的隐藏状态演化由受区间对数签名驱动的 Log-ODE 更新控制。
对于线性模型，区间流具有涉及对数签名矩阵指数的闭式解。
这种结构允许使用关联扫描并行计算各区间上的隐藏状态，与顺序 ODE 求解器相比，显著降低了计算复杂度。

主要贡献

忠实嵌入形式化：论文证明了连续且单射的嵌入将通用性从模型输入空间转移回数据空间，为去除插值步骤提供了理论依据。
新颖的嵌入构建：一种针对不规则流的连续且单射的嵌入，将观测记录为张量代数因子（增量），并将它们组合成区间对数签名，无需插值。
高效的 Log-SLiCE 实现：一种利用区间对数签名公式的 Log-NCDE 时间并行算法，实现了长序列的高效训练和推理。
实证验证：全面的实验证明了其在准确性、效率以及对不规则性和稀疏性的鲁棒性。

实验结果

1. 效率与准确性（EigenWorms）

在 EigenWorms 数据集（每系列 17,984 个观测值）上，结合 Log-SLiCE (BD-SLiCE) 的 Log-ODE 方法实现了：

准确性：测试准确率为 86.1%（标准 NCDE 为 75.0%），提高了 11.1 个百分点。
速度：训练步骤时间减少了近 3,000 倍（从 26.02 秒降至 0.009 秒）。
内存：保持了与标准 NCDE 相当的 GPU 内存使用量。

2. 对不规则采样的泛化能力（合成耦合数据）

使用合成正弦系统，作者测试了跨机制的泛化能力。

在异步稀疏数据（最难的机制）上训练的模型在所有其他采样机制（同步规则、同步不规则、异步不规则）中均保持鲁棒。
在规则数据上训练的模型无法泛化到异步稀疏设置，表明它们学习了基于固定采样网格的捷径。
忠实嵌入使模型能够无论观测网格如何，都能学习底层动态。

3. 高阶信息的利用（布朗运动）

在一个由布朗运动驱动的线性系统中，其解依赖于二阶李括号项（Lévy 面积）：

利用2 级对数签名（包含面积信息）的模型比仅使用 1 级（增量）的模型实现了显著更低的均方误差 (MSE)。
该方法成功融入了预计算的高阶信息，展示了超越一阶增量的灵活性。

4. 对输入丢失的鲁棒性（UEA 基准）

在六个 UEA 多变量时间序列分类数据集上，作者模拟了严重的输入丢失（最多移除 95% 的观测值）。

采用所提出嵌入的 BD-SLiCE 保持了高性能，仅从 64.0%（无丢失）下降到 62.5%（95% 丢失）。
它在所有丢失级别上实现了最佳平均排名，优于循环基线（S5, LRU, S6, Mamba）和标准 NCDEs，特别是在严重稀疏化条件下。

意义与主张

论文主张，连续时间表示应优先保留观测数据，而非重构未观测行为。通过形式化“忠实嵌入”并证明它们保留了下游模型的通用性，作者为绕过插值提供了理论依据。

所提出的方法提供了一种忠实、在线且高效的替代方案，以取代基于插值的嵌入。它将输入采样时间与输出查询网格解耦，支持并行计算，并展示了对不规则性、异步性和数据稀疏性的卓越鲁棒性。结果表明，对于通用连续时间模型，嵌入的质量在于其忠实编码观测增量和区间的能力，而非其猜测观测之间路径的能力。