Streaming Operator Inference for Model Reduction of Large-Scale Dynamical Systems

本文提出了流式算子推理（Streaming Operator Inference），这是一种非侵入式模型降阶框架，它利用增量奇异值分解（SVD）和递归最小二乘法从序列数据流中学习准确的降阶模型，从而克服了传统批量方法的内存限制，并实现了大规模动力系统的在线自适应。

要点

想象一下，你正试图教会一台计算机如何预测一个复杂系统（例如旋转的风暴或流动的河流）未来的行为。通常情况下，为了做到这一点，你需要海量的数据。把这些数据想象成一座图书馆，里面存放着数百万本书，每一本书都是系统在特定时刻的一个“快照”。

旧方法：“全量式”图书馆
传统方法（称为“批量算子发现”，Batch OpInf）试图通过一次性将整个图书馆加载到计算机内存中来学习这个系统。然后，它们同时阅读每一本书，以寻找支配系统行为的规则（即“算子”）。

• 问题所在： 对于巨大的系统，比如全球天气模型或湍流发动机，这个图书馆实在太大了。这就像试图把整个国家档案馆塞进一个背包里。计算机要么会耗尽内存，要么需要花费极长的时间来收集所有的书，导致你无法进行实时预测。此外，如果有一本新书在学习过程中送达，你必须停止工作，重新整理所有书籍，然后从头开始。

新方法：“流式”导师
这篇论文介绍了一种名为 Streaming OpInf（流式算子发现） 的新方法。它不再试图持有整个图书馆，而是像一位聪明的导师一样，随着书籍一本接一本地到来而进行学习。

它是这样工作的，主要运用了两个技巧：

1. “素描画家”（增量奇异值分解，Incremental SVD）
想象一下，你正在观察一群动作迅捷的舞团。与其试图记住每位舞者在每一秒的精确位置（这数据量太大了），你只记住主要的动作模式。

• 技巧： 当每一位新舞者（数据快照）走上舞台时，该方法会迅速更新它对主要动作的心理“素描”。它并不存储整个舞团，而只是保留一份关于最重要动作的精简、高效的摘要。这被称为 Incremental SVD。它就像是将一段 4K 视频压缩成一个既小巧又高质量的 GIF 动图，依然能捕捉到舞蹈的精髓。

2. “现场教练”（递推最小二乘法，Recursive Least Squares）
既然导师已经有了舞蹈的素描，他接下来需要弄清楚规则：“当领舞向左旋转时，群体向右跟随。”

• 技巧： 该方法不需要等到表演结束才去总结规则，而是在每位新舞者登场时，立即更新其理解。这被称为 Recursive Least Squares。它随着每一件新信息的加入而微调规则，在无需回顾旧数据的条件下不断完善预测。

为什么这很重要（实验结果）
作者在三种不同的“舞蹈”上测试了该方法：

1. 简单的流体流动（Burgers 方程）： 一个基础测试，用以验证数学逻辑是否成立。
2. 混沌火焰（Kuramoto-Sivashinsky 方程）： 一个混乱且不可预测的系统，其中微小的变化会导致巨大的差异。
3. 大规模湍流通道流： 一个真实的模拟场景，表现空气或水在管道中的流动，涉及近 1000 万个变量。这是一个会让传统计算机崩溃的“重量级选手”。

重大突破：

• 内存节省： 通过不存储整个图书馆，新方法在处理较小问题时节省了 超过 99% 的内存，并且在处理那个巨大的问题时依然节省了大量空间。这就像是把那座国家档案馆装进了一本笔记本里。
• 速度： 因为计算机不必等待加载所有内容，它可以更快地做出预测（实现数量级的加速）。
• 准确性： 尽管它在利用更少内存的情况下进行即时学习，但其对系统行为的预测精度与旧的、沉重的笨重方法一样准确。
• 实时潜力： 由于它能随着数据的到来进行学习，它可以立即适应新信息，这使其非常适合需要实时更新的“数字孪生”（即真实系统的虚拟副本）。

总结
这篇论文提出了一种方法，旨在教会计算机理解复杂的运动系统，而无需依赖拥有无限内存的超级计算机。通过增量学习——即随着数据流的涌入不断更新它们的“素描”和“规则”——它们可以处理以往无法解决的海量现实世界问题，同时仅使用极小部分的存储空间。

技术摘要

技术摘要：用于大规模动力系统模型降阶的流式算子推断

问题陈述
基于投影的模型降阶，特别是算子推断（Operator Inference, OpInf），通过从高维数据中学习低维代理模型，在无需访问底层控制方程的情况下实现复杂动力系统的有效模拟（非侵入式）。传统的 OpInf 是一种批处理学习方法，需要同时将所有数据快照加载到内存中，以进行基函数构建的奇异值分解（SVD）和算子推断的线性最小二乘法（LS）。这种方法在处理大规模应用（如气候建模、流体力学、数字孪生）时面临两个关键障碍：

1. 内存限制： 高分辨率模拟会产生太字节（TB）甚至拍字节（PB）级的数据，这使得在内存或磁盘中同时存储所有快照变得不可行。
2. 在线自适应： 许多现实世界应用需要随着新数据的到来进行实时决策和模型更新，而批处理方法无法支持这一点，因为它们需要在完成完整数据收集后才能进行训练。

现有的并行或领域分解策略通过对数据进行空间划分来解决内存瓶颈，但在时间维度上仍属于批处理方法（需要同时访问所有时间快照）。目前缺乏能够利用时间分区来处理随数据流增量式处理数据的框架。

方法论：流式 OpInf
作者提出了 Streaming OpInf 框架，该框架将 OpInf 的两个核心组件重新表述为在顺序到达的数据流上运行。该方法使用其流式对应版本取代了批处理 SVD 和批处理 LS：

1. 流式基函数构建（增量 SVD）：
   该框架并非在完整的快照矩阵上计算 SVD，而是采用增量 SVD（iSVD）算法，随着快照的到达自适应地构建缩减基。论文评估了两种特定的算法：

   • Baker's iSVD： 一种确定性方法，通过秩-1 更新来更新 SVD 分量。它具有极小的内存开销（$O(nr)$），但随着每次更新会累积误差，尤其是在谱间隙较小时表现敏感。
   • SketchySVD： 一种随机算法，利用随机矩阵将数据压缩为低维“草图”（sketches）。它以单次遍历处理数据，并在处理完所有数据后才计算最终的 SVD。它具有更好的可扩展性，可通过调整草图大小来调节精度，但需要略多一点的内存（$O(nq)$）。

2. 流式算子学习（递归最小二乘法）：
   该框架使用递归最小二乘法（RLS）来增量更新缩减算子，以取代批处理 LS 解。

   • 标准 RLS： 通过 Sherman-Morrison 恒等式更新逆相关矩阵。它计算效率高（每次迭代为 $O(d^2)$），但由于有限精度算术中的灾难性抵消，可能会出现数值不稳定问题。
   • 逆 QR 分解 RLS (iQRRLS)： 一种数值稳定的变体，通过 Givens 旋转传播逆相关矩阵的 Cholesky 分解因子。它在保持 $O(d^2)$ 复杂度的同时确保了稳定性。

3. 算法范式：
   论文根据数据可用性和计算约束定义了四种不同的范式：

   • iSVD-Project-LS/RLS： 将状态快照和时间导数同时投影到 POD 基函数上。当具有高质量的导数数据时，这种方法是首选，因为它避免了有限差分近似误差，尽管它会增加一次额外的数据遍历。
   • iSVD-LS/RLS（重构形式）： 直接根据来自 iSVD 的截断 SVD 矩阵（奇异值和右奇异向量）来表达 LS 数据矩阵。这避免了显式的投影步骤以及相关的 $O(nKr)$计算成本，适用于极大规模的$n$ 或无法重新访问数据的情况。

主要贡献

1. 框架开发： 提出了一个流式 OpInf 框架，能够增量学习缩减模型，从而实现对超出内存限制的数据集的可扩展性，并为实时模型更新奠定了基础。
2. 算法集成与比较： 在 OpInf 框架内实现了并系统比较了最先进的流式算法（Baker's iSVD, SketchySVD, RLS, 和 iQRRLS）。作者提供了解析误差界限和数值评估，以根据谱衰减、内存约束和精度要求来指导算法组合的选择。
3. 可扩展性演示： 将 Streaming OpInf 成功应用于一个具有近 1000 万自由度的超大规模湍流通道流模拟，该问题的规模使得传统的批处理 OpInf 无法实现。

结果
数值实验在三个基准测试上进行了：

• 粘性 Burgers 方程： 证明了 Streaming OpInf 能够达到与批处理 OpInf 相当的精度。iSVD-RLS 范式在保持与侵入式 POD 相当的状态重建误差的同时，将内存需求降低了 99% 以上。
• Kuramoto-Sivashinsky 方程 (KSE)： 一个混沌系统测试案例。研究表明，Streaming OpInf 保留了本质的动力学不变性，包括 Lyapunov 指数和 Kaplan-Yorke 维数，证实了该方法捕捉混沌吸引子几何和动力学特性的能力。iQRRLS 算法在维持数值稳定性方面优于标准 RLS。
• 湍流通道流： 一个大规模 3D 模拟（$n \approx 940$ 万）。使用 SketchySVD 和 iSVD-LS，该方法实现了超过 31,000 倍的状态维度降阶。学习到的缩减算子准确捕捉了湍流结构、摩擦速度和壁面法向速度剖面（对数律），涵盖了训练和测试数据。对于该特定问题，该方法比批处理 OpInf 实现了 68% 的总内存减少，从而实现了在批处理无法处理的情况下进行模型降阶。

意义与主张
论文声称 Streaming OpInf 建立了一个用于大规模和在线流式设置下缩减算子学习的可扩展框架。其主要意义在于：

• 打破内存壁垒： 通过消除存储完整数据集的需求，它使得模型降阶能够应用于数据规模超出批处理处理能力的场景。
• 实现实时自适应： 该方法的递归特性允许在线模型更新和预测，满足了数字孪生和系统监控的需求。
• 保持精度： 尽管受到流式约束，该方法仍能达到与批处理 OpInf 相当的精度，在基准测试案例中内存节省超过 99%。

作者指出了局限性，特别是对于具有缓慢谱衰减的高平流占主导地位的流动，缩减秩可能仍不足以解析所有尺度，且正则化的选择至关重要。他们建议未来的工作可以探索非线性流形方法以及不确定性量化的集成，但当前的工作重点在于建立线性多项式算子推断在流式上下文中的框架。