⚡ electrical engineering

Information Shapes Koopman Representation

本文提出了一种信息论拉格朗日表述形式及相应的算法，通过平衡互信息与冯·诺依曼熵来克服 Koopman 表示学习中的表达能力与简洁性权衡，从而在多种动力系统中实现更稳定、更具可解释性且高性能的模型。

原作者： Xiaoyuan Cheng, Wenxuan Yuan, Yiming Yang, Yuanzhao Zhang, Sibo Cheng, Yi He, Zhuo Sun

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoyuan Cheng, Wenxuan Yuan, Yiming Yang, Yuanzhao Zhang, Sibo Cheng, Yi He, Zhuo Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图预测天气、摆动单摆的运动，或是大坝中水的流动。这些都是**动力系统（dynamical systems）**的例子——即那些随时间变化、复杂且往往杂乱无章的事物。

长期以来，科学家们一直试图将这些杂乱、非线性的运动转化为简单的、直线型的（线性的）规则。这被称为 Koopman 算子（Koopman operator） 方法。你可以把它想象成试图通过描述一段混乱的舞蹈来总结：“如果你向前迈出一步，你总会准确地落到这里。”这是一个强大的想法，因为线性数学易于求解，但现实世界很少如此简单。

这个问题在于，正如本文所指出的，当我们试图教计算机在复杂数据中寻找这些“简单规则”时，它们经常会陷入困境。它们要么过度简化（遗漏了重要细节），要么变得过于复杂且不稳定（在预测几步之后就变得毫无意义）。

以下是作者如何解决这一问题的方案，通过简单的类比进行解释：

1. 金发姑娘的困境：太简单 vs. 太复杂

作者认为，计算机的“大脑”（潜变量表示）需要找到一个完美的平衡点，就像《金发姑娘》的故事一样。

太简单： 如果计算机为了追求“干净”而过度压缩数据，它就会忘记重要的细节。这就像试图用一句话来描述一整部电影。你抓住了大意，但错过了剧情转折。在论文中，这被称为模式坍缩（mode collapse），即系统忽略了大部分可能的运动，只关注少数几种主导运动。
太复杂： 如果计算机保留每一个微小的细节，它就会变得混乱且不稳定。这就像试图通过记住树上的每一片叶子来预测风向；你会感到应接不暇，从而无法看到全局。

2. 两种成分：“互信息”与“熵”

为了解决这个问题，作者引入了两种基于信息论（研究信息量多少的数学）的“成分”：

成分 A：互信息（Mutual Information，即“胶水”）
- 作用： 它衡量“过去”与“未来”之间的连接程度。
- 类比： 想象一条链条。互信息就是链条环节的强度。如果环节很强，知道昨天链条在哪里，就能准确知道它今天会在哪里。这确保了时间相干性（temporal coherence）——系统不会忘记自己的历史。
- 风险： 如果你把环节做得太强，链条就会变得僵硬，并缩减为仅有的几个生硬的环节。你会失去弯曲和向不同方向运动的能力。
成分 B：冯·诺依曼熵（Von Neumann Entropy，即“摇晃器”）
- 作用： 它衡量信息分布得有多“开”。
- 类比： 想象一罐弹珠。如果所有的弹珠都挤在一个角落里，这个罐子就是“坍缩”的。熵就像是在摇晃这个罐子，让弹珠均匀地散开。这能防止系统陷入单一类型的运动。它确保了表达能力（expressiveness）——使系统能够处理多种不同类型的运动。
- 风险： 如果你在没有结构的情况下过度摇晃，弹珠会飞得四处都是，链条也会随之崩溃。

3. 新的配方：“信息拉格朗日量”（Information Lagrangian）

作者创造了一个新的“配方”（一个被称为拉格朗日量的数学公式），将这两个成分完美地混合在一起。

它告诉计算机：“保持过去与未来之间的连接强度（互信息），但要确保不要忘记散开你的弹珠（熵）。”
他们还加入了第三条规则：结构一致性（Structural Consistency）。这就像是确保即使真实的舞蹈在摇晃，计算机隐藏的大脑中的舞步也确实遵循着一条直线。

4. 尝试结果如何？

团队将这个新配方测试在三种截然不同的“舞蹈”上：

物理模拟： 比如预测龙卷风的混沌旋涡（Lorenz 63）或水流过大坝的过程。
视觉控制： 通过观察单摆摆动或机械臂的视频，并尝试仅凭像素预测其下一步动作。
图动力学（Graph Dynamics）： 预测绳索或软体机器人如何移动，其中各部分像网一样相互连接。

结果显示：

更长的预测时间： 其他方法在运行几秒钟后就会偏离轨道，而新方法可以长时间保持准确，就像一个不会在运行一分钟后就丢失信号的 GPS。
更好的稳定性： 当他们将计算机学习到的“隐藏地图”可视化时，其他方法看起来像一张皱巴巴的纸或一条直线。而新方法的地图看起来是一个光滑、完美的圆（对于单摆）或一个清晰的环（对于涡流），符合真实的物理特性。
鲁棒性： 即使在数据中加入“噪声”（类似于电视屏幕上的静电干扰），新方法依然有效，而其他方法则会失效。

总结

本文声称，通过将问题视为保持信息连接（互信息）与保持信息多样性（熵）之间的平衡，我们可以教会计算机为复杂的混沌系统寻找简单的线性规则。这使得预测不仅更加准确，而且在长时间内更加稳定，且无需预先了解系统的具体物理特性。

该新方法的代码已开放供任何人尝试，并且已被证明在各种物理和视觉任务中优于当前最先进的方法。

技术摘要：信息塑造 Koopman 表示

1. 问题陈述

Koopman 算子框架提供了一种强大的方法，通过将非线性动力系统的演化表示为无限维函数空间中的线性变换来进行建模。然而，实际应用需要识别或学习一个合适的有限维子空间。目前的深度学习方法（例如针对 Koopman 学习改进的变分自编码器 VAEs）通常在不稳定性、模式崩塌（mode collapse）以及不可靠的长期动力学表现方面存在困难。

核心挑战在于简洁性（实现紧凑、线性的潜在表示）与表达能力（保留足够的信息以忠实地重建和预测复杂系统轨迹）之间的张力。现有方法往往无法平衡这些相互竞争的目标，导致潜在空间要么坍缩到少数几个主导模态上（丧失预测充分性），要么无法维持时间相干性（随时间累积误差）。本文认为，这些困难源于未能显式处理 Koopman 算子信息论约束的次优表示学习。

2. 方法论

作者提出了一个基于**信息瓶颈（Information Bottleneck, IB）**原理的新颖框架，该原理专门针对 Koopman 学习的动力学背景进行了适配。该方法论通过三个阶段进行：

A. 信息论分析

论文建立了一个概率视角下的 Koopman 表示，其中潜在传播过程中的信息损失与预测误差直接相关。

误差界限： 文中证明了真实系统轨迹与 Koopman 感应轨迹之间的差异，受限于内在动力学耦合（ $I(x_{n-1}; x_n)$ ）与保留的潜在互信息（ $I(z_{n-1}; z_n)$ ）之间的差距。
信息解耦： 潜在空间中的总信息被分解为三个谱分量：
1. 时间相干信息： 与单位圆附近的 Koopman 特征值（ $|\lambda| \approx 1$ ）相关，代表稳定的、守恒的动力学。
2. 快速耗散信息： 与单位圆内的特征值（ $|\lambda| < 1$ ）相关，代表快速衰减的瞬态依赖关系。
3. 残差信息： 无谱对应关系的不可预测噪声或异常。

B. 关于表示的理论见解

作者推导了关于信息度量如何塑造潜在空间的两个关键见解：

互信息（MI）与模式崩塌： 最大化潜在互信息（ $I(z_{t-n}; z_t)$ ）可以增强时间相干性和预测相关性。然而，在有限方差的约束下，这种优化会导致“注水效应”（water-filling effect），即方差集中在少数几个主导谱模态上。这会导致模式崩塌，降低潜在空间的有效维度，并限制模型表示多样化动力学的能力。
冯·诺依曼熵（VNE）与多样性： 归一化潜在协方差矩阵的冯·诺依曼熵是有效维度的度量。惩罚低熵（或最大化熵）可以防止方差向单一方向坍缩，从而鼓励一种谱多样化的表示，以保留完整的 Koopman 模态范围。

C. 信息论拉格朗日量

为了使这些见解具有可操作性，作者提出了一个统一的拉格朗日量公式，用于平衡简洁性与表达能力。该目标函数包括：

时间相干性： 最大化不同时间步之间潜在状态之间的互信息（ $I(z_n; P_n)$ ）。
结构一致性： 通过条件似然项（等效于最小化 $I(z_t; x_t | z_{t-1})$ ）强制执行线性转换约束，确保潜在动力学遵循 Koopman 算子结构。
预测充分性： 最大化潜在协方差的冯·诺依曼熵，以维持有效维度并防止模式崩塌。
重建： 标准解码器损失，以确保潜在空间能够重建观测状态。

该公式产生了一个可处理的、与架构无关的损失函数，适用于 VAEs、自动编码器（Autoencoders）和图结构网络。

3. 核心贡献

理论框架： 本文提供了首个对 Koopman 表示学习进行信息论表征的方法，明确地将潜在互信息与误差界限以及冯·诺依曼熵与有效维度联系起来。
解决简洁性与表达能力的权衡： 它识别了通过最大化互信息导致模式崩塌的具体机制（注水分配），并提出了利用冯·诺依曼熵正则化作为保持谱多样性的解决方案。
通用算法： 提出了一种从拉格朗日量公式导出的新损失函数，该函数能同时强制执行时间相干性、结构一致性和预测充分性，而无需依赖特定领域的先验知识（如对称性或守恒律）。
实验验证： 在物理模拟（Lorenz 63、Kármán 涡流、Dam 流、ERA5 天气）、视觉输入控制（平面、单摆、倒立摆）以及图结构动力学（绳索、软体机器人）等方面进行了广泛的实验。

4. 实验结果

所提出的方法（称为 InformationKoopman）针对最先进的基准模型进行了评估，包括 VAEs、Koopman 自动编码器 (KAE)、Koopman 核回归 (KKR) 以及专门的模型如 Poincaré 流神经网络 (PFNN)。

物理模拟： 该方法在短期和长期预测（以 NRMSE 衡量）以及谱分布误差 (SDE) 方面均表现出卓越性能。值得注意的是，在长程预测中，它优于 KAE 和 KKR，在基准模型出现漂移的情况下仍能保持稳定性。
视觉控制： 在需要从高维图像进行控制的任务中，该方法生成的潜在流形与地面真值相位空间（例如单摆的 $S^1 \times \mathbb{R}$ 结构）高度吻合。相比之下，KAE 等基准模型坍缩为低维结构，而 E2C 则出现了几何畸变。
鲁棒性： 该方法在噪声观测和扩展预测时界（在图动力学中高达 100 步，在天气预报中高达 50 步）下表现出鲁棒性。
消融实验： 移除三个核心正则化项中的任何一个都会导致特定的失效：失去时间相干性、流形坍缩或有效维度受抑制。

5. 意义与主张

本文声称提供了一种原则性的、通用的方法来构建有限维 Koopman 表示，且不依赖于手工设计的物理先验。通过将学习问题重新构建为信息瓶颈视角，作者证明了：

潜在互信息是预测准确性的主要驱动力，但必须对其进行约束以避免崩塌。
冯·诺依曼熵是确保潜在空间保留建模丰富、多模态动力学所需复杂性的关键调节器。

作者断言，其拉格朗日量公式成功平衡了简洁性（线性动力学）与表达能力（丰富的谱内容）之间的权衡，从而在多种动力系统中实现了稳定、可解释且准确的 Koopman 表示。这项工作表明，信息论原则为引导复杂动力学环境下的表示学习提供了一个稳健的元框架。