📊 statistics

On a joint simultaneous learning of relevant feature subsets and subspaces in regression-like problems

本文介绍了熵最优流形回归（EOMR），这是一种能够同时识别非线性回归中相关特征子集与子空间的创新方法，在具有挑战性的混沌与流体动力学基准测试中，证明了其相比于最先进的人工智能和机器学习工具具有更高的准确性和显著更低的计算复杂度。

原作者： Illia Horenko

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Illia Horenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在混沌世界中寻找最简单的真理

想象一下，试图预测天气、河流的流向或股市的波动。这些都是“混沌系统”的例子——在这些复杂且混乱的环境中，微小的变化可能会导致截然不同的结果。几十年来，科学家们一直试图利用人工智能（AI）和机器学习（ML）来驯服这种混沌。目前的 AI 趋势就像是在建造摩天大楼：我们不断增加更多的层数、更多的数据和更复杂的规则，希望只要模型足够大，它最终就能发现其中的规律。这种方法通常涉及“深度学习”，即计算机通过记忆海量数据来进行猜测。

然而，这里有一个陷阱。这些庞大的 AI 模型对数据有着极高的渴求，且运行成本极其昂贵。当我们没有大量数据喂养它们，或者系统过于混沌以至于无法被记忆时，它们往往会表现挣扎。与其仅仅是记忆，如果我们可以教会计算机去寻找解释这种混沌的最简单规则，那会怎样呢？这就是“熵增 AI”（Entropic AI）这一新方法的核心问题。它表明，理解一个复杂系统的最佳方式不是构建一个更大、更复杂的模型，而是剥离掉噪声，直到只剩下本质的、简单的真理。本文探讨了一种旨在实现这一目标的全新工具：寻找最小、最高效的规则集，在不迷失于噪声的情况下预测混沌行为。

论文的故事：大海捞针

在这篇论文中，研究员 Illia Horenko 介绍了一种名为**熵优化流形回归（Entropy-Optimal Manifold Regression, EOMR）**的新方法。可以将 EOMR 想象成一位名侦探，他不仅能观察混乱犯罪现场中的每一个线索，而且能瞬间识别出哪些关键线索真正重要，并忽略其余部分。

论文解决的问题是“回归”，这只是一个术语，指的是根据过去的数据来预测未来的数值。想象你正在尝试预测一个正在进行混沌、不可预测运动的弹跳球的下一步动作。你拥有一份描述球的位置、速度、风力等信息的庞大数据点（特征）列表。大多数现代 AI 工具试图利用所有这些数据点，构建一个巨大的、复杂的连接网络。Horenko 认为，这就像是通过建造一个更大的草堆来寻找草堆里的针。

EOMR 的做法：
EOMR 的运作方式不同。它执行一种“联合同步学习”。这意味着它同时做两件事：

挑选正确的特征： 它观察数百个可用的数据点，并决定：“好吧，只有这 8 个点对预测真正重要；其他 92 个只是噪声。”
寻找正确的形状： 它找出将这些重要的少量特征与预测值联系起来的最简单的数学形状（一个“子空间”）。

论文将这位新侦探与 AI 世界的“巨头”进行了对比测试：深度神经网络、随机森林，甚至是一个非常新颖且高级的工具——基于大语言模型的 TabPFN。测试是在两个非常困难的混沌系统上进行的：

Lorenz-96 模型： 一个用于模拟大气层的数学玩具模型，以其高度的混沌性而闻名。研究人员在“强混沌”和“极强混沌”模式下对其进行了测试。
Hasegawa-Wakatani 模型： 一个核聚变反应堆（托卡马克）中等离子体湍流的模拟，其过程极其复杂且瞬息万变。

研究结果：
结果令人惊讶。在两种混沌场景下，那些庞大且复杂的 AI 模型（即“摩天大楼”）都惨败了。它们的表现甚至不如一个“持续预测器（persistent predictor）”——这是一种极其简单、偷懒的方法，仅仅假设下一个值与上一个值相同。这些大模型出现了“过拟合”，意味着它们记住了训练数据，却未能真正理解游戏规则。

相比之下，EOMR 是明显的赢家。

准确度： 在 Lorenz-96 测试中，EOMR 的预测误差（均方根误差）约为 7 × 10⁻⁶。这大约比次优工具（Lasso 回归）精确了 300 倍，比那个偷懒的“持续预测器”精确了 2,100 倍。
简洁性： 当其他模型试图学习数千或数百万个参数时，EOMR 将整个混沌系统浓缩成了一个微小且简单的规则。对于等离子体湍流的例子，EOMR 发现复杂的混沌可以用仅有的 8 个参数组成的简单线性过程来描述。
速度： 这是其魔力真正闪耀的地方。由于 EOMR 非常简单，它的速度极快。在预测等离子体模拟的下一步时，EOMR 在一台标准笔记本电脑上仅用了 2 纳秒（0.000000002 秒）。对比来看，TabPFN 模型完成同样任务需要 0.02 秒。EOMR 的预测速度比这个 AI 巨头快了五个数量级，实际上甚至比等离子体过程本身的物理时间步还要快。

论文排除了什么：
论文明确反对在混沌、小数据情况下“越大越好”的观点。它表明，对于这些特定的困难问题，庞大且耗数据的模型（如深度神经网络和基于 Transformer 的大语言模型）不仅效率低下，而且实际上无法学习底层的物理规律，它们陷入了“记忆”而非“理解”的困境。论文指出，“双下降（double-descent）”原则（即更大的模型最终会变得更好）在这里可能并不适用，或者至少不以我们期望的方式适用，因为这些模型过于复杂，无法从有限的数据中进行泛化。

我们有多确定？
作者对这些结果非常有信心，但这些结果是基于模拟和数值实验，而非现实世界的物理实验。他们使用由数学方程（Lorenz-96 和 Hasegawa-Wakatani 模型）生成的数据对模型进行了测试。他们通过交叉验证（将数据分为训练集和测试集）对这些模型进行了严格测试，以确保结果并非偶然。论文证明，在这些特定的模拟环境中，EOMR 始终优于最先进的工具，能够找到更简单、更快且更准确的模型。虽然论文并未声称已经解决了现实世界中所有的混沌系统，但它提供了强有力的证据，证明对于这类问题，一种基于熵优化的简单方法远比当前的庞大复杂 AI 体系更具优势。

简而言之，当 AI 世界的其他成员正忙于建造越来越大的图书馆来存储每一本可能的书时，Horenko 的 EOMR 则是那位意识到你只需要其中特定的一页就能读懂故事，并且能在纳秒间找到那一页的图书管理员。

技术摘要：熵最优流形回归 (EOMR)

问题陈述
本文探讨了在建模和预测非平稳及非线性回归问题中的挑战，特别是在混沌动力系统和流体动力学的背景下。研究中确定的一个主要难点是“小数据学习挑战”，即特征空间维度 ( $D$ ) 相对于可用观测统计量 ( $T$ ) 而言过大。这种情况在流体力学（由于高昂的数值模拟成本）和气候研究（由于观测历史较短）等领域十分常见。

作者指出，包括梯度提升随机森林、深度神经网络 (NN) 和基于 Transformer 的模型（如 TabPFN）在内的最先进人工智能 (AI) 和机器学习 (ML) 工具，在这些场景下表现不佳。这些方法通常存在以下问题：

过拟合： 它们倾向于记忆训练数据而非学习泛化模式，导致在测试数据上的表现很差（通常甚至不如平凡的“持续性”预测器）。
计算可扩展性： 基于 Transformer 的架构在特征维度和数据规模上呈二次方增长，这使得处理大规模现实问题时在计算上难以承受。
模型复杂度： 这些工具通常需要的可调参数数量与训练数据集的大小相当甚至更多，从而导致高内存消耗和迭代成本。

方法论：熵最优流形回归 (EOMR)
本文提出了熵最优流形回归 (EOMR)，它是先前引入的无监督熵最优流形聚类 (EOMC) 的监督扩展。EOMR 旨在联合识别回归任务中相关的特征子集和子空间。

数学公式：
该模型假设存在 $K$ $K$ 个从特征向量 $X(:, t)$ $X (:, t)$ 到标量目标 $Y(t)$ $Y (t)$ 的“局部”映射。每个映射由以下各项特征化：
- 一个正交的 $d$ 维线性流形投影算子 $T_k$ （子空间降维）。
- 一个对角权重矩阵 $W$ （子集选择），其中对角元素 $w_i$ 代表特征 $i$ 相关的概率。
- 回归系数 $\tilde{\theta}_k$ 。

预测过程被公式化为这些局部线性模型的加权期望，并由熵项进行正则化。学习目标是最小化一个受约束的优化问题 ( $L_{EOMR}$ )，该问题包含：
* 用于回归的最小二乘误差项。
* 度量项（类方差正则化）以确保流形投影的稳定性。
* 熵正则化项（用于模型概率 $\gamma$ 的 $\phi_1$ 和用于特征权重 $W$ 的 $\phi_2$ ），以强制实现稀疏性和无偏性（最大熵原理）。

数值解法：
该优化问题通过子空间迭代算法求解。问题被分解为五个步骤，通过冻结其他变量来交替更新变量：
1. 流形投影器 ( $T_k$ )： 通过在 Stiefel 流形上的黎曼梯度下降进行求解。
2. 质心向量 ( $\mu_k$ )： 作为样本加权均值进行解析求解。
3. 回归系数 ( $\tilde{\theta}_k$ )： 通过正则化正规方程进行解析求解。
4. 模型概率 ( $\gamma$ )： 基于由欧拉-拉格朗日原理导出的 Softmax 函数进行解析求解。
5. 特征权重 ( $W$ )： 使用基于快速熵近似 (FEA) 的序列投影梯度算法进行求解。
复杂度：
该算法在迭代时间和内存复杂度上相对于特征维度 $D$ 和数据规模 $T$ 呈现线性缩放（具体为 $O(KDT) $），前提是子空间维度$ d \ll D$。这与 Transformer 方法的二次方缩放形成了鲜明对比。

核心贡献

联合学习： EOMR 同时学习相关的特征子集（通过 $W$ ）和子空间（通过 $T_k$ ），在一个统一的概率框架内实现了降维与特征选择的统一。
可扩展性： 该方法提供线性计算和内存缩放，使其适用于深度学习和 Transformer 无法实现或效率低下的高维、小数据问题。
可解释性与稀疏性： 通过利用熵正则化，EOMR 生成了稀疏且熵最优的模型。它能够识别描述系统动力学所需的最小特征集和参数集。
混沌鲁棒性： 该方法旨在处理非平稳和非线性动力学，而不假设全局线性或平稳性，同时在存在时可以提取出简单、因果且弱平稳的自回归结构。

实验结果
论文在两个具有挑战性的基准测试上评估了 EOMR：

Lorenz-96 系统 (F=8 和 F=12)：
- 任务： 在强混沌和极强混沌机制下预测系统的领先本质正交函数 (EOF)。
- 对比： 将 EOMR 与 Lasso 正则化多线性回归、随机森林/XGBoost、深度神经网络以及 TabPFN v3.0 进行了比较。
- 发现： 深度学习和树模型在测试数据上的表现甚至差于平凡的“持续性”预测器，表明存在严重的过拟合。EOMR 实现了 $\approx 7 \times 10^{-6}$ 的均方根误差 (RMSE)，比竞争对手低了数个数量级。此外，与需要参数量超过数据集大小的其他模型相比，EOMR 模型显著更加稀疏（约 100 个参数）。
改进型 Hasegawa-Wakatani (mHW) 模型：
- 任务： 预测托卡马克装置边缘的漂移波湍流动力学。
- 发现： 与 Lorenz-96 的结果类似，标准 AI 工具（NN, RF/XGB, TabPFN）在测试数据上失效，表现甚至不如持续性预测器。EOMR 实现了 $\approx 4.5 \times 10^{-4}$ 的 RMSE，几乎比持续性预测器好一个数量级，且明显优于 Lasso MLR。
- 模型蒸馏： EOMR 将复杂的动力学过程简化为一个仅含 8 个可调参数的简单线性自回归移动平均 (ARMA) 模型。证明了该识别出的模型是弱平稳且因果的（特征多项式的根在单位圆外）。
- 效率： 在标准笔记本电脑上，单次 EOMR 预测仅需 $\approx 2$ 纳秒，这比正在预测的物理过程的滞后时间快 160 倍。相比之下，TabPFN 需要 $\approx 0.02$ 秒（比物理滞后慢五个数量级）。

意义与主张
论文声称 EOMR 代表了在小数据约束下对混沌和流体动力学系统进行建模的“游戏规则改变者”。其意义在于：

范式转移： 它挑战了通过增加模型容量和复杂度来追求“双下降”的趋势，转而倡导使用熵最优、稀疏且简单的模型，这些模型具有更好的泛化能力。
实用价值： 极高的计算效率（纳秒级预测）使得对快速混沌系统进行实时在线预测、优化和控制成为可能，而这对于沉重的 Transformer 模型来说目前是无法实现的。
鲁棒性： 它证明了对于特定类型的复杂系统，最好的模型并非最复杂的模型，而是能正确识别底层低维、稀疏结构的模型，从而避免了数据饥渴型 AI 的记忆陷阱。

作者总结道，对于非平稳、非线性及混沌环境下的回归任务，EOMR 为当前最先进的 AI 工具提供了一个鲁棒、可解释且计算可行的方法。

在混沌世界中寻找最简单的真理

论文的故事：大海捞针

技术摘要：熵最优流形回归 (EOMR)

类似论文