🤖 machine learning

Learning Orthonormal Bases for Function Spaces

本文提出了一种基于神经网络的框架，该框架通过将正交基建模为由有限秩斜自伴生成元驱动的正交李流形上的连续路径，从而对无限维函数空间中的正交基进行参数化与优化，该方法已被证明具有普适性，并被证实能有效将傅里叶等固定基自适应地调整至特定数据集和物理结构。

原作者： Hamidreza Kamkari, Mohammad Sina Nabizadeh, Justin Solomon

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hamidreza Kamkari, Mohammad Sina Nabizadeh, Justin Solomon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试描述一首复杂的乐曲或一幅细致的画作。要做到这一点，你通常会将它们分解为基本的构建模块。在数学和计算机科学中，这些构建模块被称为基。

将标准基（如本文使用的傅里叶基）想象为一套标准乐高积木。它们完美、统一，且具有一组固定的形状（例如正弦波）。你可以用它们搭建几乎任何东西，但如果你想要搭建一个非常具体、奇特的形状，可能需要成千上万块积木，而且结果可能会显得有些“块状”或低效。

本文提出了一种思考这些构建模块的新方法。作者建议不要使用固定的、预制好的乐高积木，而是3D 打印出专为你要构建的特定物体完美成型的定制积木。

以下是他们如何实现这一点的简单概念分解：

1. 问题：固定积木与定制形状

在许多领域（如人脸分析、流体模拟或信号处理），我们使用这些标准的“乐高积木”（基）来表示数据。

问题所在：标准积木适用于通用场景，但它们并未针对特定任务进行优化。如果你试图描述一张人脸，标准积木可能需要数百块才能捕捉到鼻子的曲线，而一块定制的“鼻子形状”积木则只需一块即可。
目标：作者希望为特定数据集找到完美的积木组合，但他们需要确保这些新积木仍具备旧积木的良好数学性质（例如能够轻松相加而不破坏数学结构）。

2. 解决方案：“李流形”滑梯

作者意识到，你不能随意发明新的积木；否则数学结构就会崩溃。相反，他们将所有可能的“完美积木组合”的空间视为一个巨大的、平滑的滑梯（数学上称为“李流形”）。

类比：想象你从滑梯顶端出发，带着你那些标准、枯燥的乐高积木。你的目标是滑到某个位置，那里的积木已经变形为你特定数据（如人脸或流体波）的完美形状。
技巧：你不能直接从滑梯上跳下来。你必须沿着一条连续的路径滑下。本文使用一种名为常微分方程（ODE）的数学工具来描述这条路径。将 ODE 想象成滑梯的轨道。当你沿着轨道移动时，积木会从标准形状缓慢、平滑地转变为定制形状。

3. 秘密武器：“秩 -2"生成器

这是最令人惊讶的部分。为了控制这个滑梯并变形积木，你可能认为需要一台庞大复杂的机器。

主张：作者证明你不需要一台巨大的机器。你只需要一个微小、简单的引擎（数学上称为“秩 -2 生成器”）来控制整个变换过程。
隐喻：想象你想旋转一个巨大沉重的地球仪。你可能认为需要一台巨大的起重机。但作者表明，如果你按照特定模式，在一段时间内用微小的特定力推动地球仪，你就可以将其旋转到任意角度。尽管引擎很小，但它持续推动的时间使其能够实现巨大而复杂的改变。
神经网络：他们使用神经网络（一种人工智能）来充当这个微小引擎。AI 学习如何精确地推动“积木”，以便在滑梯结束时，它们被塑造成完美适配数据的形状。

4. 为何重要：“无离散化”

大多数计算机方法将平滑的事物（如曲线或流体）转化为像素或点的网格来求解。这被称为“离散化”。

网格的问题：如果你放大得太近，网格会显得参差不齐。你会失去原始形状的平滑度。
本文的优势：由于他们的方法使用连续函数（数学公式）而非网格，生成的“定制积木”是平滑且无限的。你可以任意放大，形状依然完美。这就像拥有矢量图像，而不是像素化的照片。

5. 他们实际做了什么（实验）

本文不仅仅是谈论理论；他们在三个具体事物上测试了这种“定制积木”的想法：

人脸识别（CelebA 与 MNIST）：他们使用人脸和数字的数据集。与其使用标准波形来描述它们，他们学习了一组新的“特征脸”（定制积木），这些积木用比标准方法少得多的部分捕捉了人脸最重要的特征。结果是对人脸更清晰、更高效的描述。
流体动力学（Koopman 算子）：他们模拟了漩涡水流。标准方法往往会随时间推移而损失能量或变得混乱。他们的方法学习了一组“流体模式”，即使在模拟运行很长时间后，也能完美保留水的能量。
神经网络分析（NTK）：他们观察了神经网络如何学习。他们利用该方法找到了网络学习的“自然方向”，揭示了基于网格的方法所遗漏的学习过程细节。

总结

简而言之，本文介绍了一种利用 AI 将标准数学构建模块变形为完美适配特定数据的定制形状的方法。他们通过沿着一条数学路径（使用一个微小的 AI 引擎）滑动来实现这一点，该路径保证了新形状在数学上保持完美和平滑，从而避免了其他方法中常见的“像素化”误差。

技术摘要：函数空间正交基的学习

问题陈述

无限维正交基（ONB）展开是表示和计算函数空间的基础，提供了有利的线性代数性质。然而，标准的固定基（如傅里叶基、小波基）往往无法适应特定问题或数据集的结构。虽然主成分分析（PCA）或谱方法等数据驱动方法可以识别最优基，但它们通常依赖于离散化（网格或网格），从而引入近似误差并将表示限制在有限维度内。相反，基于神经网络学习连续函数的方法往往牺牲了函数空间的线性代数结构，使得在权重空间中执行加法或微分等操作变得不可预测。

本文解决的核心挑战是如何参数化并优化一个无限、连续且正交的基，使其能够适应特定任务，同时严格保持函数空间的线性结构，且不产生离散化误差。

方法论

李群表述

作者提出将正交基的空间视为无限维正交群（ $SO(\mathcal{H})$ ）的李流形上的一条路径，而非静态集合。该方法不直接优化正交算子 $Q$ ，而是将 $Q$ 建模为由时变斜自伴无穷小生成元 $K(t)$ 驱动的常微分方程（ODE）的解：

$\frac{d}{dt}Q(t) = K(t)Q(t), \quad Q(0) = I$

由于 $K(t)$ 是斜自伴的（ $K^* = -K$ ），解 $Q(t)$ 对所有 $t$ 均保持正交，从而确保生成的基始终是正交的。

有限秩生成元与普适性

一个关键的理论贡献是证明了无限维正交算子空间可以使用有限秩生成元任意精确地逼近。具体而言，作者证明了一个普适性定理（定理 1），指出希尔伯特 - 施密特正交群中的任何旋转都可以通过由秩 2 斜自伴算子控制的 ODE 流来逼近。

生成元 $K_\theta(t)$ 由神经网络参数化。对于秩为 $r$ 的生成元，其核定义为：
$K_\theta(t)[x, y] = \sum_{k=1}^r \left( u_k(t, x) v_k(t, y) - v_k(t, x) u_k(t, y) \right)$
其中 $u_k$ 和 $v_k$ 是依赖于时间 $t$ 和空间坐标的学习函数（实现为多层感知机 MLP）。这将无限维基的优化转化为训练这些有限秩神经网络的参数 $\theta$ 。

结构保持积分

为了在保持正交约束的同时数值求解 ODE，作者采用了凯莱变换（一种李群积分器）。与累积误差并违反正交性的标准求解器（如前向/后向欧拉法）不同，凯莱方法使用 $(1,1)$ -帕德近似：
$\tilde{Q}_\ell = \left(I - \frac{\Delta t}{2} \tilde{K}_\ell\right)^{-1} \left(I + \frac{\Delta t}{2} \tilde{K}_\ell\right)$
这确保了离散更新在每一步都能精确保持内积和范数。作者利用伍德伯里恒等式高效地计算逆作用，将计算复杂度降低为与求积点数 $D$ 呈线性关系，与秩 $r$ 呈立方关系（ $O(r^3 + r^2D)$ ）。

变分目标

该框架通过最小化特定的变分目标来优化基：

特征问题（PCA）： 通过对角化协方差算子，最大化随机过程的解释方差。
神经切线核（NTK）： 对角化 NTK 算子以分析训练动态。
库普曼算子： 学习一个逼近动力学系统库普曼算子的基，确保即使底层流映射不严格保持体积，也能保持能量守恒。

主要结果

本文在多个领域展示了该框架的有效性：

1D 合成 PCA： 在一组具有尖锐不连续性的信号数据集上，学习到的基优于傅里叶基和有限维 PCA。它避免了基于网格方法固有的吉布斯现象和奈奎斯特极限，使用约 100 个基元素即可实现数量级更低的重建误差。
真实数据 PCA（MNIST 和 CelebA）： 使用隐式神经表示（INRs）处理 MNIST 和 CelebA 数据，该方法学习到了连续且无离散化的“特征脸”和数字表示。与傅里叶基线相比，学习到的基用更少的元素捕获了更多的累积能量，并提供了更高的 PSNR 重建质量。
NTK 对角化： 当应用于双月分类器时，该方法解析了决策边界附近精细的空间细节，而基于网格的特征求解器由于分辨率固定而错过了这些细节。
库普曼算子学习： 在流体动力学（泰勒 - 格林涡）中，学习到的基生成的未来状态快照严格保持能量（希尔伯特范数），而标准数值求解器（RK 方法）在长轨迹上无法保持能量。

意义与主张

本文声称提供了一个学习连续正交基的原则性框架，弥合了神经网络的适应性与线性代数的结构保证之间的差距。

理论保证： 普适性定理确保了即使是低秩（秩 2）生成元也足以逼近任何目标正交基，为参数化提供了坚实的理论基础。
无离散化： 与需要网格的谱方法不同，该方法直接在函数空间中操作，允许在定义域内的任意点进行求值、微分和积分。
结构保持： 通过将基建模为正交李流形上的一条路径，该方法保证了精确的正交性和能量守恒，这些属性在标准神经近似中往往会丢失。
通用性： 该框架被证明适用于多种任务，从统计降维（PCA）到分析神经网络训练动态（NTK），再到模拟物理系统（库普曼算子）。

作者承认，通过 ODE 轨迹进行优化在计算上具有挑战性，且达到理论极限可能需要较长的积分视界。然而，他们提出，这种方法为涉及函数空间的复杂系统建模提供了一个强大的新视角，特别是在保持线性结构和连续性至关重要的情况下。