🤖 machine learning

Data-Driven Variational Basis Learning Beyond Neural Networks: A Non-Neural Framework for Adaptive Basis Discovery

本文介绍了数据驱动变分基学习（DVBL），这是一种非神经框架，通过变分优化学习可解释的、数据自适应的基函数，为神经网络提供了一种数学透明的替代方案，同时提供了关于存在性、收敛性和可识别性的严格保证。

原作者： Andrew Kiruluta

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrew Kiruluta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在向一个从未见过某幅复杂画作的人描述它。

旧方法（经典数学）： 你使用一组固定的标准形状：圆形、正方形和三角形。你可以通过说“这幅画由 30% 的圆形、20% 的正方形和 50% 的三角形组成”来描述它。问题在于，这幅画可能由旋涡状的云朵或锯齿状的闪电构成。你的固定形状无法很好地契合，因此你的描述显得笨拙，且未能捕捉图像的真实本质。

人工智能方法（神经网络）： 你雇佣了一支艺术家团队，他们通过观察成千上万幅画作来学习。他们不使用标准形状，而是发明自己独特的“笔触”，这些笔触能与画作完美匹配。然而，这些笔触隐藏在一个黑盒之中。你无法看到它们是什么，无法解释它们为何有效，也无法轻易控制它们。它们只是“知道”如何作画，但你不知道它们是如何做到的。

新方法（本文提出的"DVBL"）： 本文提出了第三种选择。与其使用固定形状或黑盒团队，不如让计算机专门为这幅画发明一套自己的形状。

以下是本文用通俗语言对“数据驱动变分基学习”（DVBL）的解释：

1. 核心理念：学习“字母表”

通常，数学使用预先制作好的函数“字母表”（如波或尖峰）来描述数据。本文提出：为什么不直接学习这个字母表本身呢？

作者创建了一个系统，让计算机观察数据，并找出描述该数据的最佳“构建块”（原子）。

类比： 想象你试图描述一片森林。与其使用通用的词典，计算机发明了一套全新的、定制的词汇，其中每个单词都完美地描述了那片森林中特定类型的树木、树叶或阴影。
结果： 你获得了一种既像人工智能一样灵活（能适应数据），又像教科书一样清晰（你能实际看到并理解它发明的“单词”或构建块）的描述。

2. 工作原理：“交替舞蹈”

本文描述了一种寻找这些完美构建块的数学过程。这就像一场两步舞：

步骤 A： 计算机猜测一组构建块，并尝试将数据拟合到这些块上。
步骤 B： 计算机观察拟合效果，意识到这些块并不完美，于是调整块的形状以更好地拟合。
重复： 它在“拟合数据”和“修正块”之间不断切换，直到找到完美的匹配。

本文从数学上证明，这场舞蹈最终会停止在一个良好的解上，且该解是唯一的（针对同一数据，你不会得到两个不同的“完美”字母表）。

3. 为构建块添加“规则”

本文的一大优势在于，你可以告诉计算机你想要什么样的块。

平滑性： “让块看起来像平滑的山丘，而不是锯齿状的尖峰。”
物理规律： “确保这些块遵循物理定律（例如水流的方式）。”
几何结构： “确保在数据中彼此接近的块看起来相似。”

这与神经网络不同，在神经网络中，很难强迫“黑盒”遵循物理或平滑性等特定规则。在这里，规则被直接写入构建块的数学公式中。

4. 重大实验：一种“非神经网络”语言模型

本文最令人惊讶的部分是第 12 节。作者问道：“我们能否在不使用神经网络的情况下构建一个语言模型（如那些生成文本的模型）？”

他们构建了一个名为**基态语言模型（BSLM）**的原型。

工作原理： 它不使用多层神经元，而是使用定制的“构建块”（基原子）来表示单词。然后，它使用简单的数学算子（如开关或旋钮）从一个词移动到下一个词。
主张： 他们承认，这个新模型在生成完美的英语方面不如当前的大型人工智能模型（Transformer）。它会犯更多错误。
优势： 然而，它透明得多。你可以查看它的“构建块”，清楚地看到它学到了什么。它使用的内存更少，且你能更好地控制它。

本文主张总结

它不是神经网络： 它不使用现代人工智能那种深层的、分层的黑盒结构。
它是显式的： 它学习的“特征”是实际可见的数学函数，你可以进行检查。
它是灵活的： 它像人工智能一样适应数据，但没有隐藏的复杂性。
它是可控的： 你可以直接强制它遵守平滑性、物理规律或几何结构。
它是中间路线： 它介于老派数学（僵硬但清晰）和现代人工智能（灵活但不透明）之间。

核心结论： 本文认为，你不需要“黑盒”就能从数据中学习。你可以构建一个系统，让它学习自己的工具，保持这些工具可见，并遵循严格的数学规则，从而为当今主导该领域的复杂神经网络提供一种清晰、可理解的替代方案。

技术摘要：超越神经网络的數據驱动变分基学习

1. 问题陈述

现代数据分析需要兼具表达力、紧凑性、可解释性，并能适应经验观测几何结构的表示方法。经典基系统（如傅里叶级数、小波、固定字典）提供了数学上的可处理性和可解释性，但通常是预先固定的，无法适应当代高维数据的统计规律、各向异性或非线性流形。相反，神经网络通过分层非线性组合从数据中学习自适应特征；然而，这种灵活性是以隐式表示、缺乏显式基结构，以及在理论分析、可解释性和领域约束（如稀疏性、对称性、守恒律）的融入方面存在困难为代价的。

本文探讨是否可以直接从数据中学习基函数以实现自适应，而无需诉诸深度神经网络参数化。其目标是建立一个框架，在保留基展开的概念清晰性和显式性质的同时，通过结构化优化从数据中推断基本身。

2. 方法论：數據驱动变分基学习 (DVBL)

所提出的框架數據驱动变分基学习 (DVBL) 将基原子视为主要优化变量，而非固定函数或神经网络中的隐藏状态。

2.1 一般公式

给定观测值 $\{x_i\}_{i=1}^N \subset \mathbb{R}^d$ ，该框架寻求基矩阵 $\Phi = [\phi_1, \dots, \phi_m] \in \mathbb{R}^{d \times m}$ 和系数向量 $\alpha_i \in \mathbb{R}^m$ ，使得 $x_i \approx \Phi \alpha_i$ 。学习问题被表述为变分优化：

$\min_{\Phi, \{ \alpha_i \}} \sum_{i=1}^N \|x_i - \Phi \alpha_i\|_2^2 + \lambda \sum_{i=1}^N R(\alpha_i) + \mu \Omega(\Phi)$

受限于 $\Phi$ 的结构约束（例如，单位范数 $\|\phi_k\|_2 = 1$ 和相干性约束）。

重建项：最小化重建误差 $\|X - \Phi A\|_F^2$ 。
系数正则化项 ( $R$ )：促进系数中的稀疏性（ $\ell_1$ ）、组结构或时间平滑性。
基正则化项 ( $\Omega$ )：强制基原子本身具有某些属性，如能量有界、平滑性（通过梯度惩罚）、正交性或物理可容许性。

2.2 优化算法

由于问题在 $(\Phi, A)$ 上具有联合非凸性，本文采用交替最小化策略：

系数更新：固定 $\Phi$ 并求解 $A$ （如果 $R$ 是凸的，这通常是一个凸问题）。
基更新：固定 $A$ 并求解 $\Phi$ （通常是一个正则化最小二乘问题）。
归一化：强制执行约束（例如，将原子归一化为单位长度）。

理论分析表明，在温和假设（下半连续性、强制性）下，该问题存在全局极小值。交替算法保证目标函数的单调下降，并且在 Kurdyka–Łojasiewicz 条件下，迭代序列收敛于临界点。

2.3 扩展

该框架被扩展以纳入：

流形正则化：添加图拉普拉斯项 $\text{Tr}(ALA^\top)$ ，以确保数据流形上邻近的点共享相似的系数编码。
动力学演化：对于时间序列数据，学习一个潜在线性演化算子 $A$ ，使得 $z_{t+1} \approx A z_t$ 。这将类似 Koopman 的线性动力学集成到基学习中，而无需循环神经网络架构。

3. 主要贡献

非神经自适应框架：本文形式化了一种严格的、非神经的表示学习替代方案，其中基函数是显式的、学习得到的优化变量，而不是分布在神经网络层中的隐式特征。
数学严谨性：它提供了极小值存在的证明，建立了交替算法的分块下降性质，并在稀疏生成假设下推导了系数恢复和基可识别性（至多相差排列和符号）的条件。
统一的变分视角：该框架将稀疏编码、流形学习和基于算子的动力学统一到一个连贯的变分公式中，允许直接在基原子上施加约束（平滑性、物理规律、对称性）。
在语言建模中的应用：本文提出了一种基态语言模型 (BSLM)，一种非神经自回归架构。在该模型中：
- 词元表示为学习得到的词元空间基中的稀疏编码。
- 上下文通过潜在状态维持，该状态通过学习的线性（或切换）算子演化。
- 下一个词元预测通过从潜在状态的显式读出执行。
- 该架构避免了堆叠的注意力层和非线性前馈网络，转而依赖变分推断和算子演化。

4. 结果与实证主张

本文提出了一个概念验证实验方案和假设的比较结果（表 2 和表 3），以说明该框架的潜在行为。本文明确指出，这些结果旨在说明验证研究中预期的类型的实证行为，而非声称具有最先进的性能。

与 Transformer 的性能对比：所提出的基态语言模型 (BSLM) 预计在原始困惑度和基准测试分数上表现不如标准的基于 Transformer 的大语言模型，特别是在规模相当的情况下。Transformer 受益于数十年的优化和大规模扩展。
权衡：BSLM 预计提供：
- 更低的内存占用：由于紧凑的状态空间公式。
- 更高的可解释性：学习得到的基原子可以检查其词汇、句法或主题结构。
- 更好的可控性：可以直接对基和算子施加显式约束。
- 稳定的训练：交替优化子问题通常是凸的或允许闭式更新。
扩展行为：本文假设 BSLM 将表现出连贯的扩展趋势（随着基维度和数据集大小的增加，困惑度降低），表明它是一个可行的语言模型家族，而非一个利基分解模型。

5. 意义与主张

本文的主要意义在于证明自适应基学习不一定需要分层神经参数化。

概念转变：它挑战了“从数据中学习”等同于“深度学习”的假设。它提出，人们可以在保留经典分析的数学透明性和显式结构的同时，学习表示系统本身（即基）。
科学机器学习：该框架特别适用于可解释性、物理约束（如守恒律）和数学控制至关重要的科学领域。它允许将领域先验直接集成到基函数中，这在黑盒神经网络中是困难的。
中间地带：这项工作在手设计的固定基（缺乏自适应能力）和深度神经网络（缺乏可解释性）之间建立了一个“中间地带”。它提供了一种数学上严谨、实践中灵活的表示学习方法，既不同于经典字典学习，也不同于深度表示学习。

本文结论认为，虽然所提出的框架可能不会立即在通用基准测试的原始预测能力上超越神经网络，但它为非神经表示学习开辟了一个独特的研究方向，在可解释性、稳定性以及科学先验的集成方面提供了独特的优势。