🤖 machine learning

LLMs Without Deep Neural Networks: New Architecture, Benefits and Case Study

本文介绍了一种基于径向基函数（RBF）网络的创新大语言模型架构，该架构通过单次闭式迭代实现全局优化，无需进行深度神经网络训练，与标准深度神经网络相比，提供了更高的可解释性、准确性和效率。

原作者： Vincent Granville

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Vincent Granville

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的解释，使用了简单的语言、类比和隐喻，并严格遵循作者的观点。

核心理念：一种“无需训练”的 AI

想象一下，你想制造一台能够回答关于特定公司（例如 NVIDIA）问题的机器。

旧方法（标准 AI）： 你向机器输入数十亿页的文本。然后，你花费数月时间通过展示示例并不断纠正其错误来“教导”它（这被称为训练）。这就像试图通过重复成千上万次动作来教一只狗学会新把戏，直到它终于掌握为止。
新方法（本文的模型）： 作者 Vincent Granville 声称他制造了一台完全不需要被“教导”的机器。它不是通过试错来学习，而是观察数据并瞬间得出完美答案。这就像递给那只狗一张地图和一个指南针；它不需要练习走路，因为它能瞬间计算出路线。

工作原理：“超级索引” vs. “黑盒”

标准 AI 模型通常被称为“黑盒”，因为即使是它们的创造者也不完全理解它们是如何得出答案的。它们依赖于随时间缓慢变化的复杂数学逻辑。

这个新模型是可解释的，其工作原理就像一个巨大的、智能的图书馆索引：

没有“神经元”： 它不使用标准 AI 所使用的复杂“深度神经网络”（DNN）。
径向基函数 (RBF)： 可以将其理解为一种衡量两个事物之间距离的方法。如果你提出一个问题，模型会查看其文本库，并找到与你的问题最“接近”的精确短语。
单次计算（One-Shot Calculation）： 它不是在猜测和纠正，而是通过数学保证，只要答案存在于库中，模型就能完美地找到它。它一步到位地解开了谜题。

“良性过拟合”的魔力

在标准 AI 中，“过拟合”是一件坏事。这就像一个学生死记硬背了整本教科书，但因为考试题目稍有变化就挂科了。

作者声称他的模型实现了所谓的**“良性过拟合”**。

类比： 想象一张天气图。标准模型可能会在城市之间画出平滑、模糊的线条，猜测中间的温度。而这个模型则绘制了一张精准命中它所知的每一个城市的温度的地图（完美准确度）。
转折点： 尽管它在“死记硬背”这些城市，但它在预测“乡间”温度（新数据）方面却表现得惊人地好。作者声称，即使在数据嘈杂或混乱的情况下，这种方法依然有效，起到了过滤并清理信号的作用。

案例研究：NVIDIA 测试

作者在来自 NVIDIA（一家科技公司）的真实世界数据集上进行了测试。

任务： 预测句子中的下一个词或寻找相关的商业短语。
结果： 该模型在从未见过的数据上取得了 96% 的正确率。
对比： 作者声称，在类似的专业化任务中，标准 AI 模型通常只能达到 30% 到 55% 的正确率。
效率： 标准模型可能需要数十亿个“参数”（内部设置）才能工作，而这个模型需要的参数不到一百万。这就像是用一台便携式计算器而不是超级计算机来解决特定的数学问题。

论文中提到的关键特性

确定性（可重复性）： 如果你两次询问同一个问题，你每次都会得到完全相同的答案。标准 AI 每次给出的答案往往略有不同（就像掷骰子一样）。这个模型就像一座时钟；它精确且可预测。
没有“训练”阶段： 你不需要花费数周或数月来“训练”模型。你只需喂入数据，它就可以立即投入使用。
专业化聚焦： 这并不是为了写诗或解决通用数学问题而设计的。它是为专业化小语言模型 (SLMs) 构建的。把它想象成一位专门研究某种特定疾病的专科医生，而不是对所有疾病都略知一二的全科医生。
三向调优： 因为模型对于已知数据已经是 100% 完美的，所以你无法使用标准的“测试”方法来改进它。相反，作者使用了一个特殊的“中间步骤”（优化集）来微调设置，类似于厨师在烹饪过程中品尝酱汁，而不是等到上菜后再去调整。

它“不是”什么（基于论文内容）

它不是一个可以编写代码或在互联网上闲聊的通用 AI。它专注于特定的企业文档。
它不使用“注意力机制”（标准 AI 中复杂的层级结构）来阅读长篇故事。它专注于短小的、特定的文本块（多标记/multi-tokens）以寻找正确的商业答案。
论文并未声称这项技术适用于医疗诊断、临床试验或实时图像识别；它目前的重点是在特定的商业背景下进行文本预测和数值数据处理。

总结

论文认为，我们不需要构建庞大、昂贵且难以理解的“黑盒”神经网络来完成强大的特定商业任务。通过使用一种称为径向基函数 (Radial Basis Functions) 的数学方法，我们可以构建一个更快、更便宜、对已知数据完美准确、且在预测新数据方面表现惊人的系统——而且无需经历标准 AI 那种冗长的“训练”过程。

技术摘要：无需深度神经网络的语言大模型 (LLMs)

问题陈述

本文探讨了基于深度神经网络 (DNNs) 的标准大语言模型 (LLMs) 的局限性，具体包括对“黑盒”参数的依赖、通过梯度下降进行训练的高昂计算成本，以及缺乏可解释性的问题。尽管近期的研究探索了以径向基函数 (RBF) 网络作为替代方案，但许多现有实现仍依赖于 DNN 来优化权重或需要迭代训练。作者提出，需要一种既能实现高精度又具备可解释性的架构，且无需经历“繁琐的训练步骤”（如 epoch 和梯度下降），特别是在针对专业化、特定领域应用（即小语言模型或 SLMs）而非通用互联网规模模型的情况下。

方法论

所提议的架构是一个标准的精确 RBF 插值器，其功能是闭式解 (closed-form solution)，完全消除了对 DNN 的需求。

核心数学公式

该模型通过已知训练节点 $\beta_k$ 的加权和来预测值 $f(x)$ ：
$f_{pred}(x) = \sum_{k=1}^{n} \omega_k(x) f(\beta_k) \exp[-\tau K(x, \beta_k)]$

关键技术差异包括：

闭式权重 (Closed-Form Weights)： 权重 $\omega_k(x)$ 是归一化的（总和为 1），并取决于输入 $x$ 和核函数 $K$ 。与 DNN 不同，这些权重不是通过反向传播学习得到的，而是通过数学推导得出。
精确插值 (Exact Interpolation)： 通过设置参数 $\tau \to \infty$ ，模型可以实现对训练集的精确预测（即 $f_{pred}(\beta_k) = f(\beta_k)$ ），无论其他参数如何。这基于定理 2.1，该定理证明了数值数据和文本数据的逐点收敛性。
文本核函数的适配：
- 对于数值数据，使用多元高斯核。
- 对于文本数据，核函数 $K(x, \beta_k)$ 利用文本段之间的关联度量（例如增强型 PMI）。输入 $x$ （提示词）和 $\beta_k$ （语料库）被视为多标记 (multi-tokens)（词干或缩写）序列，而非标准的向量嵌入 (vector embeddings)。
- 模型采用加权求和方式，其中参数 $\theta_j$ 为序列中的特定位置分配重要性，从而有效地实现了注意力机制。

实现特性

无训练阶段： 模型不需要迭代训练循环。它依赖于“三路”划分：一个用于精确匹配的训练集、一个用于调节超参数（如 $\tau$ 和 $\gamma$ ）的优化集，以及一个验证集。
良性过拟合 (Benign Overfitting)： 模型在训练数据上具有 100% 的准确率（按定义属于过拟合），但对未见数据具有良好的泛化能力。作者将其归功于模型充当了高通滤波器或去模糊机制，类似于二维空间插值中的克里金法 (kriging)，它比标准的平滑模型能更好地保留局部变化。
效率机制：
- 自动蒸馏 (Auto-Distillation)： 系统会识别并丢弃求和项中输入 $x$ 与节点 $\beta_k$ 永远不会接近的项，从而显著降低计算负载。
- 哈希 vs 向量： 系统不使用高维浮点嵌入，而是使用文本字符串的嵌套哈希，从而减少了内存开销。
- 确定性： 模型是完全确定且可复现的，利用自定义的 NPG 随机生成器来实现受控的随机性（温度），避免了标准伪随机数生成器 (PRNG) 的不可预测性。

核心贡献

无 DNN 架构： 本文声称是第一个实现无需 DNN 进行权重计算的 RBF 型 LLM 的实现，实现了单次迭代下的全局最优。
训练集表现精确： 通过理论证明（定理 2.1）和实证演示，证明了模型在无需迭代优化的情况下，能在训练数据上达到 100% 的准确率。
专业化 SLM 效率： 该模型旨在处理专业的企业级语料库，与通用 LLM 相比，其使用的参数量极少（在案例研究中，仅使用了约 15,000 个独特的多标记），实现了约 10,000 倍的效率提升。
可解释性： 与 DNN 不同，该模型的参数（位置和尺度）是可解释的，其预测机制是透明的，依赖于最近邻逻辑和显式的核函数。

结果

论文展示了两个主要的案例研究：

数值合成数据：
- 设置： 训练集包含 $n=10^4$ 个观测值和 $m=10^3$ 个维度，并带有显著噪声。70% 的训练数据被剔除用于测试。
- 结果： 虽然在带噪声的训练数据上 R 平方降至 50%，但在无噪声的验证集上，模型达到了 97% 的准确率，展示了在高维空间中强大的信号恢复能力。
NVIDIA 文本语料库 (LLM 任务)：
- 设置： 使用包含 $n=15,000$ 个大小为 $m=4$ 的独特多标记的 NVIDIA 文档语料库。任务包括下一标记预测和寻找相关的多标记。
- 结果：
  - 下一标记预测： 在训练集之外实现了 96% 的正确预测率，显著高于在类似专业任务中标准 Transformer 模型所处的 30–55% 区间。
  - 稀疏性： 分析显示，对于 9,000 个查询，每个查询触发的节点少于 20 个（总共 15,000 个），验证了通过自动蒸馏降低计算复杂度的潜力。
  - 相关性： 在未能预测出精确的下一个标记时，模型的备选建议在语义上也是相关的（例如，在金融背景下预测出 "2022" 而非 "2021"）。

意义与主张

本文将该架构定位为当前由 DNN 主导的范式的有效替代方案，特别适用于专注于结构化、领域特定答案而非生成式散文写作的小语言模型 (SLMs)。

效率： 作者声称该方法消除了昂贵的训练 epoch 需求，并将参数量降低了数个数量级，同时保持甚至超过了在专业领域的准确度。
可靠性： 该模型提供了确定性 AI 以及完全的可复现性，解决了标准 LLM 的随机性问题。
研究趋同： 作者指出，近期有中国研究人员独立发现了类似的 RBF 网络概念，验证了该方法的有效性，尽管作者的具体实现因其完全排除了用于权重计算的 DNN 而保持了独特性。
未来范围： 该方法论被声称可应用于图像分类、时间序列分析以及超越下一标记预测的任务，如同义词查找和查询建议。

论文总结道，通过利用精确插值和专门的语料库，可以绕过“维度灾难”以及标准 Transformer 的计算瓶颈，为商业智能和专业化 AI 应用提供一种更快、更具可解释性且高度准确的替代方案。