🤖 machine learning

K-Inverse-RFM: A Modified RFM that Bridges the Gap to Neural Networks for Data-Corrupted Mathematical Tasks

本文介绍了 K-Inverse-RFM，这是一种改进的递归特征机（Recursive Feature Machine），它采用了一种新颖的标签转换方法来克服在数据受损的数学任务中的性能限制，使其能够达到甚至超越前馈神经网络的水平。

原作者： Gil Pasternak

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Gil Pasternak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：学习数学的两种方式

想象你正在试图教一台计算机解决数学问题，特别是像模运算（类似于时钟，数字会循环，比如 14 点就是 2 点）这类问题。

这里有两个主要的“学生”：

神经网络（直觉派艺术家）： 这是大家都在谈论的现代、强大的 AI。它通过调整数百万个微小的内部旋钮来进行学习。它擅长发现模式，即使是在数据混乱、有噪声或不平衡的情况下。
RFM（规则遵循者）： 这是一个较新的、更简单的模型，叫做“递归特征机”（Recursive Feature Machine）。它试图模仿神经网络，但使用了一种不同的、更具数学性的方法。它就像一个试图通过观察数据的“平均斜率”来弄清楚哪些部分重要的学生。

问题所在： 在完美、干净的数学问题中，两个学生都能拿到 A+。但一旦引入现实世界的复杂性——比如噪声（教科书里的错题）、不平衡（某种类型的例子太多，另一种太少）或者奇特的编码（用秘密代码书写数字）——规则遵循者（RFM）就开始表现糟糕。而直觉派艺术家（神经网络）依然能保持出色表现。

论文作者提出了一个疑问：为什么规则遵循者在处理杂乱数据时表现如此挣扎？我们能否在不把它变成复杂的神经网络的前提下修复这个问题？

调查过程：为什么规则遵循者失败了？

作者进行了三项主要实验，以观察 RFM 在哪里崩溃了：

1. “有噪声的教科书”测试（标签噪声）

场景： 想象一本教科书，其中 30% 的答案是随机错误的。
结果： 神经网络忽略了错误答案，学习到了正确的模式。而 RFM 被噪声搞混了，性能大幅下降。
发现： 作者发现 RFM 的失败并不是因为它无法预测答案，而是因为它在面对噪声数据时，无法学习到正确的特征（即观察数据的正确方式）。这就像一个学生试图学习代数，却被书页上的涂鸦分了心。

2. “类别不平衡”测试（不平衡数据）

场景： 想象一个数据集中，90% 的例子是“苹果”，只有 10% 是“橙子”。
结果： 神经网络学会了识别两者。而 RFM 则过度痴迷于“苹果”，完全忘记了如何处理“橙子”。它对多数类群体产生了过拟合。
发现： RFM 难以将从一个类别中学到的知识分享给另一个类别。它把每个类别都视为一座孤岛。

3. “秘密代码”测试（复杂表示）

场景： 与其直接给模型数字“5”，不如给它一个类似“5 mod 3, 5 mod 5, 5 mod 7”的编码。这是存储数字的一种更高效的方式（中国剩余定理），但解码起来更难。
结果： 神经网络最终破解了代码。而 RFM 在解码信息并解决数学问题方面表现挣扎。
发现： RFM 无法自行将这种复杂的编码转化为有用的特征。

解决方案：K-Inverse-RFM

作者意识到 RFM 的主要弱点在于它处理标签（答案）以及学习特征的方式。标准的 RFM 过于僵化。

为了修复这一点，作者创建了一个新版本，称为 K-Inverse-RFM。以下是它的工作原理类比：

旧方法（标准 RFM）： 想象学生正在逐页背诵教科书。如果页面撕裂或有印刷错误，他们就会卡住。他们把每个问题都视为完全独立的。
新方法（K-Inverse-RFM）： 作者给了学生一个新的策略：“通过观察答案来推导问题。”
- 它不再仅仅观察输入（问题）并猜测输出，而是将答案反向投影到特征上。它会问：“如果我想得到这个答案，我需要什么样的特征组合？”
- 它还使用了一种“移动平均”来平滑学习过程，这样单个坏样本就不会毁掉整个课程。
- 至关重要的是，它允许模型在不同类别（如苹果和橙子）之间更有效地共享信息。

结果：奏效了吗？

是的，而且在某些情况下，它甚至比神经网络表现得更好。

面对噪声数据： K-Inverse-RFM 弥补了旧版 RFM 与神经网络之间约 64% 的差距。它对错误答案的鲁棒性大大增强。
面对不平衡数据： 它不再过度痴迷于多数类群体。它处理稀有样本的能力比旧版 RFM 强得多。
面对秘密代码（CRT）： 这是令人惊喜的赢家。在处理这种复杂的“中国剩余定理”风格编码的任务中，K-Inverse-RFM 实际上击败了神经网络。它对特征的学习非常出色，从而更快、更准确地解决了问题。

“秘密配方”发现

论文中最有趣的副产品之一是，神经网络的第一层学习实际上是最重要的部分。

作者提取了神经网络第一层所学习到的特征，并将其输入到一个简单的核函数（一种数学工具）中。这个简单的工具表现得比完整的、复杂的神经网络还要好。

类比： 这就像是拿到了一个天才学生在课堂前 10 分钟做的“草稿笔记”，然后发现这些笔记竟然比那个学生在 3 小时后反复思考、过度修饰后的“最终论文”还要出色。

总结

论文表明，规则遵循者（RFM）之所以失败，并不是因为它笨，而是因为它在数据变得杂乱时过于僵化。通过调整将答案映射回特征的方式（K-Inverse 方法），作者创造了一个模型，它具有以下特点：

对杂乱数据更聪明（应对噪声和不平衡）。
更高效（它需要更少的独特样本来进行学习）。
有时比复杂的神经网络更强大，尤其是在处理复杂的编码数据时。

论文结论指出，虽然 K-Inverse-RFM 尚未达到完美，但它显著缩小了差距，并证明了我们并不总是需要庞大、复杂的神经网络来解决困难的数学问题；有时，一个更聪明、更简单的方法反而效果最好。

技术摘要：K-Inverse-RFM

问题陈述

递归特征机（Recursive Feature Machines, RFMs）是一类利用平均梯度外积（Average Gradient Outer Product, AGOP）来学习特征的核基模型，在理论上弥合了经典核方法与前馈神经网络（FNNs）之间的鸿沟。尽管 RFMs 已被证明能够复制神经网络的动力学特性，并在干净的表格数据和特定数学任务（如模运算）上达到最先进的性能，但本论文指出，当数据受到损坏时，RFMs 与 FNNs 之间存在显著的性能差距。

具体而言，作者观察到在以下三种不同场景下，RFMs 的表现较 FNNs 大幅下降：

标签噪声（Label Noise）： 随着训练标签噪声的增加，RFMs 无法实现鲁棒的扩展，而 FNNs 则能保持高准确率。
数据不平衡（Imbalanced Data）： 当输入或输出分布发生偏斜时（例如通过重采样或系统性地排除特定数据子集），RFMs 会出现过拟合问题，而 FNNs 则保持相对稳定。
复杂表示（Complex Representations）： 当输入使用复杂的方案（如中国剩余定理，CRT）进行编码时，RFMs 难以解码其结构，表现往往逊于 FNNs。

核心假设是：虽然 FNNs 在这些噪声或复杂机制下拥有卓越的特征学习能力，但标准的 RFMs 无法学习到必要的特征结构（特别是模运算所需的块循环特征）。

方法论：K-Inverse-RFM

为了解决这些局限性，作者提出了 K-Inverse-RFM，这是对标准 RFM 框架的一种改进。该方法对标准 RFM 的训练循环（在预测器训练与基于 AGOP 的特征学习之间迭代）引入了三个主要的算法变更：

标签投影（K-Inverse）： 该方法不再求解标准的核岭回归方程，而是求解一个修改后的方程，将标签投影到核化特征空间中。具体而言，权重向量 $\alpha$ 通过以下方式求解：
$\alpha (K(X, X; M_t) + \lambda I) = K(X, X; M_t) d y$
这里， $d$ 是一个幂参数（通常设为 $-1$，因此称为 "K-Inverse"）。这种形式将标签映射到核化特征的空间，有效地将输出表示为数据的组合。这鼓励了多分类结构的共享，并允许从一个类别中学习到的特征为其他类别提供信息，从而缓解了类别不平衡和噪声问题。
移动平均 AGOP（Moving Average AGOP）： 为了解决 AGOP 矩阵中的不稳定性和巨大的梯度变化问题（特别是在高维特征空间中），特征学习步骤（ $M_{t+1}$ ）被重新表述为 $k$ 个步长窗口内 AGOP 矩阵的移动平均。该平均值通过训练损失的倒数（ $1/l_i$ ）进行加权，以减少不良更新的影响。
岭正则化（Ridge Regularization）： 将核回归重新表述为具有高岭项（ $\lambda$ ）的核岭回归，以约束更新规模并确保训练稳定性。

幂参数 $d$ 被视为超参数；虽然在标准情况下使用 $d=-1$ ，但作者指出，对于更稠密的特征空间（如 CRT 编码），使用较小或正的幂（例如 $d=0.4$ 或 $0.6$）可以提高性能和稳定性。

核心贡献

对 RFM 局限性的实证研究： 本论文对 RFMs 在何处偏离 FNNs 进行了全面分析，特别隔离了标签噪声、数据不平衡和复杂输入表示，将其作为数学任务中性能差距的主要原因。
特征学习诊断： 通过使用在 FNN 第一层特征上训练的拉普拉斯核进行的实验，作者证明了在噪声和不平衡设置下的性能差距主要是由于 RFM 无法学习鲁棒特征（即 AGOP 机制），而非预测头（核回归）的问题。
K-Inverse-RFM 算法： 引入了一种修改后的 RFM，该模型结合了标签投影和稳定的特征平均。该方法成功弥合了在损坏数据场景下 RFMs 与 FNNs 之间的性能差距。
样本效率分析： 研究表明，RFM 的性能几乎随唯一训练点的数量而非总样本量进行线性扩展。K-Inverse-RFM 表现出更优的样本效率，由于其能够跨类别共享信息，因此在每个唯一样本上能获得更高的性能增益。

结果

K-Inverse-RFM 在各种数据条件下，针对模加、模乘、模减、模除和 GCD 任务，与标准 RFMs 和 FNNs 进行了对比评估：

标签噪声： K-Inverse-RFM 弥合了标准 RFMs 与 FNNs 之间平均 64% 的性能差距。它显著优于标准 RFMs（准确率高出达 39.3%），并在高达 14% 的标签噪声下仍能与 FNNs 保持相当。
数据不平衡： 在输入权重偏斜（例如可被 3 整除的数对）的场景下，K-Inverse-RFM 的测试准确率比标准 RFMs 提升了 53%。结果表明，K-Inverse-RFM 对数据分布不平衡的敏感度较低，更多取决于唯一样本的数量。
系统性排除： K-Inverse-RFM 在所有测试的排除类型（例如排除 $>50$ 或 $<10$ 的操作数）中均优于标准 RFMs。
复杂表示 (CRT)： 在使用中国剩余定理（CRT）编码的任务中，K-I-RFM 不仅缩小了与 FNNs 的差距，而且在 6 个编码-任务对中的 5 个 中，超越了 标准 RFM 和神经网络。这表明，通过正确的特征学习机制，基于核的模型可以在特定结构化任务上超越深度网络。

重要性与主张

论文声称，K-Inverse-RFM 代表了向统一核方法的效率与神经网络的鲁棒性迈出的重要一步。通过修改 RFM 以更好地处理多分类特征学习并稳定 AGOP 更新，该模型实现了：

鲁棒性： 在标准 RFMs 失效的噪声、不平衡和复杂表示数据上，它能表现得可靠。
效率： 它保留了 RFMs 的计算效率，能够在 CPU 上进行训练，而不像深度 FNNs 那样依赖 GPU。
特定领域的优越性： 在某些结构化任务（特别是 CRT 编码的模运算）中，K-Inverse-RFM 可以超越深度神经网络，这表明“差距”并非内核方法与神经网络之间固有的，而是源于前者次优的特征学习机制。

作者谦虚地总结道，虽然 K-Inverse-RFM 显著缩小了差距，但在所有场景下并未完全消除差距。建议未来的工作探索将这些发现扩展到非数学领域（NLP、计算机视觉），并调查 Transformer 的行为，因为目前的研究局限于前馈神经网络。