🤖 machine learning

Classification of integers based on residue classes via modern deep learning algorithms

本文表明，尽管通过素数余数对整数进行分类看似简单，但深度学习模型、AutoML平台以及大语言模型在缺乏适当特征工程的情况下均会失败，而一种利用傅里叶级数基向量进行线性回归的方法却能取得成功，这凸显了特征工程在现代机器学习中持续具有至关重要的意义。

原作者： Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Da Wu, Jingye Yang, Mian Umair Ahsan, Kai Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

数字的魔力与机器的极限

想象一下你正在玩一个游戏，你需要对一大堆带编号的石头进行分类。有些石头是“偶数”（可以分成两堆相等的石头），而有些是“奇数”（会剩下一块）。对于人类来说，这轻而易举；我们只需要看最后一位数字。如果是 2、4、6、8 或 0，我们就知道它是偶数。但如果游戏变得更复杂呢？如果你需要根据这些石头是否能被 3、7 或其他质数整除来进行分类呢？人类有很多特殊的窍门，比如把一个数字的所有位数相加，看看总和是否能被 3 整除。这有点像我们在小学学到的秘密代码。

现在，想象一下把这个石头分类游戏交给一个超级聪明的机器人。你可能会想：“如果机器人聪明到能写诗或驾驶汽车，它应该也能根据数字规则来分类石头，对吧？”这就是科学家们在**机器学习（Machine Learning）*领域提出的重大问题。机器学习就像是通过向计算机展示数百万个例子来教它学习，而不是给它一本规则手册。计算机通过观察模式来自行寻找规律。还有一些“自动机器学习（AutoML）”工具，它们就像神奇的盒子，能自动为任务挑选最合适的机器人大脑；此外还有“大语言模型（LLLLMs）”，这些计算机在几乎全世界的文本上进行了训练，使它们看起来无所不知。但问题在于：仅仅因为一台计算机规模庞大且聪明，并不意味着它理解数字的逻辑*方式像我们一样。它可能只是在背诵答案或进行猜测。

伟大的数字分类实验

在这项研究中，来自宾夕法尼亚大学和费城儿童医院的一个研究小组决定对这些高科技机器人进行测试。他们想看看现代深度学习算法、自动化工具，甚至是世界上最著名的聊天机器人，是否能在没有被明确告知规则的情况下，弄清楚如何将数字除以较小的质数（如 2、3 和 7）的规则。

设置：给机器人一种新语言
研究人员首先向不同类型的“计算机大脑”输入数字。但这里有一个转折：他们尝试以不同的“语言”或格式输入数字。

原始数字： 仅提供数字本身（例如 123）。
二进制： 计算机的原生语言，即 0 和 1（就像电灯开关的开或关）。
数字列表： 将数字拆分为单个部分（1, 2, 3）。
数字之和： 将数字相加（1+2+3 = 6）。

他们在三种系统上测试了这些输入：

深度神经网络（Deep Neural Networks）： 试图模仿人类大脑的复杂数学层。
AutoML 平台： 来自大型科技公司（亚马逊、谷歌、微软）的自动化系统，旨在自动寻找最佳解决方案。
大语言模型（LLMs）： 像 GPT-4、LLaMA 和 Falcon 这样著名的 AI 聊天机器人，它们理应“无所不知”。

令人震惊的结果：机器人卡住了
结果既让人惊叹，又让人尴尬。

当研究人员以原始形式（仅数字 123）给机器人输入数字时，深度学习模型和 AutoML 工具的表现非常糟糕。它们的表现就像是在闭着眼睛投掷飞镖，对于偶数/奇数的判断准确率仅为 50% 左右，而对于能否被 3 整除的判断准确率仅为 33%。那些“神奇盒子”（AutoML）完全失败了，因为它们不知道如何以一种能揭示模式的方式去观察这些数字。

然而，当研究人员使用**特征工程（Feature Engineering）**时——这只是一个高级说法，意思其实是“给机器人一个更好的提示”——机器人突然变成了天才。

当研究人员将数字转换为二进制（0 和 1）时，机器人立即以 100% 的准确率掌握了偶数/奇数的规则。事实证明，二进制中的最后一位数字就是答案。
当他们把数字之和（人类用于判断能否被 3 整除的技巧）交给机器人时，机器人也达到了 100% 的准确率。

但这里是最有趣的部分：机器人并没有“学会”这个规则。 它们之所以成功，是因为人类以另一种格式提供了答案。这项研究表明，如果没有这些精心设计的提示，即使是最强大、最复杂的神经网络也无法自行发现其中的模式。

傅里叶级数：数学捷径
研究人员还尝试了另一种完全不依赖深度学习的方法。他们使用了名为**傅里叶级数回归（Fourier series regression）**的方法。你可以把它想象成使用一种特殊的波形工具来寻找数字中的节奏。由于除以 3 或 7 会产生重复的模式（就像一段每 3 或 7 个音符循环一次的旋律），这种数学工具可以用极少的示例完美地预测答案。它快速、简单，并且在他们测试的案例（模 3 和模 7）中达到了 100% 的准确率，证明了有时简单的、传统的数学技巧比庞大复杂的 AI 效果更好。

聊天机器人：聪明却又无知
最后，团队询问了著名的聊天机器人（如 ChatGPT 和开源模型）关于规则的解释。

对于较小的数字（如 2 或 3），聊天机器人有时能给出正确答案。
但一旦研究人员询问较大的质数（如 7、11 或 23）时，聊天机器人就开始产生“幻觉”。它们持续产生错误且毫无信息量的回复，要么编造规则，要么给出错误的数学计算，或者干脆只是说“使用取模运算符”（这只是在告诉计算机去做它本该自己搞清楚的数学运算）。甚至是最新的 GPT-4，在被要求设计一个程序来解决此问题时，也未能创建一个高效的解决方案。它无法确定正确的“特征工程”或最佳算法。

核心启示

这篇论文的主要教训是：拥有超级聪明的计算机是不够的，你必须教会它如何观察问题。

研究人员发现，“特征工程”——即人类将原始数据转化为揭示隐藏模式的格式的过程——仍然是最重要的步骤。即使在拥有“AutoML”（为我们挑选模型的机器）和“LLMs”（掌握了世界上几乎所有词汇的机器）的时代，这些工具也无法神奇地自行发现数学规则。它们需要人类说：“嘿，看看这些数字，或者看看二进制，或者把它们加起来。”

如果没有这种人类的引导，世界上最先进的 AI 就像是一个背下了整本字典却不会做算术的学生。研究结论指出，虽然 AI 功能强大，但它仍然高度依赖人类的洞察力，将原始数据转化为可解的谜题。机器人跑得很快，但它们仍然需要我们来手持手电筒照亮前路。

技术摘要：基于现代深度学习算法的整数余数类分类研究

问题陈述
本研究调查了现代机器学习系统在对小素数（具体为 $p=2, 3, 7$ 以及高达 $31$）进行取模运算时，对整数进行余数类分类的能力。虽然人类可以轻松判断奇偶性（mod 2）或应用数字和规则来判定 3 的整除性，但作者认为，对于计算机而言，这项任务具有非平凡的挑战性，特别是对于那些被期望能够自主发现数学模式而非依赖人工设计规则的人工智能系统。核心问题在于：最先进的深度学习架构、自动化机器学习（AutoML）平台以及大语言模型（LLMs）能否从原始数据中有效地学习这些整除规则，还是说它们从根本上依赖于人工设计的特征。

研究方法
作者针对四个不同的方法论类别进行了全面评估，样本空间为不超过 $2^{32}-1$ 的非负整数。

深度神经网络 (DNNs)： 研究测试了人工神经网络 (ANN)、卷积神经网络 (CNN)、循环神经网络 (RNN) 和双向编码器表征 Transformer (BERT)。
- 特征工程： 特征表示的应用是该方法论的一个关键组成部分。研究系统地应用了多种输入整数的特征表示，包括：
  - 原始整数值。
  - 二进制和三进制表示。
  - N-gram 编码（One-gram、Two-gram、Three-gram 及其组合），将数字视为序列进行处理。
  - 结合了数字之和或数字之和对 $p$ 取模（特别针对 $p=3$ ）的增强型编码。
- 架构： ANN 使用了简单的两层结构（64 和 32 个神经元）。CNNs 利用了一维卷积和最大池化层。RNNs 采用了单层 LSTM 层。BERT 模型经过了序列分类的微调。
自动化机器学习 (AutoML)： 作者评估了来自 Amazon (AWS Sagemaker)、Google (Vertex AI) 和 Microsoft (Azure ML Studio) 的流水线。这些平台在处理原始数据和各种工程化特征时进行了测试，以确定它们是否能够自主选择最优模型和特征。
傅里叶级数回归： 提出了一种利用傅里叶级数基向量进行线性回归的新颖数学方法。对于给定的模数 $p$ ，输入 $x$ 被转换为正弦和余弦向量： $\sin(2\pi j x / p)$ 和 $\cos(2\pi j x / p)$ ，其中 $j=1, \dots, \lfloor p/2 \rfloor$ 。使用普通最小二乘法 (OLS) 回归来拟合标签，并将预测结果四舍五入到最近的整数。
大语言模型 (LLMs)： 本研究评估了开源模型（GPT-J-6B, LLaMA-7B, Falcon-40B）和闭源模型（ChatGPT, GPT-4 及其代码解释器）的数学推理能力。提示词的设计旨在引导模型解释整除规则或设计解决该分类问题的算法。

主要结果

对特征空间的依赖性： 所有深度学习模型的性能都高度依赖于输入的特征空间。
- Mod 2： 原始数据产生的准确率接近随机猜测（~0.5）。二进制表示实现了 1.000 的准确率。N-gram 编码将准确率提升至 ~0.8。
- Mod 3： 原始数据和简单的 N-gram 编码表现不佳。然而，通过将“数字之和”或“数字之和对 3 取模”纳入特征向量，模型能够实现高准确率（>0.9）。
- BERT 特性： BERT 在使用“One-gram + sum”编码时达到了 1.000 的准确率，但在仅使用“One-gram”时表现失败（~0.33）。作者将其归因于 BERT 的预训练嵌入空间可能捕捉到了数字和的递归性质，而其他网络则将该和视为一个巨大的、未见过的连续值。
AutoML 的局限性： 当提供原始数据时，AutoML 平台无法实现有效的分类。只有在提供显式工程化特征（例如 mod 3 的数字之和）时，它们才能成功。这些平台在处理此类任务时更倾向于使用基于树的算法而非深度学习。
傅里叶级数的成功： 所提出的使用傅里叶基向量的线性回归方法在 mod 3 和 mod 7 问题上均实现了 1.000 的准确率。值得注意的是，这是在仅使用极小数据集（200 个样本）的情况下实现的，这表明当使用正确的数学基底时，周期性余数函数可以被极少量的训练样本完美捕捉。
LLM 的失败：
- 开源 LLM（GPT-J, LLaMA, Falcon）在处理 $p \geq 7$ 的素数整除规则时，持续产生不准确且无信息的响应，对于较小的素数也经常失效。
- ChatGPT 在处理较小素数时表现有所提升，但对于 $p \geq 23$ 时会转向使用取模运算符 (%)，未能提供有意义的数学规则。
- 当要求 GPT-4 设计用于该问题的深度学习算法时，它生成的代码在语法上是正确的，但未能识别出合适的特征工程技术或选择最优算法，导致最终方案无效。

意义与结论
论文得出结论：尽管 AutoML 和大语言模型的推理能力取得了长足进步，但特征工程仍然是提高模型性能和可解释性的必不可少任务。

特征工程至关重要： 本研究证明，增加模型复杂度或数据集规模无法补偿缺乏适当特征工程所带来的缺陷。如果没有领域特定的转换（如 mod 2 的二进制表示或 mod 3 的数字和），即使是复杂的模型也无法学习简单的数学模式。
当前 AI 的局限性： AutoML 无法自主发现这些特征，以及 LLM 无法阐述或设计此类问题的算法，这表明当前的 AI 系统在从训练数据中自主辨识基本数学模式方面仍缺乏系统性的方法。
数学可解释性： 傅里叶级数回归法为周期性分类问题提供了一种高效、可解释且数据效率极高的替代方案，能以极少的训练数据实现完美准确度。

总而言之，作者认为，在 AutoML 和 LLM 的时代，通过特征工程应用的领域知识仍然是解决结构化数学问题的核心驱动力；在没有进行仔细数据准备的情况下，仅仅依赖这些模型来处理此类任务是具有风险且往往是无效的。

数字的魔力与机器的极限

伟大的数字分类实验

核心启示

类似论文