🤖 machine learning

Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study

本研究展示了一个大规模、课堂级分布的基准测试，涵盖了 18 个数据集和 6 个模型家族共 11,536 次训练运行，证明了虽然幂律法则能有效描述大多数具有近似共享指数的表格模型的学习曲线，但由于实现细节而非随机种子，显著的方差依然存在。

原作者： Kaihua Ding

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaihua Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何做决策，比如预测客户是否会购买某种产品，或者一笔贷款是否会被偿还。长期以来，科学家们一直痴迷于研究巨型神经网络的“缩放法则”（scaling laws）——这些像大脑一样庞大的计算机驱动着聊天机器人和图像生成器等技术。他们发现了一个神奇的规则：如果你给这些巨兽喂入更多的训练数据、更多的神经元细胞和更多的计算能力，它们的错误率就会以一种完全可预测的方式下降，就像滑梯一样顺着山坡下滑。这个规则变得如此重要，以至于许多公司仅仅为了计算需要购买多少数据，就会投入数百万美元。

但转折点在于：现实世界中的大部分场景并不是由巨型神经网络运行的。它们运行在“表格数据”（tabular data）之上。想想电子表格：每一行是一个客户，每一列是他们的年龄、收入和购买历史。这是商业活动的基石，被广泛用于保险定价、销售预测等各种领域。对于这些任务，更简单、更古老的工具（如决策树和线性模型）往往比那些花哨的巨兽表现得更好。一个关键的问题是：这些更简单的工具是否也遵循同样的“更多数据 = 更少错误”的神奇规则？如果它们遵循，这个规则是对每个人都一样，还是会根据你使用的特定电子表格而改变？直到现在，还没有人在如此大规模的层面上进行过测试，以观察当不同的人尝试运行同一个实验时，这个规则是否依然成立。

这篇论文是一场规模宏大的、教室级别的实验，旨在回答正是这个问题。作者并没有让单一的研究团队进行几次测试，而是组织了 127 名研究生机器学习课程的学生充当独立的科学家。每位学生都被赋予了一套特定的规则，并被分配了三个不同的真实世界数据集（如信用卡违约或房价数据）进行研究。他们必须在这些数据集上训练六种不同类型的“经典”机器学习模型，从极少量的数据开始，逐渐增加数据量，以观察错误率是如何变化的。他们总共运行了超过 11,000 次训练过程，创建了一个庞大的结果库，用以观察一个简单的数学公式是否能预测模型的学习效果。

研究结果非常清晰，但也带有一些重要的注意事项。首先，那个“神奇公式”（幂律）对于大多数模型来说都非常有效。作者发现，在约 78% 的实验中，该公式与数据的拟合程度非常好，能够准确预测随着数据增加，错误率会下降多少。然而，并非所有模型都是平等的。“基于树的模型”（如 Boosting 和随机森林）是其中的佼佼者，它们始终表现优异，并达到了最低的错误率。相比之下，一些模型（特别是 Lasso 回归）完全没有遵循这一规则，往往只是在猜测平均值，而忽略了数据规模的大小。

该研究还探讨了一个引人入胜的问题：对于一类模型家族而言，无论数据集如何变化，是否存在一个统一的“学习速度”？答案是“某种程度上是”。对于六种模型家族中的五种，学生们发现，一个平均的“学习速度”（指数）几乎可以像为每个数据集计算独特速度那样，准确预测模型的行为。这就像是在说，所有同品牌的汽车加速速率大致相同，即使具体的路况有所不同。然而，这并不是一个完美的普遍规律；拟合并不完全精确，而且对于像 Ridge 回归这样的模型，其“速度”非常不稳定，无法被信任。

或许最令人惊讶的发现不在于数据，而在于从事这项工作的人。尽管每位学生都得到了完全相同的指令和相同的随机种子（一个数字起点）以确保他们应该得到完全一致的结果，但他们的最终答案仍然存在细微差异。作者计算出，这种“人为实现噪声”（human implementation noise）——由人们处理缺失数值或编码文本时产生的细微且不可避免的差异所引起——导致了结果中约 14% 的偏差。这表明，当一个研究团队声称发现了某种特定的缩放法则时，由于实验设置本身的原因，存在着大约 14% 的固有“模糊性”。

最后，这篇论文为表格数据的世界提供了一份实用的地图。它证实了对于大多数商业问题，你不需要超级计算机；一个调优良好的树模型很可能会胜出。它提供了一份数据的“购物清单”，估算出对于某些常见问题，你可能只需要几百行数据就能达到很高的准确度，而另一些问题则可能需要数万行。但它也提醒我们要保持谦逊：这些规则是近似的，而非绝对的，而且你准备数据的方式可能会引入与数据本身一样多的不确定性。它提醒我们，在机器学习的世界里，即使是最简单的电子表格，也有其复杂、略显混乱但最终又是可预测的节奏。

技术摘要：经典机器学习在表格数据上的缩放法则

问题陈述
虽然经验缩放法则（测试损失随数据规模呈幂律下降）已成为设计大型神经网络的核心，但其在处理表格数据的经典机器学习中的行为在规模化研究方面仍缺乏充分表征。此前关于树模型、线性模型和核模型的学习曲线研究虽有存在，但局限于小规模（单团队、少量数据集）。目前缺乏跨复制实验的证据来确定经典模型是否遵循可预测的幂律，以及模型家族内部的指数是否存在共享性，以及由于实现差异导致的这些估计值的方差有多大。

方法论
本研究采用了一种分布式、课堂规模的复制协议，涉及 127 名研究生。

数据集： 18 个精选的表格数据集（10 个分类，8 个回归），行数从 303 到 53,940 不等，涵盖了信用风险、医疗保健和电子商务等领域。
模型： 来自 scikit-learn 的六类经典模型家族：Boosting、随机森林（Random Forest）、SVM (RBF)、线性/逻辑回归（Linear/Logistic Regression）、Ridge 和 Lasso。
协议：
- 固定超参数（不进行逐 $N$ 调优），以隔离数据规模效应。
- 每个数据集使用单一的 80/20 训练/测试划分（种子设定为 42）。
- 在训练折叠的七个嵌套子集上进行训练（比例：0.01 至 1.00）。
- 误差指标：分类任务使用 $1 - \text{AUROC}$ ；回归任务使用归一化 RMSE。
拟合： 使用非线性最小二乘法，对每个（学生, 数据集, 模型）三元组的七个数据点进行三参数加法幂律拟合： $\text{error}(N) = aN^{-b} + c$ 。
聚合： 结果通过汇总拟合（连接所有学生的数据点）和每比例均值进行聚合。通过变异系数（CV）测量指数 $b$ 的跨学生方差。

核心贡献

大规模经验基准： 本研究生成了 11,536 次训练运行和 1,648 条成功的缩放曲线，提供了观察经典机器学习缩放的首次跨复制者视角。
近似预测压缩性： 研究表明，虽然严格意义上不存在单一的“通用”指数（统计上更倾向于使用逐数据集拟合），但单一的模型家族级指数可以在损失极小的情况下预测跨数据集曲线（6 个家族中有 5 个的 $R^2$ 差距 < 0.011）。这被界定为“近似预测压缩性”，而非数据集无关的普适性。
量化实现方差： 通过固定 random_state=42，本研究隔离了由未受限协议元素（预处理、编码、缺失值处理）而非随机种子引起的方差。研究发现，各学生间指数 $b$ 的平均变异系数（CV）为 0.144。
实用数据需求表： 作者提供了达到目标误差 0.15 所需样本量（ $N^\star$ ）的汇总拟合估计值，并标记了因不可约误差底限（ $c$ ）导致目标无法达到的情况。

结果

拟合质量： 加法幂律拟合良好，77.7% 的单元格中 $R^2 > 0.8$ 。树集成模型（Boosting、随机森林）和 SVM 显示出最清晰的拟合效果。Ridge 和 Lasso 表现较差；Lasso 通常因在低数据量阶段将系数收缩至零而无法进行幂律拟合，而 Ridge 在特定情况下表现出非单调行为。
缩放指数 ( $b$ )：
- 树集成模型表现出中等指数（随机森林中位数 $\tilde{b} \approx 0.325$ ；Boosting 中位数 $\tilde{b} \approx 0.480$ ）。
- 用于分类的线性模型具有较大的指数（ $\tilde{b} \approx 0.830$ ），表明相对于其较高的初始误差，其单位数据点的误差下降更快。
- 所有良好拟合模型的指数中位数位 0.495。
不可约误差 ( $c$ )： 树集成模型实现了最低的误差底限（例如，随机森林中位数 $c \approx 0.110$ ）。线性模型虽然具有较低的底限，但这仅是因为其高 $b$ 值驱动了误差下降；从绝对值来看，在线性模型达到全量数据时，其表现通常逊于树集成模型。
全量数据下的模型排名： Boosting 在 50% 的数据集上获胜，其次是随机森林（33%）。线性模型和 SVM 处于中游，而 Ridge 和 Lasso 的获胜率为 0%。
共享指数： 在 Boosting、随机森林、SVM 和线性模型中，通过在数据集间共享单一指数 $b_{\text{model}}$ 进行联合拟合的表现，与无约束拟合几乎同样出色（LODO $R^2$ 差距 $\le 0.012$ ）。Ridge 非常脆弱（LODO CV 为 0.96），而 Lasso 则完全失效。
方差： 学生之间指数 14.4% 的 CV 强调了实现细节（而非仅仅是种子）会显著影响缩放法则的估计。方差在小 $N$ 时最高。

意义与主张
论文声称其主要贡献在于复制的规模和协议层面的可复现性视角，而非拟合经典模型幂律的新颖性。

对从业者而言： 默认调优的树集成模型在表格任务中占据主导地位，提供了缩放指数与不可约误差底限之间的最佳权衡。研究提供了具体的资料需求估计（例如，针对特定任务需要 ~200–500 行数据），并警告对于某些单元格，增加数据也无法克服较高的误差底限（ $c \ge 0.15$ ）。
对理论而言： 经典表格模型的缩放指数（ $b \approx 0.3\text{--}0.8$ ）通常大于大型神经网络的指数（ $b \approx 0.07\text{--}0.35}$ ），这表明在经典模型中，每一行数据带来的误差减少量比 Transformer 中的每个 Token 更多。然而，在表格机器学习中，不可约误差底限是主要的约束因素，而在过度参数化的语言模型中，该底限几乎可以忽略不计。
方法论洞察： 本研究将名义上符合规范的重新实现中报告的指数方差视为一个重要的研究对象。它建议，单组缩放研究应报告足够宽的置信区间，以容纳由于协议漂移导致的约 14% 的指数估计偏差。

作者明确表示，他们并不声称指数具有普适性；相反，他们证明了共享指数提供的“近似预测压缩性”在进行规划时是有效的，尽管每个数据集的异质性在统计学上仍然显著。

技术摘要：经典机器学习在表格数据上的缩放法则

类似论文