Can AI be Easy? Lessons Learned from the EZR.py Toolkit

本文认为，通过阅读并重构代码以创建一个极简且统一的 Python 工具包（EZR.py），可以发现简单的轻量级算法在表格软件工程优化任务中，其表现能够超越复杂的尖端工具，同时仅需显著更少的数据和计算资源。

要点

大局观：我们真的需要庞大的 AI 机器吗？

想象一下，目前的 AI 趋势就像是为了解决一个简单的任务（比如在花园里找一把丢失的钥匙）而建造一座高科技的摩天大楼。每个人都在说：“你需要一台价值十亿美元的起重机、一支 50 人的工程师团队和一台超级计算机才能找到那把钥匙。”

这篇论文的作者说：“等等。你不需要摩天大楼。你只需要一把手电筒和一张地图。”

【重要范围说明】
请务必注意： 这篇论文的研究成果仅适用于 AI 的一个特定角落：基于表格的软件工程问题（Tabular SE）。这涵盖了涉及数字表格和目标的任务，包括优化、分类、预测、回归以及少量的文本挖掘。它并不涵盖生成式 AI 任务（如 ChatGPT 或 LLM 风格的代码生成、文本创作等）。作者尚未解决这些生成式任务，将其纳入现有框架是未来的工作方向。对于这类特定的表格任务，作者认为我们把事情复杂化了。他们构建了一个名为 EZR 的微型工具包（仅有 400 行代码），它能完成那些庞大、沉重的软件库在表格领域所做的工作，但运行速度快了 500 倍，且几乎不需要数据进行学习。

工具包：瑞士军刀 vs. 仓库

大多数现代 AI 工具就像是一个装满了专业工具的仓库：用于木材的巨型锯子、用于金属的重型钻头、用于玻璃的复杂激光器。你必须买下整个仓库（安装像 pandas 和 sklearn 这样庞大的库）才能使用其中一种工具。

EZR 是一把瑞士军刀。
作者意识到，如果你仔细观察这些不同工具在处理表格数据时的工作方式，你会发现它们其实都在做一些基本相同的事情。他们剥离了华丽的外包装，发现：

• 分类（将事物分入不同组别）
• 聚类（寻找自然分组）
• 优化（寻找最佳解决方案）
• 文本挖掘（寻找相关文档）

……全都依赖于同样三个简单的构建模块：

1. Num：一个用来计数数字并计算平均值的桶。
2. Sym：一个用来计数符号（如单词或类别）的桶。
3. Data：一个存放行信息的盒子。

与其为每项表格任务都制造一个新引擎，EZR 使用这些相同的“桶”来处理一切。这就像是意识到勺子、叉子和刀其实都只是带有特定形状末端的柄；你不需要为了制造它们而建立三座不同的工厂。

六个令人惊讶的发现

论文在 120 多个真实的软件工程表格问题上测试了这个微型工具包。以下是他们的发现，使用了简单的比喻：

1. “沉重”的迷思

观点： 做 AI 需要一台庞大的计算机和巨大的库。
现实： 在表格任务中，你可以用一个微小的脚本来完成。
比喻： 这就像认为你需要一个完整的管弦乐团才能演奏一首摇篮曲。作者展示了单把小提琴（EZR）可以同样出色地演奏出同样的曲调，而不需要另外 50 名乐手（沉重的依赖项）——前提是你在处理的是表格数据。

2. “独立学科”的迷思

观点： 数据分类、数据分组和模式识别是完全不同的学科，需要不同的代码。
现实： 在表格数据的底层逻辑上，它们几乎是完全相同的。
比喻： 这就像认为开汽车、开卡车和开巴士是完全不同的技能。作者展示了只要剥离车辆的大小，方向盘和踏板都是一样的。他们写了 30 行代码就能处理所有这三种表格任务。

3. “树”的迷思

观点： 用于预测数字的决策树（类似于 AI 的流程图）与用于预测类别的决策树是完全不同的。
现实： 在表格预测中，它们是同一棵树，只是果实不同。
比喻： 想象一棵长苹果的树。如果你想要橙子，你不需要换一种树种，只需要改变树枝上的标签。作者展示了在预测数字和类别之间切换，只需修改代码中的一行。

4. “新旧之争”的迷思

观点： 更复杂的新型搜索方法（带重启的局部搜索）总是优于旧的简单方法（1983 年的模拟退火算法）。
现实： 在表格优化中，旧的方法通常一样好，甚至更好。
比喻： 想象你在寻找一个雾气弥漫的山谷中的最低点。“新”方法说：“如果你被困住了，跳回起点重新开始！”“旧”方法说：“如果你被困住了，随机向上迈出一小步，把自己抖落出来。”作者发现，“抖落出来”（1983 年的方法）的效果与“跳回起点”的方法一样好，而且不会带来不断重启的混乱。

5. “更多数据”的迷思

观点： 你需要数千个带标签的样本和数千个特征（变量）来构建一个好的模型。
现实： 在表格建模中，你只需要很少的标签和很少的特征。
比喻： 想象你要猜测比赛的获胜者。你可能认为你需要知道选手的身高、体重、鞋码、饮食、睡眠时间甚至血型（数千个特征）。作者发现，仅仅了解两三个关键信息（如“鞋码”和“睡眠”）就足以准确预测获胜者。他们还发现，仅用 50 个样本进行标注，就足以训练出一个通常需要数千个样本的表格模型。

6. “文本挖掘”的迷思

观点： 要在巨大的图书馆中寻找相关文档，你需要拥有数十亿参数的大型 AI 模型（LLM）。
现实： 在简单的文档检索（作为表格任务的一部分）中，一个简单的数学技巧效果更好。
比喻： 想象在干草堆里找一根特定的针。高科技方法使用的是一个重达数吨的巨型磁铁。作者使用的“互补贝叶斯”（Complementary Bayes）技巧（仅 30 行代码）就像一根锋利的针。它比巨型磁铁更快地找到了相关文档，错误更少，并且揭示了巨型磁铁使用方式中的一个缺陷。

“主动学习”的超能力

EZR 最酷的功能之一是主动学习（Active Learning）。

• 被动学习： 想象一个学生为了理解一个概念而阅读了 1,000 页教科书。
• 主动学习（EZR）： 想象一个学生读了 10 页，意识到自己哪里不懂，然后只针对那特定的 10 页内容向老师提问。

EZR 就像那个聪明的学生。它观察表格数据，找出哪些样本是最令人困惑或最重要的，然后只针对这些样本请求标签。这节省了大量的时间和金钱，因为人类不必再去标注成千上万个枯燥、重复的例子。

结论：读代码，不要只相信炒作

该论文的核心信息是对开发者和研究人员的行动号召：去读代码。

作者认为，我们已经停止了阅读代码，转而盲目信任“黑盒”AI 工具。通过实际阅读这些工具的代码，他们意识到许多工具其实是在以不同的方式做着同样的事情——特别是在处理表格数据时。

总结：
在买法拉利去超市购物之前，先试试走路。

• 如果能用一个微小的、简单的工具包（如 EZR）解决表格软件工程问题，你就节省了时间、金钱和精力。
• 如果简单的工具包不起作用，或者你面对的是生成式 AI 任务（如生成代码或长文本），那时你才真正需要复杂的解决方案。
• 但如果你仅仅因为“别人都在这么做”就假设你需要复杂的方案，那你可能背着一个沉重的背包，而你其实只需要一把折叠小刀。

作者总结道，在软件工程表格优化领域，少即是多，而寻找“少”的最佳途径是仔细阅读并简化我们现有的代码。至于这些发现能否扩展到生成式 AI 任务，那是未来研究需要探索的开放问题。

技术摘要

技术摘要：AI 可以变得简单吗？从 EZR.py 工具包中汲取的教训

问题陈述

近期在软件工程与人工智能领域的讨论表明，人类开发者不再需要阅读代码，认为 AI（特别是大语言模型）已成为新的编译器。与此同时，软件工程（SE）优化领域通常依赖于沉重且依赖繁多的库（例如 pandas、scikit-learn、SMAC3），并假设解决复杂问题需要增加数据量、特征数和算法复杂度。

本文挑战了表格化软件工程优化任务领域（其中行代表配置或项目，$x$ 为独立属性，$y$ 为难以获取的目标）中的两个普遍假设：

1. AI 基础设施必须是庞大且依赖繁重的。
2. 不同的算法族（分类、聚类、优化、主动学习）需要独立的、复杂的实现方式以及海量的数据集。

作者认为，通过对现有代码进行仔细的阅读与重构可以发现，许多所谓的“复杂”方法在结构上是冗余的，而轻量级、统一的工具包可以以低几个数量级的复杂度媲美甚至超越最先进（SOTA）的性能。

方法论

核心方法论是通过阅读进行代码重构。作者花费多年时间阅读、重写并重构各种 AI 工具，以识别并消除冗余。其成果是 EZR.py，一个仅 400 行 Python 代码的工具包，没有任何沉重的第三方依赖（仅依赖 Python 标准库）。

EZR 基质

EZR 构建在一个由四个类和一个更新原语组成的极简基质之上：

• Num：总结数值列（追踪均值、二阶矩、标准差以及用于目标方向的“天堂”值）。
• Sym：总结符号列（追踪频率计数）。
• Cols：一个根据命名约定（例如用 "!" 表示类别，"+" 表示最大化，"-" 表示最小化）解析 CSV 表头并实例化 Num 或 Sym 对象的工厂。
• Data：持有行数据及其相关的列摘要。
• add：一个多态更新原语。它使用 Welford 算法增量更新 Num 统计信息，并更新 Sym 频率计数。至关重要的是，它支持加法和减法（$w=1$ 或 $w=-1$），允许在常数时间内在不同数据集之间移动行，而无需重新训练。

算法实现

利用该基质，作者实现了六种不同的 AI 能力，证明了它们共享相同的底层机制：

1. 分类与聚类 (70 行)： 实现了朴素贝叶斯、k-means 和 k-means++。该基质消除了“拟合”与“使用”之间的区别；Data 对象本身就是一个已拟合的模型。
2. 决策树 (43 行)： 统一的分类与回归树实现。唯一的区别在于评分函数（回归使用 disty，分类使用熵）。
3. 优化 (56 行)： 将模拟退火（SA）和局部搜索（LS）实现为单一 (1+1) 进化算法的变体。两者共享相同的 oneplus1 循环，仅在变异和接受策略上有所不同。
4. 主动学习 (80 行)： 一个维护两个数据集的主动学习器：best（前 $\sqrt{N}$ 行）和 rest（剩余行）。新标签会触发基于 add/sub 原语的常数时间重平衡，从而避免了像 SMAC3 这样的集成方法所需的完整重构。
5. 文本挖掘 (30 行)： 一个使用互补朴素贝叶斯（CNB）的相关性过滤器。CNB 不是预测最可能的类别，而是预测文档最不可能属于的类别，从而有效地过滤掉无关文档。

实验设置

该工具包在 MOOT 仓库 的 124 个多目标优化任务 上进行了评估，涵盖了软件配置、性能调优、缺陷预测和文本挖掘。

• 对比对象： 将 EZR 与包括 SMAC3（优化）、SHAP/LIME（解释）和 FASTREAD（文本挖掘）在内的 SOTA 工具进行了比较。
• 指标： 性能通过“胜率”（归一化遗憾值）、标签效率（达到最优所需的标签数）、特征效率（使用的特征数）和运行时间来衡量。
• 统计严谨性： 结果基于 20 多次重复实验进行聚合。小于 Sawilowsky 阈值（0.35$\sigma$）的差异被归零，以避免过度解释微小的变化。

关键结果

1. 性能 vs. 复杂度

• 优化： 在 20 个 MOOT 基准测试中，模拟退火（采用其 1983 年默认配置，不带重启）匹配或超越了局部搜索变体和 SMAC3。SA 达到了 98–99 的平均胜分，而 LS 需要通过重启才能接近同等性能。
• 速度： EZR 主动学习器的运行速度比 SMAC3 快 500 倍。这是因为 EZR 通过行交换以常数时间 ($O(1)$) 更新模型，而 SMAC3 则需要为每个新标签重建树集成。
• 标签效率： EZR 的主动学习器在使用少于 100 个标签 的情况下，即可达到参考最优值的 85–95%，而 SOTA 方法通常需要数千个标签。
• 特征效率： 尽管数据集包含数百或数千个特征，但 EZR 的决策树始终能构建出有效的模型，且使用的变量少于 10 个。随着可用特征数量的增加，性能并未下降。

2. 文本挖掘

• 使用互补朴素贝叶斯，EZR 在系统文献综述（SLR）任务中，使用少于 100 个标签便实现了高召回率，而 FASTREAD（使用线性 SVM）则需要 300–800 个标签。
• 研究揭示了先前研究中的一个方法论差距：通过测量先前研究忽略的误报率（False Alarm rates），作者发现 CNB 中推荐的归一化步骤（由 Rennie 等人提出）实际上增加了误报，而这一缺陷被原始工具的复杂性所掩盖。

3. 代码规模与依赖

• EZR： 400 行代码，仅限 Python 标准库，安装大小 <1 MB。
• SOTA 对比工具： 通常超过 20 万行代码，需要 pandas、sklearn、numpy 以及用于复现的重型计算集群。

意义与主张

本文并非声称 AI 在所有任务中都是简单的，也并非认为 LLM 已过时，而是针对表格化 SE 优化领域提出了一个适度的、具体的观点：

1. 阅读代码是一种有效的研究方法： 作者认为“阅读并重构代码”是产生洞察力的有用方法。通过将算法简化到其核心，他们证明了许多看似不同的算法（如 Naïve Bayes、k-means、SA）可以坍缩为几行共享的代码。
2. 极简主义可以媲美复杂性： 轻量级、统一的工具包可以媲美大型、专门化的库。这种“沉重”的方法往往引入了不必要的复杂性、维护负担和计算成本，却未能带来成比例的性能提升。
3. 重新评估假设： 结果挑战了“没有免费午餐”的假设，即更多的数据和特征总能带来更好的模型。在测试领域中，少即是多：更少的标签、更少的特征和更简单的模型反而产生了更优或同等的性能。
4. 实践意义： 从业者在部署沉重的流水线之前，应当先运行简单的基准测试。如果一个简单的模型能匹配复杂模型的表现，那么复杂模型就是“技术债”。

作者总结道，虽然“AI 是新编译器”的叙事在生成或感知任务中可能成立，但在表格优化领域，仔细的阅读与简化仍然是产生洞察力和效率的强大工具。本文邀请业界对其他“复杂”的方法应用类似的审查，暗示其中许多方法都是可以被简化的。