🤖 machine learning

Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility

本文介绍了 MLEModernizer，这是一个由大语言模型驱动的智能体框架，它通过迭代执行代码并应用针对性修复，自动实现机器学习工程笔记本的现代化，以克服环境侵蚀并恢复可复现性，成功恢复了超过 40% 此前无法复现的笔记本。

原作者： Bihui Jin, Kaiyuan Wang, Pengyu Nie

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Bihui Jin, Kaiyuan Wang, Pengyu Nie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名热爱研究旧食谱的时光旅行者。你发现了一本来自2015年的著名蛋糕食谱，写在一本特别的笔记本里。食谱上写着：“将面粉、糖和一种被称为‘XGBoost’的神奇食材混合在一起，即可得到一个完美的蛋糕。”你试图在今天烘焙它，但出了问题：你今天在商店买到的“XGBoost”成分略有不同；它更强力，运作方式也不同，当你把它混合进去时，面糊要么爆炸，要么吃起来有一股肥皂味。这就是“环境侵蚀”（environmental erosion）的问题。在机器学习工程（MLE）的世界里，科学家和工程师使用交互式笔记本（类似于数字食谱）来构建人工智能模型。他们分享这些笔记本，以便他人学习或使用他们的代码。但随着计算机和软件的快速更新，旧的笔记本经常会损坏，因为它们所依赖的“食材”（软件库）已经发生了变化或消失了。如果无法运行旧代码，你就无法验证结果，知识也会随之流失。大问题在于：我们能否修复这些旧的、损坏的食谱，让它们在今天的厨房里也能正常运作，而不需要从头开始重建整个厨房？

这篇题为《机器学习工程笔记本的自动化现代化以实现可复现性》（Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility）的论文，深入探讨了这一问题。作者们决定测试这些数字食谱到底有多“破碎”。他们收集了来自 Kaggle 热门机器学习竞赛的 12,106 个笔记本的大规模集合。当他们尝试在现代环境中运行这些笔记本时，发现了一个残酷的现实：只有 26% 的笔记本实际上可以运行并产生与往年相同的结果。其余 74% 的笔记本都损坏了，要么因错误而崩溃，要么产生了完全不同的分数。

你可能会认为解决方案很简单：回到过去，安装与该食谱编写时完全一致的旧软件版本。这被称为“环境回溯”（environment backporting）。作者通过将所有软件降级以匹配笔记本最初提交时的日期进行了尝试。令人惊讶的是，这样做反而让情况变得更糟了！原本有 26% 的笔记本可以运行，降级后只有 12% 变得可复现。事实证明，试图重建过去是一个陷阱；旧版本的软件往往缺失、与现代硬件不兼容，或者运行起来过于脆弱。作者认为，与其试图重建旧厨房，不如修改食谱本身，使其适配新厨房。

为了解决这个问题，团队构建了一个名为 MLEModernizer 的工具。把它想象成一个由大语言模型（LLM）驱动的超级智能机器人副厨师。这个机器人不仅能读懂食谱，它还会尝试亲自去烤这个蛋糕。如果蛋糕烤焦了（发生错误），机器人会观察烟雾，弄清楚哪里出了错，然后重写食谱来修复它。如果蛋糕烤得太久（运行时问题），机器人会调整指令以提高速度。如果味道稍有不同（分数不对），机器人会调整配料以恢复到原始的标准。

这个机器人处于一个循环之中：它运行代码，检查结果，如果发现问题，它就会要求 AI 为整个笔记本编写一个补丁（修复程序）。它会重复这个过程，最多循环 16 次，直到笔记本可以正常工作。结果非常令人振奋。当他们在 8,210 个损坏的笔记本上进行测试时，该工具成功修复了大约 40% 到 45% 的笔记本，使它们重新具备了可复现性。具体而言，使用强大的 AI 模型（GPT-5.2），他们修复了 3,292 个笔记本；而使用另一种开源模型（GPT-OSS-120b），他们修复了 3,683 个。

然而，论文谨慎地指出，这并不是一根“魔法棒”。作者发现，虽然工具可以把数值（分数）调对，但有时底层代码的变化并不完全等同于原始状态。例如，AI 可能会微调模型的训练方式，使其刚好达到正确的得分，但代码的“风味”却变了。他们还发现，有些错误是极其顽固且无法自动修复的；该工具擅长修复简单的“缺失食材”类错误（比如忘记导入某个库），但在处理复杂的“奇怪的食材相互作用”类错误（比如对象不具备正确属性的属性错误）时则显得力不从心。

这位“机器人厨师”的成本也是一个因素。作者计算出，使用强大的模型修复一个笔记本平均成本约为 0.65 美元，他们认为这对于大规模使用来说足够便宜。但他们也指出，开源模型要便宜得多（每个笔记本约 0.0074 美元），但其对代码的忠实度较低。

最后，论文表明，虽然我们无法完美地重现过去，但我们可以利用智能 AI 代理来使旧代码现代化，从而挽救宝贵的科学成果。这并不是针对每一个损坏笔记本的完美方案，但它提供了一种“尽力而为”的方法，去拯救大量的机器学习历史，否则这些历史将会湮灭在时光中。作者总结道，这种方法有助于从业者在技术不断演进的过程中，验证并复用旧的流水线，将那些破碎、落满灰尘的食谱，转化为可以在今日厨房中烹饪的美味。

技术摘要：面向可复现性的机器学习工程笔记本自动化现代化研究

1. 问题陈述

交互式计算笔记本（如 Jupyter）是记录和分享端到端机器学习工程（MLE）流水线的主要产物。然而，这些笔记本正遭受着环境侵蚀（environmental erosion）：硬件和软件生态系统的快速演进，使得许多已发布的笔记本在当代环境中无法实现可复现性。

作者识别了当前可复现性研究中的一个关键差距：

差距： 对来自 75 场 Kaggle 竞赛的 12,106 个笔记本进行的大规模研究显示，仅有 26% 在现代环境中保持可复现。
回溯移植（Backporting）的失败： 行业内标准的“环境回溯移植”做法（即通过降级依赖项以匹配笔记本的提交时间戳）经过测试被发现是适得其反的。回溯移植不仅没有提高可复型性，反而将成功率降低至 12%，并引入了额外的失败模式（例如，依赖冲突、不可用的历史 wheel 包）。
核心挑战： 仅仅在重建的历史环境中运行代码通常是不可行或不足够的。代码本身必须进行现代化处理，以便在当前环境中运行并复现得分。至关重要的是，“可复现性”在 MLE 中不仅仅是指执行过程（无错误）；它还需要得分校准（score-calibration），即复现的模型性能需保持在原始报告得分的可接受范围内。

2. 方法论：MLEModernizer

为了应对环境侵蚀，作者设计并实现了一个基于大语言模型（LLM）驱动的智能体框架 MLEModernizer。与将环境视为待重建变量的传统修复工具不同，MLEModernizer 将当代环境视为一个固定约束，并迭代地对笔记本代码进行现代化处理。

智能体工作流

该框架在一个迭代循环中运行，每个笔记本最多进行 16 次迭代：

执行与反馈： 笔记本在容器化环境中执行（与 Kaggle 的执行模型一致）。系统收集执行反馈，包括：
- 运行耗时。
- 错误回溯（如果有）。
- 复现得分 ( $s_r$ ) 与目标得分 ( $s_t$ ) 的对比。
问题检测： 系统将失败归类为以下三类之一：
- 超时（Timeout）： 执行超过 600 秒限制。
- 错误（Error）： 笔记本抛出异常。
- 得分偏差（Score Deviation）： 笔记本运行无误，但得分与目标值存在显著偏差。
针对性 LLM 修复： 根据检测到的问题，MLEModernizer 为大语言模型（LLM）构建特定的提示词以生成补丁。该框架支持三种不同的修复类型：
- 错误修复（Error-Repair）： 修复执行错误（例如，API 破坏性变更、缺失导入）。
- 运行时缩减（Runtime-Reduction）： 优化代码以防止超时（例如，启用 GPU 加速、减少数据子集）。
- 得分校准（Score-Calibration）： 当不存在错误时，调整代码以使复现得分与目标对齐（例如，处理标签偏移、超参数调优）。
补丁应用： LLM 返回一个计划和一份完整的全文件补丁（整个笔记本）。MLEModernizer 应用此补丁并重复循环，直到笔记本实现可复现或达到迭代限制。

评估设置

数据集： 从最初的 12,106 个笔记本中筛选出 8,210 个不可复现的笔记本用于现代化处理。
模型： 系统使用 GPT-5.2（专有模型）和 GPT-OSS-120b（开源权重模型）进行评估。
指标： 可复现性由单样本 $t$ 检验（ $p \ge 0.05$ ）定义；若得分具有确定性，则采用启发式阈值（ $\tau = 10\%$ ）。功能等效性通过对手动抽样的子集进行检查来评估。

3. 关键结果

可复现性恢复

成功率： 使用 GPT-5.2，MLEModernizer 成功恢复了 40.1% 的不可复现笔记本（3,292 个）；使用 GPT-OSS-120b，成功率为 44.9%（3,683 个）。
无错误 vs. 含错误：
- 使用 GPT-5.2 时，2,397 个笔记本变为“无错误可复现”，895 个为“含错误可复现”（尽管存在残余错误，但仍可复现）。
- 使用 GPT-OSS-120b 时，2,877 个变为“无错误可复现”，806 个为“含错误可复现”。
功能等效性： 虽然 GPT-OSS-120b 实现了更高的原始可复现率，但 GPT-5.2 生成了显著更多的功能等效现代化版本（71.5% vs. 52.7%）。这表明存在一种权衡：开源模型在追求得分方面更为激进，可能改变了语义；而专有模型能更好地保留原始逻辑。

修复统计与成本

迭代效率： 大多数成功的现代化过程仅需少量修复（中位数为 2 次）。然而，实现“无错误”状态通常比实现“含错误可复现”状态需要更多的迭代（平均 4.35 次 vs. 平均 2.56 次）。
修复类型： 得分校准是最频繁应用的修复类型（39,226 次），其次是错误修复（27,765 次）和运行时缩减（15,718 次）。得分校准是实现“无错误可复现”结果的主要驱动力。
成本： 该过程在规模化使用方面具有经济可行性。
- GPT-5.2： 每个笔记本平均成本为 0.65 美元。
- GPT-OSS-120b： 每个笔记本平均成本为 0.0074 美元。
代码修改： 虽然单个修复通常是增量式的（与前一版本具有高编辑相似度），但累积修改可能非常显著。最初发生超时的笔记本在代码偏离基准线方面表现出最显著的变化。

错误分析

错误减少： 系统将总错误数从基准时的 >92,000 个减少到了 16 次修复后的约 4,000 个。
错误类型： NameError（未定义名称/缺失导入）得到了有效减少。然而，AttributeError（缺失/无效属性）被证明是最顽固的，在现代化后的可复现和不可复现笔记本中仍是主导错误类型。这表明 API 漂移和库特定的属性变化比简单的语法或导入修复更难自动化处理。

4. 重要性与主张

本文将 MLEModernizer 定位为一种尽力而为（best-effort）的自动化恢复与现代化技术。作者就其重要性提出了以下主张：

范式转变： 本研究挑战了主流的“环境重建”（回溯移植）范式。它证明了将环境视为固定约束并对代码进行现代化处理，是恢复快速演进的机器学习生态系统中可复现性的更有效策略。
实际效用： 通过实现 MLE 笔记本的自动化现代化，该工具促进了遗留机器学习流水线的验证与重用。这对于研究人员（转移知识自遗留原型）和工程师（维护生产流水线的长期可用性）都至关重要。
局限性与范围： 作者对工具的能力持谦逊态度。他们承认：
- 由于环境的演进，精确复现可能无法实现；该工具提供了一个人工精炼的起点。
- 基于得分的可复现性并不保证功能等效性（尽管工具尝试予以保留）。
- 某些错误类型（特别是复杂的 AttributeError）仍然难以自动解决。
- 评估依赖于离线评分（MLE-Bench），该评分虽近似但不能完美复制 Kaggle 的私人排行榜。

总之，本文断言，虽然代码现代化并非万能灵药，但它为恢复相当一部分遗留 MLE 产物的可复现性提供了一条可行且可扩展的路径，弥合了历史代码与当代基础设施之间的鸿沟。