🤖 machine learning

iML: Executable, Problem-Grounded, and Broadly Exploratory Code-Driven AutoML

本文介绍了 iML，这是一个多智能体代码驱动的 AutoML 框架，它通过结构化蓝图和迭代调试，确保了方案的可执行性、问题落地性以及广泛的探索性，在多种机器学习基准测试中实现了最先进的性能和高可靠性。

原作者： Dat Le, Duc-Cuong Le, Anh-Son Nguyen, Tuan-Dung Bui, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Dat Le, Duc-Cuong Le, Anh-Son Nguyen, Tuan-Dung Bui, Thu-Trang Nguyen, Son Nguyen, Hieu Dinh Vo

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想制造一台复杂的机器，比如一辆高性能赛车，但你并不知道如何成为一名机械师。于是你请了一位非常聪明、博学但有时过于自信的助手（一个人工智能）来为你编写蓝图并建造这辆车。

在过去，这些助手经常会写出一些在纸面上看起来完美无缺，但只要你一启动引擎就会崩溃的计划。它们可能会假设你的车配备了 V8 发动机，而你实际拥有的只是 V6；或者它们可能因为忙于撰写一篇关于速度的美妙演讲而忘了安装车轮。

这篇论文介绍了 𝑖ML，这是一个旨在解决这些问题的全新 AI 助手团队。𝑖ML 不再是由一个试图同时完成所有工作的助手来处理，而是使用了一个多智能体团队（multi-agent team），其工作方式就像一支组织严密的建筑施工队。他们的目标是制造出一个能够真正运行的机器学习模型（即那辆“车”），这辆车不仅要能跑起来，还要基于你现有的真实材料进行构建，并探索多种获胜的方式。

以下是 𝑖ML 的工作原理，分为三个简单的原则：

1. “它真的能跑吗？”规则（可执行性）

大多数 AI 助手写的代码看起来很漂亮，但一旦运行时就会崩溃。𝑖ML 将运行代码视为最重要的测试。

类比： 想象一位厨师，他不仅写下食谱，还会亲自烹饪菜肴、品尝味道，如果发现太咸了，他会在端给顾客之前就将其修正。
𝑖ML 如何实现： 团队将任务分解为细小的部分（准备数据、构建模型）。他们分别构建每个部分，然后尝试组装它们。如果部件无法匹配（比如方榫头遇到了圆孔），系统会立即停止，找到确切的错误，并仅修复该特定部件。它会不断尝试并修复，直到整个机器顺畅运行。这确保了 90% 的情况下，最终结果都是可以正常工作的。

2. “看看你有什么”规则（问题落地）

有时候 AI 助手会凭空捏造。它们可能会猜测你的数据是干净的，而实际上数据很乱；或者假设你想预测销售额，而你实际想预测的是天气。

类比： 想象一位承包商，他完全忽略了你给他的蓝图和地块上的实际情况，反而根据自己的“直觉”决定在那里建一个游泳池。
𝑖ML 如何实现： 在编写任何一行代码之前，𝑖ML 会派出一位“侦察兵”来检查你的实际数据。它会统计缺失的部分，检查信息类型，并查找其他专家处理类似数据时的做法。然后，它会基于现实（而非猜测）创建一个严格的计划（即“蓝图”）。这防止了团队构建出一个逻辑上成立、但对你的具体问题毫无用处的模型。

3. “尝试一切”规则（广泛探索）

旧的 AutoML 系统通常会选择一条路径并坚持下去，就像一个只会开高速公路的司机。如果路面变成了土路，他们就会陷入困境。

类比： 想象一位侦探只调查一名嫌疑人。𝑖ML 则像是一位采访了三名不同嫌疑人的侦探：一位使用传统方法，一位使用高科技装备，还有一位使用定制工具。
𝑖ML 如何实现： 团队不会只用一种方法来解决问题。他们并行运行三种不同的策略：
1. 传统方法（可靠，就像一辆坚固的轿车）。
2. 预训练模型（利用现有的智能工具，就像一辆跑车）。
3. 定制神经网络（从零开始构建一个独特的定制引擎）。
  他们测试所有三种方案，看哪一个能在比赛中获胜，并选出冠军。如果其中一个失败了，他们不会放弃，而是转向下一个最佳选项。

团队结构

为了实现这一切，𝑖ML 将其 AI 智能体组织为特定的角色：

策略师（The Strategist）： 阅读问题并检查数据，以创建主蓝图。
专家（The Specialists）： 不同的智能体负责编写特定部分的程序代码（例如，一个负责清洗数据，一个负责构建模型），这样它们就不会产生混淆。
组装者与调试员（The Assembler & Debugger）： 他们将各个部件组合在一起，进行测试；如果某个部件损坏，他们就像带着诊断工具的机械师一样，精准定位并修复那个损坏的螺栓，而无需重建整辆车。

实验结果

作者在两个极具挑战性的任务（类似于著名的 Kaggle 数据科学竞赛）上测试了这个系统。

可靠性： 当其他系统大约有一半时间无法产生有效结果时，𝑖ML 的成功率达到了 90%。
性能： 𝑖ML 不仅能运行，而且能赢。它在 45% 的竞赛中获得了“奖牌”（高排名），击败了旧有的自动化工具和其他 AI 智能体。
鲁棒性： 即使指令非常模糊或被简化到了极致（例如只说“修复这个数据”而不解释如何修复），𝑖ML 仍能依靠对实际数据的检查，实现 70% 的成功率。

简而言之，𝑖ML 是一个不再靠猜、开始实测，并依靠专家团队协作的系统，它确保最终生成的机器学习模型不仅仅是一个美好的构想，而是一个真正运行且高性能的现实。

技术摘要： $i$ ML – 可执行、问题驱动且具有广泛探索能力的代码驱动型 AutoML

1. 问题陈述

虽然自动化机器学习（AutoML）使机器学习的使用变得大众化，但现有的系统在灵活性、透明度和执行可靠性方面仍面临显著局限。传统的 AutoML 工具通常作为受限于预定义搜索空间（例如表格数据）的僵化“黑盒”运行，缺乏针对复杂或多模态问题定制流水线的能力。

近期的基于大语言模型（LLM）的智能体已转向代码驱动型 AutoML，通过合成用于预处理、训练和评估的可执行代码来工作。然而，当前的方法存在三个关键缺陷：

缺乏可执行性： 生成的代码在文本上看起来似乎合理，但在执行过程中常因运行时错误、类型不匹配或未经验证的假设而失败。
问题驱动不足： 规划决策往往依赖于未经验证的文本假设或“幻觉”出的数据属性，而非对实际数据集进行经验分析。
探索范围狭窄： 许多系统过早地致力于单一的模型路径（例如，精炼一个单体脚本或封装一个固定的后端，如 AutoGluon），未能跨越传统机器学习、预训练适配和自定义神经架构，去探索多样且最新的解决方案策略。

2. 方法论： $i$ ML 框架

作者引入了 $i$ ML，这是一个多智能体代码驱动型 AutoML 框架，旨在满足三个核心要求：可执行性、问题驱动和广泛探索。该框架通过三个协调的阶段运行：

第一阶段：代码引导的战略规划

$i$ ML 并非直接进行代码提示，而是首先构建一个基于问题的战略蓝图（ $B$ ）。

任务分析与剖析： 任务分析器提取语义约束，同时剖析智能体通过对原始数据集 ( $\mathcal{D}$ ) 进行经验分析来生成元特征 ( $F_{meta}$ )，包括模式（schema）、缺失模式和数据质量。
知识检索： 知识检索器从外部来源获取领域约束和预处理策略。
蓝图合成： 准则智能体合成一个结构化蓝图，规定了预处理指令、模型选择逻辑（在传统机器学习、预训练适配或自定义神经架构之间做出选择）、训练协议和评估指标。该蓝图作为一个设置架构不变性的集合，用以约束搜索空间。

第二阶段：代码模块化实现

专门的编码智能体在显式的接口契约 ( $IC_{\mathcal{T}}$ ) 下分别实现组件。

预处理编码器： 生成一个脚本 ( $S_{prep}$ ) 将原始数据转换为经过验证的表示形式 ( $\mathcal{D}'$ )，该表示形式必须严格满足建模阶段所需的模式。
建模编码器： 生成用于训练和推理的脚本 ( $S_{model}$ )，确保与经过验证的 $\mathcal{D}'$ 在数学上兼容。
契约驱动设计： 这种模块化设计防止了逻辑纠缠，并允许对组件进行独立的开发和修复。

第三阶段：代码可验证集成

一个组装智能体将 $S_{prep}$ 和 $S_{model}$ 集成为统一的流水线 ( $S$ )。

动态执行与验证： 系统在数据上执行 $S_{prep}$ ，在进入训练阶段之前，根据接口契约验证其运行时属性（形状、类型）。
迭代调试： 如果执行失败，错误分析器会利用运行时回溯信息定位故障（例如 API 不匹配、张量形状错误）。随后，调试智能体会通过迭代修复特定的组件，必要时利用网络搜索当前的语法，直到获得有效的流水线。

3. 核心贡献

新颖的设计原则： 本文确立了理想的代码驱动型 AutoML 的三个标准：可执行性（可靠的端到端合成）、问题驱动（基于经验数据和检索知识的决策）以及多样化/更新的探索（跨异构解决方案路径进行搜索）。
$i$ ML 框架： 一种多智能体架构，通过经验剖析、检索支持的规划、模块化代码合成和动态验证将这些原则付诸实践。
广泛的实验验证： 在 MLE-BENCH 以及新引入的 $i$ ML-BENCH（涵盖 2021–2025 年间的 16 个不同 Kaggle 竞赛）上进行了全面的评估，证明了其卓越的运行可靠性和竞争力的性能。

4. 实验结果

作者将 $i$ ML 与包括传统 AutoML（AutoGluon）和代码驱动智能体（MLZERO, MLE-STAR, AutoML-Agent）在内的最先进基准模型进行了对比评估。

在 MLE-BENCH (Lite) 上的表现

可靠性： $i$ ML 实现了 90% 的有效提交率，显著优于 MLE-STAR (55%) 和 AutoML-Agent (40%)。
竞争质量： 它获得了 45% 的任务获得任何奖牌（金/银/铜），以及 80% 的“高于中位数” 比例。
性能得分： 平均性能得分 (APS) 为 0.82，相比 LLM 基准模型实现了 52%–273% 的提升。

在 $i$ ML-BENCH 上的表现

鲁棒性： $i$ ML 取得了最高的 APS (0.54)，几乎是 MLZERO (0.19) 的三倍。
复杂任务： 当面对复杂的多模态任务（如 PetFinder、多标签分类）时，像 AutoGluon 和 MLZERO 这样的基准模型表现失败（得分为 0.00），而 $i$ ML 保持了高分（分别为 0.67 和 0.69）。
精简描述： 即使任务描述被大幅精简为通用的提示词， $i$ ML 仍保持了 70% 的成功率 和 0.63 的 APS，展示了对模糊用户意图的韧性。

消融实验

可执行性： 移除动态验证或模块化集成会导致有效提交率和 APS 显著下降，证实了静态检查是不充分的。
驱动力： 移除经验数据剖析后，APS 从 0.82 降至 0.66，证明了数据驱动是竞争质量的主要驱动力。
探索性： 将 $i$ ML 限制在单一建模路径（例如仅限传统机器学习）会导致非表格类任务的性能崩溃，验证了多路径探索的必要性。

5. 意义与主张

本文声称 $i$ ML 通过弥合高层战略推理与经验可验证实现之间的鸿沟，建立了一个稳健的 AutoML 范式。

可靠性胜过看似合理性： 不同于以往仅生成文本上看似合理但脆弱的代码的智能体， $i$ ML 通过组装、执行、诊断和纠正的闭环过程来强制执行可执行性。
经验驱动： 通过将规划锚定在观察到的数据属性和检索到的知识上， $i$ ML 避免了导致运行时失败的幻觉假设。
人类水平的竞争性能： $i$ ML 证明了代码驱动型 AutoML 可以通过构建原生的、针对特定任务的流水线，超越“黑盒”优化工具（如 AutoGluon）的性能天花板。

作者总结道， $i$ ML 代表了向可靠的、具备人类竞争力的自主工程迈出的变革性一步，为下一代机器学习系统提供了可验证的基础。他们承认，尽管在多模态任务上的表现仍是未来优化的前沿领域，但该框架已成功解决了当前 AutoML 智能体中的逻辑纠缠和执行可靠性等核心挑战。