TML-Bench: Benchmark for Data Science Agents on Tabular ML Tasks

本文介绍了 TML-Bench，这是一个针对 Kaggle 风格表格机器学习任务的自主数据科学智能体基准，通过评估 10 个开源大语言模型在不同时间预算下的端到端表现，发现 MiniMax-M2.1 模型综合性能最佳且性能随时间预算增加而提升。

要点

这篇论文介绍了一个名为 TML-bench 的新测试，专门用来给那些能自动写代码的“人工智能助手”（AI Agents）打分。

想象一下，你雇佣了一群AI 厨师，给他们布置任务：用给定的食材（数据）做出一道完美的菜（机器学习模型），并且要在规定的时间内完成。

TML-bench 就是这场**“限时烹饪大赛”的裁判手册**。

以下是用大白话和比喻对这篇论文核心内容的解读：

1. 为什么要搞这个比赛？（背景）

现在的 AI 很聪明，能很快写出代码。但就像厨师一样，有的 AI 是“运气型”选手——偶尔一次蒙对了，做出一道神菜，但下次可能连火都点不着。

• 痛点：以前的测试只看 AI 能不能写出代码，或者只挑它最好的一次表现。
• TML-bench 的做法：我们要看稳定性和真实性。就像我们评价一个厨师，不能只看他某一次发挥超常，而要看他在不同时间压力下，能不能每次都做出合格的菜。

2. 比赛规则是怎样的？（核心机制）

这场大赛有四个具体的“烹饪题目”（Kaggle 竞赛），每个题目给 AI 三个不同的时间预算：

• 240 秒（4 分钟）：像“快餐挑战”，看 AI 能不能快速出活。
• 600 秒（10 分钟）：像“家常便饭”，给点时间慢慢做。
• 1200 秒（20 分钟）：像“精致大餐”，允许 AI 反复尝试、优化。

关键规则：

• 盲测：AI 做出来的菜，裁判（人类或隐藏数据）会尝一口，但 AI 自己尝不到味道（看不到最终得分），防止它作弊或过度调整。
• 断网：比赛期间，AI 不能上网查答案，必须靠自己的“大脑”（预训练知识）和现场发挥。
• 五局三胜（其实是五局取中）：每个题目，每个 AI 要跑5 次。我们不看它最好的一次，也不看最差的一次，而是看中间那次（中位数）的表现。这就像考试，去掉一个最高分和一个最低分，取中间值，最公平。

3. 谁赢了？（主要发现）

在 10 个开源的 AI 模型中，MiniMax-M2.1-TEE 表现最稳，拿到了“总冠军”。

• 时间越久，通常越好：就像做饭，给的时间越长，菜通常越好吃。大部分 AI 在 20 分钟（1200 秒）的表现都比 4 分钟要好。
• 有的 AI 是“慢热型”：有些模型在时间增加时进步巨大，而有些模型给再多时间也差不多，甚至因为想太多反而翻车了。
• 稳定性很重要：有些模型虽然偶尔能拿第一，但经常“翻车”（跑不出结果或结果很差）。TML-bench 特别看重谁能每次都稳定发挥。

4. 这个测试有什么特别之处？（创新点）

• 像“审计”一样严格：以前的测试可能允许 AI 上网搜题，或者只看它一次成功的运气。TML-bench 把 AI 关在“小黑屋”（断网），并且要求它必须在规定时间内，连续 5 次都成功做出菜来，才算数。
• 统一评分标准：不同的题目，有的分数越高越好（比如 AUC），有的分数越低越好（比如 RMSE）。这个测试把大家的成绩都换算成统一的“百分制”，方便直接比较谁更强。
• 便宜又好用：这个测试设计得很轻量，普通人甚至个人开发者花很少的钱（大概 10 美元）就能跑完所有测试，不需要超级计算机。

5. 总结：这对你意味着什么？

这篇论文其实是在告诉我们要**“去魅”**。
以前我们觉得 AI 很厉害，因为它能瞬间生成代码。但 TML-bench 告诉我们：真正的厉害，是在有限的时间里，不依赖运气、不依赖作弊，稳定可靠地解决问题。

这就好比：

• 以前的测试：看谁能在 10 秒内蒙对一道数学题。
• TML-bench：看谁能在 20 分钟内，不查书、不偷看，连续做对 5 道不同的应用题，而且每次都能保证及格。

一句话总结：TML-bench 是 AI 数据科学能力的“压力测试”，它不奖励“运气王”，只奖励“实力派”和“稳定派”。

技术摘要

以下是基于论文《TML-bench: Benchmark for Data Science Agents on Tabular ML Tasks》的详细技术总结：

1. 研究背景与问题 (Problem)

尽管自主编码代理（Autonomous Coding Agents）在 Kaggle 风格的表格机器学习任务上能快速生成基线模型，但在实际应用中，其价值取决于端到端的正确性和时间限制下的可靠性。现有的基准测试（如 SWE-bench, MLE-bench 等）往往存在以下局限：

• 缺乏端到端验证：许多基准仅测试孤立的编码任务，忽略了数据加载、特征工程、模型训练、迭代及提交格式验证等完整工作流中的失败模式。
• 评估标准单一：通常只关注单次“最佳尝试”，而忽略了代理在多次运行中的稳定性（Reliability）和一致性。
• 数据污染风险：部分评估可能未严格控制模型对竞赛数据的先验知识（Contamination），导致评估结果虚高。
• 跨任务可比性差：不同竞赛使用不同的评估指标（如 AUC 与 RMSE），难以直接横向比较。

TML-bench 旨在解决上述问题，提出一个针对表格机器学习任务的严格基准，重点评估代理在**私有保留集（Private Holdout）**上的表现、运行成功率以及时间预算下的扩展性。

2. 方法论 (Methodology)

2.1 基准套件与评估网格

• 任务集：选取了 4 个 Kaggle 竞赛（涵盖分类和回归任务，如银行客户流失预测、零售流量预测等）。
• 时间预算：每个任务设置三个严格的时间上限：240秒、600秒、1200秒。
  • 1200秒配置使用专门针对 XGBoost 优化的指令集。
  • 时间预算包含阅读任务、训练、迭代和生成提交文件的全过程，但不包含后台验证和评分时间。
• 评估对象：评估了 10 个开源大语言模型（OSS LLMs）。
• 运行规则：每个模型在每个“任务×时间预算”组合下运行 5 次。仅统计那些在所有 12 个设置（4 任务×3 预算）中均完成 5 次成功运行的模型。

2.2 执行环境与防污染控制

• 执行框架：使用 Kilo Code 作为代理执行器（Harness）。它在每个运行中提供干净的独立工作空间，强制执行时间预算，验证提交格式，并在不可见的私有保留集上进行评分。
• 防污染措施：
  1. 断网运行：基准测试期间禁用互联网访问。
  2. 知识截止控制：选用的模型其预训练知识截止时间必须早于所测试 Kaggle 竞赛的开始日期（最早竞赛发布于 2025 年 10 月）。

2.3 指标与聚合方法

• 原始指标：直接报告任务原生指标（如 AUC 越高越好，RMSE 越低越好）。
• 归一化（Normalization）：为了跨竞赛比较，采用设置内最小 - 最大归一化（Within-setting Min-Max Normalization）：
  1. 统一方向：将“越低越好”的指标取反，使所有指标均为“越高越好”。
  2. 归一化：在同一个（竞赛，预算）设置内，将最佳模型归一化为 1.0，最差为 0.0。
• 聚合策略：
  • 主要聚合：对每个模型，取其在每个竞赛中三个时间预算下的最佳归一化分数，然后对四个竞赛取平均值。
  • 统计量：报告 5 次运行的**中位数（Median）**性能，而非单次最佳值，以反映稳定性。

3. 主要贡献 (Key Contributions)

1. 严格的基准协议：提出了针对 Kaggle 风格表格任务的基准协议，包含确定性准备、严格的提交验证和私有保留集评分。
2. 可重复的报告政策：采用固定的代理指令、固定的任务集，并强制要求“5 次运行全覆盖”和“中位数聚合”，确保结果的可复现性和统计显著性。
3. 低成本的防污染评估：设计了低成本（单次全套件运行成本约 10 美元）、可离线执行的评估方案，有效降低了数据污染风险。
4. 全面的性能分析：不仅报告性能，还深入分析了跨竞赛一致性、运行成功率（可靠性）、稳定性（Run-to-run 变异性）以及时间预算扩展性。

4. 实验结果 (Results)

4.1 总体性能

• 最佳模型：MiniMax-M2.1-TEE 在主要聚合指标下，在所有四个竞赛中取得了最佳的综合性能分数。
• 时间预算影响：总体而言，随着时间预算增加（240s → 1200s），平均性能有所提升。但在 1200s 设置下，部分模型（如 NVIDIA-Nemotron-3-Nano）在特定任务上表现显著下降，显示出指令集或策略的不稳定性。

4.2 可靠性与稳定性

• 成功率的差异：即使在强模型之间，运行成功率（即能否生成有效提交）也存在显著差异。
• 稳定性分析：通过帕累托图（性能 vs 稳定性）展示了模型间的权衡。部分模型（如 GLM 4.7 Flash 在特定任务上）表现出极大的方差（IQR 宽），表明其结果高度不可预测。
• 单调性：在 40 条（模型×竞赛）曲线中，仅有 57.5% 表现出随时间预算增加而性能单调提升的趋势，说明单纯增加时间并不总能带来更好的结果。

4.3 具体任务亮点

• Bank Customer Churn (AUC)：GPT OSS 120B TEE 在 1200s 下表现最佳（0.928），但部分模型在特定预算下表现不佳。
• Foot Traffic (RMSE)：MiniMax-M2.1-TEE 在所有预算下均表现最佳，且非常稳定；而 GLM 4.7 Flash 在 1200s 下出现了严重的性能波动。

5. 意义与局限性 (Significance & Limitations)

意义

• 重新定义评估标准：TML-bench 强调可靠性（Reliability）与性能（Performance）同等重要，指出单一的成功运行不足以证明代理的能力。
• 实用导向：通过模拟真实的时间限制和私有评分，为工业界选择数据科学代理提供了更贴近实际的参考。
• 开源与复现：提供了完整的代码、日志和脚本，允许社区复现图表和表格，推动了该领域的透明化发展。

局限性

• Token 成本未统计：当前日志中缺乏 Token 消耗数据，因此无法评估模型的 Token 效率（计划在未来版本中补充）。
• 指令集耦合：时间预算的增加伴随着指令集的变化（1200s 使用 XGBoost 专用指令），因此性能提升可能部分源于指令优化而非单纯的时间增加。
• 样本量限制：每个设置仅基于 5 次成功运行，对于某些个体模型而言，扩展性曲线可能仍存在噪声，需要更多运行次数来稳定模型级别的评估。

总结

TML-bench 是一个针对表格机器学习任务的严谨基准测试，它通过引入私有评分、严格的时间控制和防污染机制，揭示了当前开源大模型在构建端到端数据科学代理方面的真实能力与短板。实验表明，MiniMax-M2.1-TEE 目前在综合性能上领先，但可靠性和稳定性仍是许多模型需要克服的关键挑战。