Evaluating Agentic Optimization on Large Codebases
本文介绍了 FormulaCode 基准，该基准通过从 GitHub 科学 Python 仓库中提取的 957 个真实性能瓶颈及专家补丁，利用细粒度多目标指标评估大语言模型代理在大规模代码库上进行优化时仍面临显著挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 FORMULACODE 的新工具，它的目的是给那些能自动写代码的“人工智能助手”（我们叫它们AI 特工）进行一场高难度的“赛车拉力赛”。
为了让你轻松理解，我们可以把整个故事想象成F1 赛车（一级方程式赛车）的调校过程。
1. 背景：以前的比赛太简单了
过去，我们测试 AI 写代码的能力，就像是在驾校的封闭场地里练车。
- 题目太假：题目通常是 AI 自己编的，或者像“写一个函数把两个数字相加”这种简单任务。
- 只看对错：只要车能跑起来（代码能运行），就算满分。
- 只看局部：只检查某个零件（函数）好不好用，不管整辆车（整个软件系统）快不快。
但这就像在驾校练好了，却不敢上真正的 F1 赛道。现实中的软件优化，需要处理成千上万行代码，还要在保持功能不出错的前提下，让系统跑得更快。
2. 新工具：FORMULACODE（公式代码）
作者们说：“我们需要一个真正的 F1 赛道来测试这些 AI 车手。”于是，他们造出了 FORMULACODE。
赛道是什么？
它不是虚构的，而是从 GitHub 上真实的、巨大的开源科学项目（比如 Pandas、Scikit-learn 这些处理数据的超级工具）里，挖掘出来的957 个真实的性能瓶颈。- 比喻：这就好比从真实的 F1 车队里，找出了 957 个具体的“赛车太慢”的问题（比如：转弯太慢、引擎过热、换胎太慢）。
考题有多难？
每个问题都不止让你修一个零件。每个任务都配了264 个由人类专家编写的“压力测试”。- 比喻：AI 不仅要修好引擎，还要保证在高速过弯、雨天行驶、满载乘客等200 多种不同路况下，赛车依然既快又稳。如果为了提速导致刹车失灵（代码出错），或者为了安全把速度降得太低，都不算赢。
评分标准
以前只看“修没修好”。现在要看：- 有没有出错？（安全性）
- 比人类专家修得更快吗？（性能）
- 在所有路况下都变快了吗？（全局优化）
3. 比赛结果：AI 表现如何？
作者们让目前最顶尖的 AI（像 GPT-5, Claude 4.0, Gemini 等）上场跑了一圈，结果发现：
AI 能跑，但跑不过人类专家：
AI 确实能修车，也能让车稍微快一点点，但平均来说，它们还是比人类赛车工程师（专家）慢。- 比喻：AI 是个聪明的实习生，能发现明显的螺丝松了并拧紧，但人类专家能看出“空气动力学设计不合理”这种深层问题，并彻底重构。
擅长“小修小补”，不擅长“大改”：
AI 很擅长优化某个具体的函数（比如把某个循环写得更顺），但在需要改动整个系统架构（比如重新设计底盘）时，它们就晕头转向了。- 比喻：AI 擅长给轮胎换更滑的橡胶，但人类专家知道要换个更轻的碳纤维车架。
策略单一：
AI 喜欢用“并行处理”（多开几个线程一起跑）这种简单粗暴的方法，但不太会做“向量化”（用更聪明的数学公式一次性算完）这种高级技巧。越大的项目越难：
在那些非常流行、代码极其复杂的项目里，AI 的表现反而更差。可能是因为这些项目的“潜规则”太多，AI 没学过。
4. 为什么这个很重要？
这就好比以前我们只敢让 AI 在模拟器里开车，现在我们把它扔到了真实的 F1 赛道上。
- 对科学家来说：这是一个公平的考场，能告诉我们 AI 到底离“自动优化复杂软件”还有多远，避免被虚假的分数误导。
- 对普通人来说：这意味着未来的 AI 不仅能帮你写个简单的脚本，还能真正帮工程师优化那些处理海量数据的超级软件，让你的手机、电脑、甚至科学计算跑得更快。
总结
FORMULACODE 就像是一个残酷但真实的“赛车训练营”。它告诉我们要想造出能自动优化大型软件的 AI，光会“写代码”是不够的，必须学会在保持安全的前提下，在成千上万个复杂场景中，做出全局最优的决策。目前，AI 还是个有潜力的新手，离成为真正的"F1 冠军”还有很长的路要走。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。