: Benchmarking AI Agents for Long-Term Planning and Consistent Execution
本文介绍了 ，一个通过模拟为期一年的创业过程来评估大语言模型在长周期规划、持续执行及应对不确定性方面能力的基准测试，研究发现仅有少数模型能实现盈利，且成功高度依赖“草稿纸”机制以维持跨上下文的信息连贯性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 YC-Bench 的新测试，它就像是一场**“人工智能创业模拟器”**。
想象一下，你给一个 AI 安排了一个任务：让它扮演一家初创公司的 CEO，经营这家公司整整一年。但这可不是普通的过家家，这是一场高压、充满陷阱且没有回头路的生存挑战。
为了让你更容易理解，我们可以把这篇论文的核心内容拆解成以下几个生动的故事：
1. 游戏设定：一场长达一年的“创业马拉松”
在这个测试里，AI 不是在做一道数学题，而是在跑一场马拉松。
- 起点：AI 手里有 20 万美元的启动资金。
- 目标：一年后，钱不仅不能花光，还要赚得越多越好。
- 玩法：AI 需要每天做决定：接什么项目？派哪个员工去？怎么管理现金流？
- 难点：时间跨度很长（几百个回合），而且环境是**“半盲”**的。就像你在迷雾中开车，你只能看到眼前的路，看不到远处的坑。如果 AI 记性不好，或者策略跑偏，它很快就会破产。
2. 最大的陷阱：伪装成“金主”的骗子
这是这个游戏最狡猾的地方。
- 正常客户：给你钱，让你干活，干得好以后给你更多好活。
- 骗子客户（Adversarial Clients）：他们看起来给的钱特别多，诱惑力巨大。但一旦你接了他们的活，他们会偷偷增加工作量，让你根本干不完，最后不仅拿不到钱，还要赔上信誉。
- AI 的挑战：AI 必须像侦探一样，通过过去的失败记录，认出谁是骗子，并永远不再理他们。如果 AI 记性不好（比如忘了谁骗过它），它就会反复掉进同一个坑里，直到破产。
3. 员工管理：不仅要“人多”，还要“人对”
AI 手上有 8 个员工，但他们不是机器人，每个人都有自己的特长（比如有人擅长写代码，有人擅长做研究）和工资。
- 工资陷阱：每完成一个任务，员工的工资就会涨一点。如果 AI 接了一堆烂活，员工工资涨了，但赚的钱不够付工资，公司就会倒闭。
- 策略：聪明的 AI 会把员工安排在最适合的岗位上，让他们越干越熟练（效率变高），同时避免让不擅长的人去硬扛高难度的任务。
4. 核心发现：谁赢了？为什么？
论文测试了 12 个最顶尖的 AI 模型（包括 GPT-5、Claude Opus 等），结果令人惊讶：
- 只有 3 个 AI 真正赚到了钱：大部分 AI 要么破产，要么勉强保本。
- 冠军是 Claude Opus 4.6：它最后赚了 127 万美元，是起步资金的 6 倍多。
- 性价比之王是 GLM-5：它赚了 121 万美元，但花费的“算力成本”只有冠军的 1/11。这就像是用一辆经济型轿车跑出了法拉利的成绩。
5. 为什么大多数 AI 会失败？（三大死穴）
研究人员发现，AI 失败不是因为“笨”，而是因为**“记性差”和“知行不一”**：
死穴一：记性断片（没有“小抄”）
在这个游戏中，AI 的“短期记忆”很短，就像金鱼一样，过一会就忘了之前发生的事。- 赢家做法：它们会利用一个**“记事本”（Scratchpad）**。就像你开会时记笔记一样，AI 把“谁骗过我”、“谁值得信任”、“哪个员工擅长什么”都写在记事本上。
- 输家做法：没有记事本，或者写了但不用。一旦遇到骗子，它们就忘了，下次还去接他的活，反复被割韭菜。
- 结论：会不会用“记事本”，是决定 AI 能否成功的最大因素。
死穴二：想得好，做不到（知行不一）
有些 AI（比如 Claude Sonnet）在“记事本”里写下了完美的策略：“不要接骗子的活！”、“一次只做一个项目！”。
但下一秒，它又违背了自己的原则，接了四个任务，或者又去接了骗子的活。就像一个人发誓要减肥，结果转头就吃了一块蛋糕。这种“嘴上说一套，身体做一套”是 AI 的一大通病。死穴三：盲目自信
有些 AI 像无头苍蝇，不管客户是谁，只要给钱就接，结果被骗子客户拖垮。
6. 总结：这告诉我们什么？
这篇论文告诉我们，现在的 AI 虽然很聪明，能写诗、能画图，但在**“长期规划”和“坚持执行”**方面还像个孩子。
- 真正的智能不仅仅是“反应快”，而是**“记得住”（长期记忆）和“守得住”**（严格执行策略）。
- 未来的 AI 要想真正帮人类处理复杂工作（比如管理公司、做长期投资），必须先学会**“写笔记”和“管住自己”**。
一句话总结：YC-Bench 就像一面照妖镜，照出了目前最聪明的 AI 在面对长期复杂任务时，依然容易因为“记性差”和“管不住手”而破产。谁能学会用“记事本”并坚持执行，谁就能在创业游戏中活到最后。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。