💬 NLP

Cost-of-Pass: An Economic Framework for Evaluating Language Models

本文提出了名为“通过成本”（Cost-of-Pass）的经济学评估框架，通过结合准确率与推理成本来衡量语言模型的生产力，揭示了不同任务类型下的最优模型选择、成本效率的显著进步趋势，以及各类模型创新与推理技术在推动成本效益前沿中的关键作用。

原作者： Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

发布于 2026-02-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Mehmet Hamza Erol, Batu El, Mirac Suzgun, Mert Yuksekgonul, James Zou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种全新的视角来评估人工智能（AI）语言模型，我们可以把它想象成给 AI 算一笔“经济账”。

以前，大家评价 AI 主要看它“聪不聪明”（准确率）。但这篇论文的作者们（来自斯坦福大学）说：“光聪明没用，还得看贵不贵。”他们发明了一个叫"通过成本"（Cost-of-Pass）的指标，用来衡量为了得到一个正确答案，平均需要花多少钱。

为了让你更直观地理解，我们可以用几个生活中的比喻来拆解这篇论文的核心内容：

1. 核心概念：去餐厅点菜（什么是“通过成本”？）

想象你开了一家餐厅，顾客点了一道很难做的菜（比如“解一道复杂的数学题”）。

以前的做法：只问厨师（AI 模型）：“这道菜你做得对吗？”如果厨师说“对”，你就觉得他好。
这篇论文的做法：不仅问“做得对吗”，还要算账。
- 如果厨师 A 很便宜，但做 10 次只有 1 次做对，那你为了吃到一次对的菜，得花 10 份的钱。
- 如果厨师 B 很贵，但做 1 次就能对，那你可能只花 1 份的钱。
- 结论：虽然厨师 B 单价贵，但他**“通过成本”**（为了得到一次成功结果花的总钱数）反而更低，更划算。

“通过成本” = 单次尝试的成本 ÷ 做对的概率。
这个指标把“价格”和“能力”结合在了一起，告诉你到底谁才是真正“性价比之王”。

2. 三大发现：不同任务，不同“厨师”最划算

作者们测试了各种类型的任务，发现并没有一种“全能冠军”，不同的任务需要不同的“厨师”：

简单算术题（比如 2 位数加法）：
- 最划算的： 轻量级小模型（便宜的小厨师）。
- 原因：这种题太简单了，大厨师（大模型）虽然也能做，但收费太贵，杀鸡焉用牛刀。小厨师便宜又快，性价比最高。
知识问答（比如“谁发明了相对论？”）：
- 最划算的： 大型模型（经验丰富的大厨师）。
- 原因：这需要脑子里有大量的知识库。小厨师记不住，大厨师虽然贵点，但能一次做对，省去了反复试错的钱。
复杂推理题（比如奥数竞赛题）：
- 最划算的： 推理型模型（专门训练过逻辑的“特级厨师”）。
- 原因：这类题最难，普通大厨师容易想错。推理型模型虽然单次尝试很贵，但它们思考更周密，做对的概率极高，所以算总账反而最省钱。

3. 时间轴上的进步：成本在“大跳水”

作者们像看股票一样，追踪了过去一年（2024 年 5 月到 2025 年 2 月）这些“厨师”的价格变化。

发现：解决复杂数学题的“通过成本”下降得飞快，大约每几个月就减半一次！
比喻：这就像以前买一张去火星的票要 100 万美元，现在只要 50 万，再过几个月只要 25 万。AI 的进步不仅仅是变聪明了，更是变得极其便宜了。

4. 谁是功臣？（反事实分析）

作者们做了一个思想实验：如果把某类模型（比如“推理模型”）从市场上全部撤掉，会发生什么？

结果：
- 如果没有轻量级模型，简单算术题的成本会飙升。
- 如果没有大型模型，知识问答的成本会飙升。
- 如果没有推理模型，复杂数学题的成本会飙升。
启示：这三类模型是互补的，缺一不可。它们共同推动了整个 AI 行业的成本下降。

5. 避坑指南：有些“技巧”其实不省钱

现在流行一些“测试时技巧”，比如让 AI 自己多思考几次（自我修正），或者让 AI 多试几次选个众数（多数投票）。

论文发现：这些技巧虽然能让准确率稍微提高一点点，但花的钱更多。
比喻：这就像为了把一道菜做得更完美，你让厨师多试了 3 次，结果多花了 3 倍的钱，但味道只提升了一点点。对于大多数情况，直接换个更好的厨师（升级模型），而不是在同一个厨师身上花更多时间。
例外：有一种叫"TALE-EP"的预算控制技巧，稍微有点用，但效果有限。

6. 和人类专家比一比

论文还设定了一个“人类专家”的基准线（比如请一位数学家来解题要多少钱）。

现状：在很多简单任务上，AI 已经比请人类专家便宜得多了。
未来：随着成本继续下降，AI 将在更多领域取代昂贵的人类专家，成为经济上更优的选择。

总结

这篇论文告诉我们：评价 AI 不能只看它“智商”有多高，更要看它“性价比”有多好。

简单事找小模型（便宜）。
知识事找大模型（稳）。
难题找推理模型（强）。
不要盲目用那些让 AI“反复试错”的昂贵技巧，直接升级模型才是王道。

这就好比我们在生活中买东西，不再只看“功能最强”的，而是看“在满足需求的前提下，谁最省钱”。这就是这篇论文给 AI 世界带来的**“经济账”思维**。

1. 研究背景与问题 (Problem)

随着生成式人工智能（特别是大语言模型，LLMs）在经济中的广泛应用，评估其价值不再仅仅取决于模型的能力（准确性），更取决于能力与推理成本之间的权衡。

现有评估的局限性：传统的评估指标（如准确率、F1 分数）忽略了推理成本（Token 价格、计算资源）。这导致无法判断一个高性能但昂贵的模型是否比一个低成本但稍弱的模型更具经济价值。
核心挑战：如何建立一个统一的框架，将性能（成功率）和成本（货币支出）结合起来，以量化模型在特定任务上的经济生产力？
目标：确定在给定任务下，是应该使用轻量级模型、大型模型、推理模型，还是人类专家，才能实现最低的单位正确输出成本。

2. 方法论 (Methodology)

作者借鉴了经济学中的生产前沿理论（Production Frontier Theory），特别是 Farrell (1957) 的技术效率定义和 Aigner et al. (1977) 的随机前沿生产函数，提出了一个新的评估框架。

2.1 核心概念定义

通过成本 (Cost-of-Pass, $v(m, p)$ )：
- 定义：为了获得一个正确的解决方案，预期的货币成本。
- 公式： $v(m, p) = \frac{C_m(p)}{R_m(p)}$ $v (m, p) = \frac{C _{m} ( p )}{R _{m} ( p )}$
  - $C_m(p)$ ：单次推理尝试的期望成本（基于 Token 消耗和单价）。
  - $R_m(p)$ ：模型 $m$ 在问题 $p$ 上产生正确答案的概率（成功率）。
- 意义：如果模型无法解决问题（ $R=0$ ），成本为无穷大。该指标将性能与成本整合为一个单一的经济可解释指标。
前沿通过成本 (Frontier Cost-of-Pass, $V_p$ )：
- 定义：在可用选项集合（包括所有可用的 LLM 策略和人类专家）中，解决特定问题 $p$ 所能达到的最小通过成本。
- 公式： $V_p(M \cup M_0) = \min(V_p(M), v(\text{expert}, p))$
- 其中 $M_0$ 代表人类专家基线。人类专家的成本估算基于其所需的专业技能、每小时工资及解决问题所需的平均时间。
进步衡量 (Gain)：
- 定义：新模型发布导致的前沿成本降低幅度。
- 公式： $G = V_{\text{old}} - V_{\text{new}}$ 。正值表示经济价值的提升。

2.2 实验设置

模型分类：
- 轻量级模型 (Lightweight)：每百万 Token 成本 < $1（如 Llama-3.1-8B, GPT-4o mini）。
- 大型模型 (Large)：通用高性能模型（如 Llama-3.1-405B, GPT-4o, Claude 3.5 Sonnet）。
- 推理模型 (Reasoning)：经过特殊推理后训练的模型（如 OpenAI o1, o3-mini, DeepSeek-R1）。
任务类别：
- 基础定量任务：如两位数字加法、GSM8K。
- 知识密集型任务：如 GPQA-Diamond（科学问答）、BBQ（偏见基准）。
- 复杂定量推理任务：如 MATH-500, AIME 2024（数学竞赛题）。
人类专家基线估算：根据任务难度，参考专业辅导、数据标注或学术研究中的薪资标准（例如，AIME 题目专家时薪$45-$100，耗时约12分钟）。

2.3 反事实分析 (Counterfactual Analysis)

为了确定不同模型家族对前沿进步的贡献，作者计算了**“缺失某类模型时的前沿成本”。通过移除某一类模型（如所有推理模型），观察前沿成本上升的幅度，从而量化该类模型的必要性 (Essentialness)**。

3. 关键贡献 (Key Contributions)

提出了“通过成本” (Cost-of-Pass) 指标：
这是一个将准确性（概率）和成本（金额）结合的经济指标，能够直观地反映将资金投入转化为正确结果的效率。
建立了包含人类专家的前沿基准：
不仅比较模型之间的优劣，还将模型与人类专家的成本进行对比，明确了 AI 在经济上何时优于人类。
揭示了不同任务的经济生态位：
证明了没有一种模型在所有任务上都是最优的，不同任务类别有各自的经济最优解。
量化了推理时间技术的经济回报：
系统评估了常见的推理时间技术（如自我修正、多数投票）是否值得其增加的成本。

4. 主要结果 (Results)

4.1 不同任务类别的经济最优解

基础定量任务（如两位加法）：轻量级模型最具成本效益。因为所有模型在此类任务上准确率都很高，成本最低的模型自然胜出。
知识密集型任务（如 GPQA）：大型模型表现最佳。轻量级模型在复杂知识检索上准确率不足，导致通过成本激增；大型模型在准确率和成本间取得了最佳平衡。
复杂定量推理任务（如 AIME, MATH）：推理模型（Reasoning Models）虽然单价高，但凭借极高的准确率，显著降低了通过成本。尽管单次推理贵，但“一次成功”的总成本远低于轻量级模型反复尝试的成本。

4.2 前沿成本随时间的变化

指数级下降：从 2024 年 5 月到 2025 年 2 月，所有任务类别的前沿通过成本均呈指数下降趋势。
复杂任务进步最快：对于复杂定量任务（MATH-500），前沿通过成本大约每 2.6 个月 减半；AIME 任务约为 7.1 个月 减半。这表明模型能力的提升正在迅速转化为经济效率的提升。

4.3 模型家族的必要性 (Counterfactual Analysis)

轻量级模型：对基础定量任务的前沿成本降低至关重要（贡献率最高）。
大型模型：是知识密集型任务（如 GPQA）前沿成本降低的核心驱动力。
推理模型：是复杂定量推理任务（AIME, MATH）取得突破的关键。如果没有推理模型，这些任务的前沿成本将大幅上升（甚至无法解决）。

4.4 推理时间技术 (Inference-Time Techniques) 的评估

自我修正 (Self-Refinement) 和多数投票 (Majority Voting)：
- 在大多数情况下，这些技术带来的性能提升不足以抵消其增加的 Token 成本。
- 除了在某些知识密集型任务（如 GPQA）上自我修正有约 25% 的成本降低外，其他任务中它们通常不经济。
预算感知技术 (TALE-EP)：
- 这种根据预测 Token 预算动态调整生成的策略，在部分任务上显示出降低通过成本的潜力，表明预算感知是提升经济效率的关键方向。

5. 意义与影响 (Significance)

重新定义模型评估标准：
论文指出，单纯追求 SOTA（State-of-the-Art）准确率是不够的。未来的模型评估必须纳入经济维度，关注“每单位正确输出的成本”。
指导模型部署与选择：
为开发者和企业提供了清晰的决策依据：
- 做简单计算任务？选最便宜的轻量级模型。
- 做复杂数学推理？选推理模型，即使单价高，总成本也更低。
- 做科学问答？选大型通用模型。
揭示创新方向：
研究表明，模型层面的创新（如推理能力的提升、轻量级模型的优化）是降低前沿成本的主要驱动力，而简单的推理时间技巧（如盲目增加投票次数）往往得不偿失。
经济视角的 AI 发展观：
该框架将 AI 视为“随机生产者”，利用经济学原理分析其生产效率，为理解 AI 如何重塑劳动力市场（何时替代人类，何时辅助人类）提供了量化工具。

总结

《Cost-of-Pass》论文通过引入经济学中的生产前沿理论，构建了一个严谨的框架来评估语言模型的经济效率。其核心发现是：不同任务需要不同类型的模型来实现成本最优，且推理模型在解决复杂问题上的经济价值正在迅速超越传统模型。同时，论文警告称，许多旨在提升准确率的推理时间技术在经济上可能是低效的，未来的优化应更多聚焦于模型本身的架构创新和预算感知机制。这一框架为 AI 系统的实际部署、成本控制和价值评估提供了重要的理论支撑。