技术摘要：开源 AI 采用与能力的经济指数

问题陈述

尽管全球在生成式 AI 领域投入了大量资金且组织采用率广泛，但关于 AI 对特定劳动任务具体影响的实证证据仍然模糊不清。现有的衡量 AI 经济影响的方法存在关键局限性：

• 调查法： 由于社会期望偏差（social desirability bias），容易出现报告不足的问题。
• 受控实验： 通常局限于单一职业，缺乏宏观经济图景。
• 先前的对话分析： 先前将用户-LLM 对话映射到职业任务的研究（如 Handa 等人、Chatterji 等人）依赖于私有数据，阻碍了可复现性。此外，仅仅对对话进行分类并不能衡量 AI 执行这些任务的实际性能或能力。
• 能力基准测试： 现有的基准测试（如 GDPval、Remote Labor Index）通常依赖于自定义生成的任务或人工评分的交付物，这引入了歧义并限制了评估规模。

因此，需要一个开源、可复现的框架，能够同时衡量不同职业的 AI 采用率 以及 AI 智能体执行观察到的真实世界使用中的特定任务的 功能能力。

方法论

作者提出了一个由两部分组成的系统来解决这些差距：用于衡量采用情况的 开源经济指数 和用于衡量性能的 经济能力基准。

1. 开源经济指数（采用情况衡量）

该系统利用公开数据量化哪些职业领域正在利用 AI 以及这种利用的深度。

• 数据来源： 研究使用了 WildChat-4.8M 数据集，这是一个非毒性的人机对话集合。
• 过滤流水线：
  1. 语言/唯一性： 筛选出唯一的英文对话。
  2. 职业相关性： 使用 gpt-oss-120b 将对话分类为“职业相关”（与工作/专业任务相关）。这产生了约 789,000 条相关对话。
  3. 语义映射： 将相关对话映射到 O*NET（职业信息网络）任务。
     • 步骤 1： 将对话总结为单个请求。
     • 步骤 2： 使用 Qwen3-Embedding-0.6B 生成嵌入，并针对 O*NET 任务（2,087 个详细工作活动、332 个中间级、41 个工作活动）进行最近邻搜索。
     • 步骤 3： 使用 gpt-4o-mini 作为过滤器，仅保留核心技能或活动与对话重叠的任务。
• 聚合： 对对话按任务数量进行加权，并在职业层面进行聚合，以创建代表性和渗透深度的指数。

2. 经济能力基准（性能衡量）

该系统评估 AI 智能体是否能够自主或协作地执行在采用指数中识别出的任务。

• 场景生成：
  • 基于 O*NET 任务 和来自 Smithery 的 MCP（模型上下文协议） 服务器。
  • 系统爬取 Smithery 服务器，验证工具质量，并通过嵌入将 O*NET 任务与可用工具进行语义匹配。
  • 场景被生成为 (职业, 任务, 服务器) 元组，通过提示 LLM 创建具有特定工具调用答案键（answer keys）的现实工作请求。
• 评估模式：
  • 单轮（Single-Turn）： 工作流的自主执行。
  • 多轮（Multi-Turn）： 协作执行，其中模拟的用户智能体会隐瞒关键参数，要求 AI 提出澄清性问题（角色反转）。
• 评估维度（LLM-as-Judge）：
  • 工具调用准确性： 检查工具和参数是否正确的二元检查（功能等效性）。
  • 工作流完成度： 采用 1–5 分制，评估多步序列化和数据流。
  • 落地性（Grounding）： 采用 1–5 分制，评估主张是否得到工具输出的支持（而非幻觉）。
  • 自主性与后续质量： 专门针对多轮场景，衡量独立性和信息收集能力。

关键结果

采用情况发现

• 行业集中度： AI 采用率最高的是 艺术、设计、娱乐，商业与金融，以及 计算机与数学 领域。
• 低采用率： 与其他白领领域相比，法律服务领域的 LLM 适应率出奇地低。
• 使用深度： 虽然可见采用现象，但深度渗透有限。仅有 0.4% 的职业在至少 75% 的任务中显示出 AI 使用（相比之下，之前的私有研究约为 4%）。
• 技能使用： 认知技能（写作、编程、批判性思维、阅读理解）在指数中占据主导地位。

能力发现

作者在 9 个高频职业（如程序员、人力资源专家、记者）中测试了 Kimi-k2.5 模型，使用了约 5,000 个生成的场景。

• 宏观 vs 微观性能： AI 智能体在高级工作流完成度方面表现出很强的能力（平均得分 ~4.08/5），但在细粒度细节上经常出错。
• 工具调用准确性： 仅有约 60% 的所需工具调用被正确执行。错误通常涉及幻觉参数或缺失必要参数。
• 落地性： 平均落地性得分约为 3.7/5，表明存在不可忽视的幻觉率，即主张无法得到工具输出的支持。
• 人机协同（Human-in-the-Loop）： 在多轮场景中，用户协作能提高工作流完成度，但往往会降低工具调用准确性和落地性，这表明人类监督对于细粒度步骤仍然至关重要。
• 差异性： 理论能力（智能体在基准测试中能做的事）往往超过了当前现实世界采用的深度，然而，由于协作型工作流优于纯粹的自主执行，完全的职业替代目前尚不现实。

意义与贡献

该论文声称其对 AI 经济学和评估领域的贡献如下：

1. 可复现性： 通过利用开源的 WildChat 数据集和开源映射流水线，作者提供了一个透明的替代方案，用于取代私有的经济指数，从而允许对 AI 采用趋势进行独立验证。
2. 细粒度能力评估： 该基准测试超越了针对人类或静态任务的“胜率”对比。它在 基于 O*NET 且由工具介导的工作流 上评估智能体，区分了自主执行与协作引导。
3. 细致的劳动力市场洞察： 研究挑战了“立即实现全面自动化”的叙述。它表明，虽然 AI 可以处理宏观工作流，但劳动力影响的“锯齿状前沿”（jagged frontier）是由细粒度工具使用的错误以及对人类监督的需求所定义的。
4. 方法论创新： 将 MCP 服务器 与 O*NET 分类法 相结合，创建了一个可扩展且动态的基准，反映了真实的软件生态系统，而非静态的自定义任务。

作者得出结论：虽然 AI 采用正在增长，但由于在工具执行和错误纠正方面存在高水平工作流成功与频繁需要人工干预之间的差距，大规模失业的风险目前得到了缓解。