技术摘要：Ambig-DS：数据科学智能体中任务框架歧义性的基准测试

问题陈述

随着数据科学智能体从“副驾驶”向“自动驾驶”演进，一种关键的故障模式随之浮现：静默误框架化。与执行错误（如代码崩溃或语法错误）不同，静默误框架化发生在智能体采纳了对任务目标的看似合理但非预期的解释时。智能体生成了干净、可执行的流水线以及有效的提交产物，但底层的任务框架（预测目标或评估目标）却是错误的。由于流水线运行成功且提交格式正确，主要依据流水线执行和产物有效性进行评分的标准基准测试无法检测到此类故障。

当前的基准测试（如 DS-1000、DSBench、MLE-bench）通常提供完全指定的提示，其中明确定义了预测目标、输出形式和评估指标。然而，现实世界的数据科学工作流往往缺乏这些承诺；利益相关者仅提供目标和数据，而将决定何为预测目标及成功标准的任务留给建模者。本文认为，识别任务何时未充分指定（即提示与数据的观察结果不足以支持唯一的承诺）并在行动前寻求澄清的能力，是当前智能体评估中缺失的一项能力。

方法论

作者引入了Ambig-DS，这是一个成对的诊断基准测试，旨在隔离并衡量任务框架的歧义性。该基准测试包含两个独立分析的套件：

1. Ambig-DS-Target（51 个任务）： 基于DSBench（表格建模）构建。
   • 干预措施： 受控的提示 - 数据编辑，其中真实的目标列被重命名（例如改为 val_1），并添加一个看似合理的诱饵目标（val_2）。提示被重写为使用通用语言（例如“预测值”），而非具体的目标名称。
   • 构建过程： 诱饵目标被设计为具有与真实目标相同的边缘分布，但由不同的特征集驱动。噪声经过校准，使得诱饵目标从特征中可预测的程度几乎与真实目标相当，从而防止智能体通过简单的相关性或可学习性检查来区分它们。
2. Ambig-DS-Objective（61 个任务）： 基于MLE-bench（Kaggle 风格竞赛）构建。
   • 干预措施： 仅针对提示的编辑，移除明确的指标引用（如"ROC-AUC"、"RMSE"），并替换为通用短语，如“标准评估程序”。数据、目标和提交格式保持不变。
   • 目标： 制造关于智能体应提交概率、硬标签，或如何优化（例如最大化与最小化）的歧义性。

验证协议：
每个歧义变体都经过严格的验证流程，包括人工审查和跨家族大语言模型（LLM）审计，对照四项清单进行检查：

• 合理的替代方案： 至少存在两种合理的框架。
• 歧义性保留： 提示或数据中没有任何线索泄露预期的框架。
• 决策相关性： 解决歧义性会改变关键的任务级选择（例如目标选择、输出类型）。
• 任务保留： 编辑未改变与任务无关的信息。

评估条件：
智能体在以下三种条件下进行评估：

1. 完整（Full）： 原始、完全指定的任务。
2. 歧义（Ambig.）： 歧义变体，无澄清渠道。智能体必须静默地做出承诺。
3. 询问（Ask）： 歧义变体，智能体可在建模前向澄清神谕（Clarification Oracle）提出一个独立的澄清问题（≤50 词）。神谕诚实地回答，但仅限于特定的缺失框架变量（目标名称或指标细节），并拒绝超出范围的要求。

主要贡献

1. 任务框架的形式化： 本文隔离了两个核心框架变量：预测目标（$T$）和评估目标（$M$）。它将“未标记的误框架化”定义为未能识别未充分指定性，并在未询问的情况下承诺于非预期的框架。
2. Ambig-DS 基准测试： 发布了两个诊断套件（共 112 个成对任务），通过受控干预构建，同时保留了原始来源基准测试的评估器。这确保了性能下降完全归因于框架歧义性，而非评分规则的变化。
3. 实证量化： 本文量化了静默误框架化的普遍性，以及“先问后动”行为在五个前沿及高效代码智能体（Gemini 3 Flash/Pro, GPT-5.4 Nano/Pro, Claude Haiku 4.5）中的校准情况。

结果

1. 静默误框架化普遍存在

在所有智能体中，歧义性导致了显著的性能下降：

• 目标歧义性： 智能体在**39–63%**的歧义运行中承诺了错误的目标（具体取决于模型）。这些是有效且可执行的流水线，但解决的是错误的问题。
• 目标歧义性： 智能体在**16–62%**的运行中表现出静默故障。这分为两种模式：
  • 误框架化： 优化看似合理但非预期的指标（例如用准确率代替 AUC）。
  • 放弃： 提交退化的基线（例如恒定预测），而不是尝试解决歧义性。
• 静默承诺： 即使智能体在其内部轨迹中承认了歧义性，它们也很少将最终承诺标记为用户可覆盖的。这种故障的特征是“静默承诺”于默认框架。

2. 澄清可恢复性能

当允许智能体向神谕提出一个问题时：

• 恢复： 性能显著恢复，$\Delta_{ask}$（询问得分减去歧义得分）范围在**+0.03 至 +0.20**之间。
• 能力与检测： 智能体展示了在完美提供框架信息时整合框架信息的能力（恢复率高），但缺乏检测何时需要询问的校准能力。
• 校准失败： 没有任何模型 - 提示组合实现了稳健的校准：
  • 宽松提示： 导致在歧义任务上的高召回率，但在完全指定任务上产生高误报（询问不必要的问题）。
  • 保守提示： 减少了误报，但抑制了在歧义任务上的正当询问，导致静默默认。

3. 故障特征

• 目标套件： 故障表现为离散的错误目标提交。
• 目标套件： 故障是实质性误框架化（错误指标）和放弃（放弃尝试）的混合。
• 跨套件一致性： 在歧义性下的退化模式以及在澄清下的恢复模式，在不同模型家族（Gemini、GPT、Claude）中保持一致，并非特定神谕或裁判模型使用的产物。

意义与主张

本文主张，识别目标和目标的未充分指定性是标准数据科学智能体评估中缺失的瓶颈。

• 能力解耦： 该工作将流水线执行能力（智能体能否运行代码？）与任务框架能力（智能体是否知道要解决什么？）区分开来。标准基准测试通过假设任务已完全指定，混淆了这两者。
• 可操作的信号：
  • 对用户： 框架变量（目标、指标、输出类型）必须明确指定；省略它们会导致即使对于有能力的智能体也会出现可靠的性能下降。
  • 对构建者： “询问 - 行动校准”应成为后训练或提示工程的具体目标。当前的提示策略虽然改变了工作点，但并未产生对决策相关歧义性的稳健敏感性。
  • 对基准设计者： 基准测试应将完全指定的任务与诊断性的歧义变体配对，以避免高估智能体的能力。

作者保持谦逊的立场，指出 Ambig-DS 是一个受控的诊断套件，而非对所有现实世界歧义性的普查。结果估算的是在已验证的、与决策相关的歧义性下的故障模式，而非提供所有数据科学任务的故障率。该研究强调，虽然智能体在被提供时能够利用缺失的信息，但它们目前无法可靠地检测何时需要这些信息。