Generating Expressive and Customizable Evals for Timeseries Data Analysis Agents with AgentFuel

针对现有时间序列数据分析代理在评估中缺乏领域定制化数据集和特定查询类型的问题，本文提出了 AgentFuel 框架，帮助领域专家快速生成可定制的评估基准，从而有效暴露现有框架的不足并提升代理性能。

要点

这篇论文讲述了一个关于**“如何教 AI 更聪明地处理时间序列数据”**的故事。

想象一下，你有一个非常聪明的**“数据侦探”**（这就是所谓的“数据分析 Agent"）。你可以像跟朋友聊天一样问它：“上个月我们的服务器是不是出过故障？”或者“用户把商品加入购物车后，通常多久会放弃购买？”。

这篇论文的作者（来自 Rockfish Data 和卡内基梅隆大学）发现，虽然这些“数据侦探”在回答简单问题（比如“上个月总共有多少用户？”）时表现不错，但一旦遇到复杂、有上下文、或者涉及突发事件的问题，它们就会变得“笨手笨脚”，甚至给出完全错误的答案。

为了解决这个问题，他们开发了一个叫 AgentFuel 的工具。

1. 核心问题：为什么现在的“数据侦探”会翻车？

作者发现，现有的测试方法就像是在**“用幼儿园试卷考大学生”**。

• 现状：目前的测试数据集大多像“静态照片”。比如，它们只问：“这张照片里有多少个苹果？”（简单统计）。
• 现实需求：但在真实世界（如电信监控、物联网、电商分析）中，数据是**“动态电影”**。
  • 状态依赖（Stateful）：你需要问：“在用户把商品加入购物车之后，但在结账之前，他们看了多少次商品详情？”这需要侦探记住“时间线”和“状态变化”。
  • 突发事件（Incidents）：你需要问："当核心节点过载时，有多少个基站失去了连接？”这需要侦探能先发现哪里出了问题，再分析后果。

作者测试了 6 个流行的 AI 数据工具，发现它们在处理这种“动态电影”式的问题时，准确率从简单的 73% 暴跌到了 10% 左右。它们要么记不住时间顺序，要么根本找不到哪里发生了“事故”。

2. 解决方案：AgentFuel（AI 的“特训营”）

AgentFuel 就像一个**“定制化特训营”**，专门用来训练和测试这些“数据侦探”，让它们准备好应对真实世界的复杂挑战。

它的工作流程可以用三个步骤来比喻：

第一步：制造“模拟战场”（数据生成）

传统的测试数据是死板的。AgentFuel 会先根据专家的描述，自动生成一个逼真的“模拟世界”。

• 比喻：就像电影导演为了拍一部关于“火灾”的电影，不会真的去烧一栋楼，而是搭建一个逼真的布景，里面既有正常的居民生活，也有精心设计的“火灾”场景（比如烟雾、警报）。
• 功能：它能模拟各种情况：正常的流量、突然的流量洪峰、设备故障、数据中断等。它确保数据里既有“风平浪静”的日子，也有“惊涛骇浪”的突发事件。

第二步：设计“刁钻考题”（问题生成）

有了模拟数据，AgentFuel 会生成一系列**“对症下药”**的问题。

• 比喻：普通的考试问：“今天天气怎么样？”AgentFuel 出的题是：“如果昨天下午 3 点发生了地震，那么 3 点 15 分的时候，哪些街道的交通灯是红色的？”
• 功能：这些问题专门针对“状态变化”和“突发事件”。它会问：“在服务器过载的那 10 分钟里，有多少用户流失了？”或者“用户从浏览商品到放弃购物车，中间经历了什么？”

第三步：实战演练与评分（测试与反馈）

把“数据侦探”放进这个模拟战场，让它回答问题。

• 比喻：就像消防演习。把消防员（AI）扔进模拟火灾现场，看它能不能在 5 分钟内找到火源并正确灭火。如果它答错了，系统会记录它是“没找到火源”还是“记错了时间”。
• 结果：通过这种测试，开发者能清楚地看到 AI 哪里不行，然后针对性地改进。

3. 实验结果：特训真的有用吗？

作者用 AgentFuel 测试了 Databricks Genie、Snowflake Cortex 等主流工具，发现：

1. 差距巨大：在简单问题上，AI 表现尚可；但在涉及“状态”和“事故”的复杂问题上，它们几乎全军覆没。
2. 改进显著：作者尝试用 AgentFuel 生成的数据来“训练”或“优化”AI 的提示词（Prompt）。结果发现，经过这种“特训”后，AI 在解决复杂问题上的准确率提升了 17%。

4. 总结与启示

AgentFuel 的核心贡献在于：

• 不再“纸上谈兵”：它不再使用通用的、简单的数据集，而是为特定行业（如电信、物联网、电商）量身定制“模拟战场”。
• 关注“剧情”而非“截图”：它强调数据的时间顺序和因果关系，这正是真实业务中最关键的部分。
• 可定制：任何领域的专家都可以用它快速生成自己的测试题，确保 AI 在上线前真的“懂行”。

一句话总结：
这篇论文告诉我们，想要让 AI 真正帮企业处理复杂的数据分析，不能只拿它做简单的算术题，必须给它搭建一个包含“突发事件”和“时间剧情”的模拟世界进行特训。AgentFuel 就是那个能帮你搭建这个世界的“魔法工具箱”。

技术摘要

论文技术总结：使用 AgentFuel 为时序数据分析 Agent 生成可表达且可定制的评估

1. 研究背景与问题定义

随着物联网 (IoT)、可观测性 (Observability)、电信和网络安全等领域的快速发展，基于对话的“与数据对话”（Talk to your data）数据分析 Agent 正在被广泛采用。这些 Agent 旨在让非专家用户通过自然语言查询时序数据以获取洞察。

然而，现有的评估框架存在显著的表达性缺口（Expressivity Gaps），导致 Agent 在实际部署中表现不佳：

• 数据集缺口：现有的基准测试（如 Spider2-Snow, BIRD）主要使用通用或静态数据，缺乏特定领域（如电信、IoT）的语义特征，无法捕捉“正常模式”与“异常/事故模式”（如指标尖峰、数据中断、用户行为序列）。
• 查询类型缺口：现有基准多关注无状态（Stateless）的聚合查询，而实际业务场景高度依赖**有状态（Stateful）上下文分析（如“用户在添加购物车后 10 分钟内是否放弃”）和事故特定（Incident-specific）**查询（如“主机下载恶意文件后是否发送了大量出站流量”）。

核心问题：当前的评估方法无法有效检测时序数据分析 Agent 在处理复杂状态依赖和异常检测任务时的能力缺陷。

2. 方法论：AgentFuel 系统设计

为了解决上述问题，作者提出了 AgentFuel，一个用于生成可定制、高表达性评估基准的框架。该系统旨在帮助领域专家快速创建端到端的功能测试，涵盖从数据生成到评估的全流程。

2.1 核心设计原则

1. 端到端确定性评估：关注 Agent 的最终功能输出，而非中间步骤（如代码生成或工具调用），以应对复合 Agent 系统的快速演变。
2. 代表性数据：生成的数据必须反映目标领域的自然语义（如季节性、异质性）和特定模式。
3. 数据 - 查询对齐：确保生成的查询与数据中的特定事件（如事故、尖峰）严格对应，避免“假阳性”评估。

2.2 系统架构与工作流程

AgentFuel 分为三个逻辑阶段（如图 3 所示）：

阶段一：定制化时序数据生成 (Dataset Generation)

• 实体规范 (Entity Specifications)：定义实体（如传感器、用户）的静态属性分布和状态转换图（State Transition Diagrams）。
• 示例数据集 (Exemplar Datasets)：生成编码特定行为的自包含合成数据集（例如：“正常”、“性能降级”、“故障”模式）。
• 全局组装 (Global Assembly)：将时间划分为多个纪元（Epochs），通过混合不同示例（Blending）生成大规模全局数据集，可模拟渐进式漂移、季节性波动或突发事故。
• 模式注入 (Pattern Injection)：利用可扩展库注入企业常见模式（如 KPI 退化、数据中断、突发流量）。
• 技术实现：结合 LLM 的世界模型知识与 Python SDK 的可控生成，确保数据符合专家意图。

阶段二：数据对齐的问答对生成 (Q-A Pair Generation)

• 查询模板：
  • 无状态查询：基于时间窗口的聚合统计（计数、均值），不依赖事件序列。
  • 有状态查询：依赖事件序列和时序逻辑（如状态机重放），计算状态持续时间、转换频率、序列匹配等。
  • 事故特定查询：针对注入的事故模式，设计检测事故、分析受影响实体及对比基线的查询。
• 自然语言变体：利用 LLM 将结构化查询转换为不同用户角色（如数据工程师、SRE、高管）和不同方言的自然语言问题，模拟真实用户意图。

阶段三：测试集成 (Test Integration)

• 将生成的数据集和问答对导出，集成到现有的 CI/CD 或 Agent 评估工作流中，进行黑盒测试和评分。

3. 实验评估与结果

3.1 实验设置

• 领域：电商产品分析、IoT 传感器监控、电信无线接入网 (RAN) 数据。
• 评估对象：4 种主流 Agent（Databricks Genie, Snowflake Cortex, Nao, PandasAI），涵盖开源与闭源方案。
• 指标：准确率 (Accuracy)、Pass@2、自一致性 (Self-consistency)。

3.2 关键发现

1. 现有 Agent 在特定场景下表现糟糕：

   • 在简单的无状态聚合查询上，Agent 准确率约为 73%。
   • 在有状态查询上，准确率骤降至 34%。
   • 在事故特定查询上，准确率仅为 10% 左右。
   • 电信领域的基准测试最难，因为涉及多表关联和复杂的事故检测逻辑。

2. 失败模式分析：

   • 无状态查询：主要错误是模式混淆（Schema Confusion），如选择错误的表或时间区间。
   • 有状态查询：缺乏状态跟踪能力。Agent 无法在会话中追踪事件序列（例如，无法区分“添加购物车后”和“添加购物车前”的浏览行为），导致计数膨胀。
   • 事故查询：缺乏数据探索能力。Agent 倾向于使用固定的全局时间窗口或硬编码阈值，而不是从数据中动态检测异常或识别受影响实体。

3. AgentFuel 的优化价值：

   • 将 AgentFuel 生成的评估数据用于 GEPA（一种提示词优化框架）的训练循环中。
   • 结果显示，经过优化的 Agent 在电信事故查询上的准确率提升了 17%（特定模型提升达 25%），证明了该评估框架不仅能发现问题，还能指导 Agent 性能改进。

4. 主要贡献

1. 揭示了表达性缺口：通过实证研究证明，现有的通用基准无法评估时序 Agent 在状态依赖和事故检测方面的关键能力，导致部署风险。
2. 提出了 AgentFuel 框架：首个支持领域专家快速生成定制化、高保真时序评估基准的系统，包含可控的数据生成、模式注入和查询对齐机制。
3. 开源基准数据集：发布了包含电商、IoT、电信三个领域的评估数据集和问答对（HuggingFace 链接），填补了该领域缺乏专用基准的空白。
4. 验证了评估驱动的开发价值：证明了利用定制化评估数据（AgentFuel）结合提示词优化，能显著提升 Agent 在复杂时序任务中的表现。

5. 意义与未来展望

• 行业意义：为电信、IoT、网络安全等关键基础设施领域的 AI 落地提供了可靠的“安全网”，确保 Agent 在处理事故和复杂业务逻辑时的可靠性。
• 学术意义：推动了从静态 Text-to-SQL 评估向动态、有状态、事故感知的时序 Agent 评估范式的转变。
• 局限性：目前主要关注单轮交互，未涵盖多轮对话和历史上下文；主要关注分析阶段，未深入数据清洗和预处理环节。
• 未来工作：计划扩展至多轮对话评估，集成后端追踪（Tracing）以进行更细粒度的故障调试，并探索连续训练（Continuous Training）场景。

总结：AgentFuel 通过构建“数据 - 查询 - 事故”高度对齐的定制化评估体系，解决了当前时序数据分析 Agent 在复杂场景下可靠性评估缺失的痛点，为构建更稳健的企业级 AI 数据助手提供了关键工具和方法论。