🤖 AI

Making Failure Safe: A Constrained, Verifiable Agent Framework for Open-Web Data Collection

本文提出了一种受限且可验证的智能体框架，该框架通过使用类型化的 JSON 收集器配置和静态执行流水线，取代了不可靠的自由形式 LLM 代码生成，从而实现确定、低成本且可复用的开放网络数据采集。

原作者： Bo Chen

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你需要雇佣一个机器人去每天从成千上万个不同的网站中收集特定的信息。你可以直接告诉机器人：“去获取新闻，”然后寄希望于它能自己搞明白怎么做。但正如这篇论文所解释的，这种“自由放任”的方法就像是让一个孩子在没有任何指令的情况下进入图书馆；他们可能会抓错书，可能会被椅子绊倒，或者带回一堆乱七八糟的页面。

这篇论文提出了一种构建这些数据采集机器人（称为“智能体/agents”）的新方法，使之变得安全、可预测且易于修复。以下是其工作原理，通过简单的概念进行拆解：

1. 问题所在：网络爬虫的“西部荒野”

目前，如果你要求 AI 编写一段代码来爬取某个网站，它通常会尝试每次都从头开始编写全新的脚本。

问题： 网站是杂乱无章且经常变化的。如果 AI 对页面上价格标签的位置判断错误，整个脚本就会崩溃。
结果： 你会得到错误、损坏的数据，或者一旦网站更新布局，脚本就会停止工作。这就像每次铺砖时都要重新猜测砖块应该放在哪里一样。

2. 解决方案：“乐高套装”法

与其让 AI 编写自由形式的代码（就像写小说），不如强制 AI 填写一份结构化表格（就像填写乐高说明书）。

分类法（6 种类型）： 系统首先会询问：“这是一个什么样的任务？”它将任务分为六个特定类型，就像一份菜单：
1. 搜索 (Search)： 根据关键词寻找链接。
2. 列表 (List)： 遍历项目页面（如新闻存档）。
3. 详情 (Detail)： 阅读单个页面的完整内容。
4. API： 直接向计算机请求数据（如按菜单点餐）。
5. 交互 (Interactive)： 在动态页面上点击按钮或输入内容。
6. 文件 (File)： 下载 PDF 或 Excel 表格。
- 类比： 与其告诉厨师“做顿饭”，不如告诉他“你在做汤”，这样他就只会使用制作汤的工具和食谱。这能防止他在你想喝汤时却去烤蛋糕。
约束条件（安全护栏）： AI 不被允许发明新的代码。它必须从一个预先批准的“工具函数库”（预建工具）中进行选择，并在模板中填空。
- 类比： 这就像玩“填词游戏 (Mad Libs)”，AI 只能在提供的特定空格中填入内容，而不是编写整个故事。这确保了输出格式始终是计算机可以理解的。

3. 流程：“试驾”循环

该框架不会立即将机器人派出去。它使用一个严格的“生成 $\rightarrow$ 检查 $\rightarrow$ 修复”循环：

生成 (Generate)： AI 根据用户的请求创建一个配置文件（JSON 计划）。
试驾 (验证/Validation)： 在执行完整任务之前，系统会在仅有的几个页面上运行一个微小的、低成本的测试。
质量检查（裁判员）： 一个基于规则的系统（而非 AI）会对结果进行检查。它会询问：“我们拿到了正确的字段吗？数据是空的吗？程序崩溃了吗？”
- 关键点： 如果测试失败，系统不仅仅是说“再试一次”，它还会创建一个特定的“黑名单”，规定哪些是不能做的（例如：“不要在页脚寻找价格”）。
修复 (Fix)： AI 再次尝试，但这一次它被迫避开刚才犯过的错误。
规模化 (Scale Up)： 只有当试驾通过后，系统才会运行完整的采集任务。

4. 结果：速度与完美的权衡

作者在 138 个不同的数据采集任务上测试了该方法。以下是他们的发现：

单次执行质量 (One-Shot Quality)： 如果你只想现在抓取一次数据，那些允许 AI 编写自由代码的方法在即时效果上可能略好（约 70% 的成功率，而本方法为 50%）。
权衡之处： 然而，作者的方法在重复运行时速度更快且成本更低。
- 神奇之处： 一旦计划制定完成，实际的采集过程将完全不使用任何 AI。它只是执行预先做好的计划。
- 类比： 其他方法就像是为阅读的每一句话都雇佣一名人工翻译。而这种方法则是先雇佣一名翻译来编写一本字典，然后永久使用这本字典。
可靠性： 当系统失败时，它不会静默失败。它会产生一份清晰的错误报告，允许“修复”循环来纠正错误。在测试中，这个反馈循环将一个失败的系统（0% 通过率）变成了一个完美的系统（100% 通过率）。

总结

这篇论文认为，我们不应该试图让 AI “完美地”去猜测如何爬取网页。相反，我们应该约束 AI 去遵循严格的规则，使用预建工具，并在进行正式工作前进行“试驾”。

通过用一点点初始的完美度，换取一个可验证、可复用且运行廉价的系统，该框架使得自动化数据采集变得足够可靠，可以用于现实世界的定期任务（如每天早上收集新闻或政府数据），而无需在网站发生变化时由人工去修复代码。

技术摘要：使失败安全化：一种用于开放网络数据采集的受限、可验证智能体框架

1. 问题定义

本文探讨了使用大语言模型（LLM）和智能体进行直接开放网络数据采集时存在的不可靠性问题。虽然 LLM 可以根据自然语言生成爬虫代码，但直接应用会因网页的异构性以及 LLM 代码生成的随机不一致性而导致结构性脆弱。常见的失败模式包括依赖错误、选择器失效、模式（schema）不匹配以及输出格式不一致。传统的流水线依赖人工干预，而无约束的智能体方法则缺乏可验证性，导致在生产环境中难以审计、衡量或纠正失败。

核心挑战在于如何从“完美的智能体推理”转向“可验证的采集流水线”，使每一个阶段的输入和输出都能够被检查、衡量和审计。

2. 方法论

作者提出了一种受限且可验证的智能体框架，该框架用生成类型化的 JSON 采集器配置取代了自由形式的代码生成。系统运行在一个“生成—执行—检查—修复”的闭环之上，将 LLM 的角色（需求理解与配置生成）与执行引擎（静态 Airflow DAG）解耦。

2.1 六类采集器分类法

为了强制执行结构边界，该框架定义了一个包含六种采集器类型的分类法，每种类型都有明确的功能边界和组合规则：

搜索 (Search)： 通过关键词发现候选 URL（不进行内容提取）。
列表 (List)： 遍历分页列表以寻找详情链接（不进行深度内容提取）。
详情 (Detail)： 从单个页面提取结构化字段。
API： 调用公共 API 并映射响应字段（不进行浏览器交互）。
交互 (Interactive)： 在动态页面上执行点击和输入操作（不绕过身份验证/CAPTCHA）。
文件 (File)： 下载并解析公共文件（PDF、Excel）。

2.2 受限智能体框架

该框架由五个模块组成，运行在四类约束之下：

需求理解智能体 (Requirement Understanding Agent)： 将自然语言描述 ( $d$ ) 转换为完整的任务表示 ( $R$ )，通过主动探测目标网站（首页、站点地图、示例页面）来提取源上下文 ( $x$ )。
采集器实例化智能体 (Collector Instantiation Agent)： 采用“参考编码 + 模板槽填充”的方法生成 JSON 配置 ( $M$ $M$ )。该智能体不再编写代码，而是通过填充受以下约束限制的预建模板中的槽位：
- 任务类型约束： 确保选择了正确的采集器类型。
- 配置结构约束： 强制执行 JSON Schema 合规性。
- 工具复用约束： 复用预建的工具函数而非生成新代码。
Airflow 验证与规模化执行： 使用静态 Airflow DAG 执行 JSON 配置。验证运行使用小样本参数，将错误转移到低成本的预生产阶段；而规模化运行则使用生产参数。这确保了在执行阶段不会消耗任何 LLM Token。
质量检查模块 (Quality Check Module)： 一个基于规则的、确定性的评估器（非 LLM），从五个维度对结果进行评分：结构、内容、相关性、附件和执行。它生成一个综合得分 ( $S$ ) 和一份错误报告。
反馈修正模块 (Feedback Correction Module)： 将质量报告转换为结构化的反馈约束（例如，失败黑名单、禁止的假设）。实例化智能体在这些新约束下重新生成配置，从而形成闭环。

3. 核心贡献

六类采集器分类法： 一个具有明确边界和组合规则的正式分类系统，用于标准化采集任务。
受限智能体框架： 该系统将 LLM 的输出从自由形式的代码转变为受四层嵌套约束层次（类型 $\to$ 模板 $\to$ 工具 $\to$ 验证）约束的类型化 JSON 配置。
可验证闭环： 一个使用基于规则的质量门控和结构化反馈修正的“生成—执行—检查—修复”机制，实现了可审计的失败信号。
多层级实验验证： 涵盖需求分类、采集器实例化、针对运行时 LLM 基准的质量-成本权衡以及 Airflow 兼容性的全面测试。

4. 实验结果

该框架在 138 个采集任务（其中 80 个经过来源验证）的数据集上进行了评估。

需求分类： 系统在从描述中进行采集器类型分类方面达到了 0.7793 的 Macro-F1 分数，优于基于规则的关键词基准（0.7562）。然而，作者指出，仅靠描述对于模糊任务（如“详情”与“列表”之间）是不够的，因此需要主动探测。
采集器实例化： 受限框架实现了 0.5369 的平均质量得分和 55.07% 的通过率，显著优于无约束的 LLM 生成（0.4876 质量，18.84% 类型匹配）和基于规则的基准。
质量-成本权衡（80 个经过来源验证的任务）：
- 运行时 LLM 基准（如 Schema 约束 LLM、Crawl4AI）： 实现了更高的单次运行质量（0.7051 和 0.6996）和通过率（81.25% 和 80.00%），但产生了高昂的成本（每次运行 3,400–4,200 个 token）和较长的墙钟时间（14–16秒）。
- 提议的框架： 实现了较低的单次运行质量 (0.5631) 和通过率 (50.00%)，但使用了 零个执行阶段 LLM Token，并实现了最低的墙钟时间 (5.052s)。
反馈修正： 当应用于故意设计的缺陷配置时，反馈修正将平均最终质量从 0.5087 提升至 0.9007，并将通过率从 0.72% 提升至 100%，证明了该修复机制对于已知缺陷类型的有效性。
工程验证： 所有 138 个生成的配置均基于共享模板（100% 复用率），并成功在 Airflow 2.8.0 中执行。

5. 重要性与主张

本文将该框架定位为一种可复用、低成本且可验证的执行路径，适用于重复、定期的采集任务，而非作为通用运行时 LLM 提取的替代品。

“使失败安全化”的哲学： 作者认为，受控且显式的失败（通过类型约束、模式验证和基于规则的门控）比不受控且无声的成功更具优势。失败成为了可审计、可追踪的信号，而非无声的数据损坏。
权衡说明： 本文坦诚地承认，虽然运行时 LLM 基准提供了更高的单次运行质量，但所提框架提供了一种确定性的、摊销后的成本模型。通过将 LLM 成本转移到一次性的配置生成步骤，该框架在执行速度和 Token 成本至关重要的频繁、定期采集任务中具有经济可行性。
局限性： 作者明确指出了局限性，包括使用的是构建的需求而非原始用户请求、缺乏长程显著性检验，以及系统对复杂交互页面和身份验证边界的敏感性。该框架旨在用于合规的、公开访问的数据场景。