Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes

本文提出了 A.DOT 框架，通过将有向无环图（DAG）规划与智能体协同相结合，实现了在混合数据湖中对结构化与非结构化数据的高效多跳推理与多模态问答，显著提升了答案的准确性、完整性及可解释性。

要点

这篇论文介绍了一个名为 A.DOT（Agentic DAG-Orchestrated Transformer，即“智能代理有向无环图编排器”）的新系统。

为了让你轻松理解，我们可以把企业里的混合数据湖想象成一个巨大的超级图书馆，而 A.DOT 就是这位图书馆里最聪明的全能图书管理员。

1. 背景：混乱的“超级图书馆”

现在的企业里，数据分两堆：

• 结构化数据：像整齐的Excel 表格（比如发票金额、客户地址）。
• 非结构化数据：像散乱的文档、合同、邮件（比如发票的具体条款、合同细节）。

以前的做法（笨办法）：
当老板问：“帮我查一下德克萨斯州客户的发票总额，以及他们的付款条款。”
以前的系统（比如普通的 RAG 系统）就像是一个只会蛮干的实习生：

1. 它不管三七二十一，先把所有“德克萨斯州”的表格全翻一遍。
2. 再把所有“发票”相关的文档全翻一遍。
3. 把翻出来的几千页纸堆在一起，让大模型去读，试图拼凑出答案。
   缺点：效率低（翻书太慢）、容易泄露隐私（把不相关的机密也翻出来了）、而且如果答案需要“先查表再查文档”这种多步推理，它经常晕头转向，答非所问。

2. A.DOT 的解决方案：聪明的“项目经理”

A.DOT 不像实习生，它像一位经验丰富的项目经理。当接到任务时，它不会盲目行动，而是先画一张作战地图（这就是论文里的 DAG 执行计划）。

核心功能比喻：

• 画地图（DAG 计划生成）：
  项目经理接到问题后，会把它拆解成几个小任务，并画出它们之间的依赖关系。

  • 任务 A：去 Excel 表里查“德克萨斯州”的客户 ID。
  • 任务 B：拿着这些 ID，去文档库里找对应的“付款条款”。
  • 任务 C：把 A 和 B 的结果加起来，算出总额。
    这张地图（DAG）告诉系统：哪些任务可以同时做（比如查不同部门的表），哪些必须排队做（必须先有 ID 才能查文档）。

• 双重安检（验证器）：
  在真正开始干活前，A.DOT 会先让两个“安检员”检查地图：

  • 结构安检：检查地图上的路通不通？（比如：表里真的有“德克萨斯”这一列吗？）
  • 语义安检：检查任务逻辑对不对？（比如：能不能用“金额”去匹配“日期”？）
    如果地图画错了，它会在出发前就修正，而不是等到撞了南墙再回头。

• 智能纠错（DataOps 系统）：
  万一在执行过程中出了意外（比如某个表突然连不上了），A.DOT 不会直接崩溃。它有一个急救小组：

  • 诊断员：找出哪里坏了。
  • 修理工：尝试小修小补（比如换个字段名）。
  • 重规划师：如果问题太大，就重新画一张新地图。
    这就像汽车抛锚了，它不是直接熄火，而是自动尝试换条路或者叫拖车。

• 只传关键信息（变量绑定）：
  以前的系统喜欢把整本书都传给下一个环节。A.DOT 很聪明，它只传递关键线索（比如只传递“客户 ID"，而不是把整个客户资料都传过去）。这既省流量，又保护隐私。

• 记忆库（缓存机制）：
  如果老板问：“查一下加州的客户”（和刚才的德克萨斯问题很像），A.DOT 会想：“这跟刚才那个问题差不多，我直接复用刚才的地图，只改个地名就行。”这大大加快了速度。

3. 为什么它更厉害？（实验结果）

论文在“混合问答”（HybridQA）这个很难的测试集上做了实验。

• 普通 RAG：像是一个博学的但有点迷糊的图书管理员，偶尔能答对，但遇到复杂问题就乱套。
• ReAct（另一种智能体）：像是一个很努力但容易钻牛角尖的助手，一步步问，但容易卡死或走弯路。
• A.DOT：像是一个指挥若定的将军。
  • 准确率：比最好的对手高了 14.8%。
  • 完整性：比对手高了 10.7%。
  • 可追溯性：最重要的是，A.DOT 会留下证据链。如果你问它“为什么是这个答案？”，它能拿出：“我是先查了表里的 ID，再查了文档里的条款，最后算出来的。”这让企业用户非常放心，因为所有数据都有据可查。

4. 总结

简单来说，A.DOT 就是把“查数据”这件事，从“盲目搜索”变成了“精密指挥”。

它不仅能同时处理表格和文档，还能像人类专家一样，先想清楚步骤（画 DAG 图），检查步骤对不对（验证），遇到错误能自己修（DataOps），并且只传递必要的信息。

目前，这个系统正在 IBM 的 Watsonx.data 产品中进行测试，未来可能会成为企业处理复杂数据查询的“标配大脑”，让老板们能像问人一样自然地提问，并得到准确、安全、有证据支持的答案。

技术摘要

论文技术总结：面向混合数据湖的多模态多跳问答的代理 DAG 编排规划器框架 (A.DOT)

1. 研究背景与问题定义

随着企业环境中混合数据湖（Hybrid Data Lakes）的普及，数据同时包含结构化表（如 SQL 数据库）和非结构化文档（如 PDF、合同、文本）。企业用户希望使用自然语言（NL）查询这些异构数据源，而无需掌握 SQL 或向量搜索语法。

现有挑战：

• 效率低下与数据泄露：当前的基于 RAG（检索增强生成）的系统通常采用“暴力检索”策略，即向所有存储源（结构化 + 非结构化）独立提交查询，然后进行后处理合并。这导致计算开销大，且容易检索到无关数据，造成不必要的信息泄露。
• 缺乏多跳推理能力：现有系统难以处理需要跨越结构化与非结构化数据源进行多次跳转（Multi-hop）的复杂查询。例如，先查表找到 ID，再根据 ID 去文档库找具体条款。
• 缺乏可解释性与溯源：现有方案往往缺乏明确的数据血缘（Lineage）和证据追踪，难以满足企业级对结果验证和合规审计的需求。
• 串行执行延迟：如 ReAct 等代理框架通常串行执行子任务，导致高延迟；而现有的 DAG 规划器（如 LLM-Compiler）往往用原始文本替换结构化中间结果，效率低下。

2. 核心方法论：A.DOT 框架

作者提出了 **A.DOT **(Agentic DAG-Orchestrated Transformer) 规划器框架，旨在将自然语言查询编译为有向无环图（DAG）执行计划，协调跨模态数据的并行检索与推理。

2.1 系统架构

A.DOT 包含以下核心组件：

1. **计划缓存 **(Plan Caching)：
   • 建立查询与验证过的 DAG 计划之间的映射。
   • 支持三种检索策略：精确匹配、模板匹配（基于改写感知）、语义匹配（基于嵌入）。
   • 利用 LRU 策略管理缓存，避免重复生成计划。
2. **计划生成器 **(Plan Generator)：
   • 单次 LLM 调用将 NL 查询转换为 DAG 计划 $P=(V, E)$。
   • **节点 **(Node)：原子子查询，映射到特定数据源（SQL 或 Vector）。
   • **边 **(Edge)：定义依赖关系。独立节点并行执行，依赖节点按序执行。
   • 变量绑定：节点输出被标记为符号变量，供后续节点使用。
3. **计划验证器 **(Plan Validator)：
   • 结构检查：验证 Schema 合规性（列/表存在）、变量完整性、无环依赖。
   • 语义检查：确保意图保留，连接键类型匹配，聚合操作有效。
   • 在昂贵执行前拦截错误。
4. DataOps 系统：
   • 当验证失败或执行报错时介入，包含四个子模块：
     • **诊断器 **(Diagnoser)：分析失败根因（如工具不匹配、变量未解析）。
     • **推荐器 **(Recommender)：建议不可执行的恢复动作（如服务器停机）。
     • **修复器 **(Fixer)：应用局部保守修复（如修正字段名、语法）。
     • **重规划器 **(Replanner)：针对深层结构问题进行部分或完全重写。
5. **计划执行器 **(Plan Executor)：
   • 拓扑排序执行：零入度节点并行执行。
   • 变量传递优化：仅传递必要的键（如 ID），而非完整的大负载数据，避免内存溢出和上下文限制。
   • 流式输出：支持中间结果即时暴露（Streaming）。
   • 血缘追踪：记录每一步的操作、输入、输出及数据来源，生成证据链。

2.2 混合数据设置

• 结构化组件：关系型数据库，包含表、列、主外键。
• 非结构化组件：文档集合，经分块、嵌入（稠密 + 稀疏）后存入向量索引（如 Milvus）。
• 跨模态链接：通过元数据（如文档 ID）建立向量存储与关系表之间的双向遍历能力。

3. 主要贡献

1. A.DOT 框架：首个结合 DAG 计划生成、结构/语义双重验证、双阶段 DataOps 诊断修复、改写感知缓存及细粒度血缘追踪的混合数据问答框架。
2. 变量绑定机制：在结构化与非结构化源之间选择性传递数据元素，显著提升可扩展性并减少数据泄露。
3. 并行执行策略：利用 DAG 独立性降低端到端延迟，同时支持中间结果暴露以增强响应性。
4. 计划驱动的执行模型：全链路记录证据和数据血缘，满足企业级的可验证性和审计需求。
5. 实证性能提升：在 HybridQA 数据集上，相比强基线模型，答案正确率提升 14.8%，完整性提升 10.7%。

4. 实验结果

• 数据集：HybridQA（包含 3,466 个开发集样本，需跨表与文本进行多跳推理）。

• 基线模型：

  • Standard RAG（串行检索 + 生成）。
  • ReAct（迭代推理 + 工具调用，限制 20 步）。
  • LLM Compiler（DAG 规划，但缺乏中间验证和修复机制）。

• 评估指标：基于 Unitxt 库，使用 Mistral Large 2 作为裁判（LLM-as-a-Judge）评估答案正确性和完整性。

• 性能对比：

  框架	答案正确率	答案完整性
  LLM Compiler	27.8%	30.8%
  ReAct	40.2%	44.3%
  Standard RAG	56.2%	62.3%
  **A.DOT **(Ours)	71.0%	73.0%

  • A.DOT 比最强的基线（Standard RAG）在正确率上提升了 14.8%，在完整性上提升了 10.7%。

• 消融实验：

  • 移除 DataOps 系统导致正确率大幅下降至 60.0%，证明错误修复机制至关重要。
  • 移除验证器和 DataOps 系统后，性能反而略有回升（67.9%），这是因为系统不再因验证失败而提前终止，而是盲目执行，但这牺牲了可靠性。这验证了“验证 + 修复”闭环的必要性。

• 错误分析：主要失败原因包括中间子查询失败、数据源分配错误（SQL vs Vector）、以及缺乏常识推理。

5. 意义与未来展望

• 企业落地：A.DOT 正在评估作为 IBM Watsonx.data Premium 的核心检索模块进行部署。其设计充分考虑了企业级需求，包括可验证性、合规审计、低延迟和高准确性。
• 技术突破：解决了混合数据湖中多跳推理的“暴力检索”痛点，通过 DAG 编排实现了精准的数据提取和高效的并行处理。
• 未来方向：
  • 扩展至多轮对话场景，维护上下文历史。
  • 集成更多模态（如图数据库、图像知识）。
  • 在更多代表性企业数据集上进行大规模性能测试。

总结：A.DOT 通过引入代理驱动的 DAG 编排、严格的验证修复循环以及细粒度的数据血缘追踪，成功构建了一个高效、准确且可信赖的混合数据问答系统，为从研究原型到企业级生产部署提供了清晰的路径。