💬 NLP

Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval

本文提出了一种能够从原始多源数据中自动发现可执行模式契约（schema contracts）的系统，用以指导知识图谱构建并约束多工具检索智能体，通过实现结构化、可追溯且具备模式感知能力的证据整合，显著提升了问答性能，并优于基准方法。

原作者： Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个巨大的谜团，但你的线索散落在杂乱无章的房间里。有些线索写在整洁的账本（表格）上，有些写在便利贴（PDF）上，有些记录在凌乱的数字日志（JSON）中，还有些只是白板上的随手涂鸦。

目前，大多数试图破解这个谜团的 AI 系统就像是一个只顾着拿手电筒到处乱照、随机阅读一切内容的侦探。他们可能会发现一条线索，但因为不理解房间的“结构”，往往会忽略线索之间的联系。他们无法分辨出账本上的名字与便利贴上的名字是同一个人，也无法理解一个笔记是如何成为另一个笔记的“子集”的。

这篇论文介绍了一个全新的系统，它就像一位超级严谨的建筑师，在侦探开始寻找之前，先为这个房间绘制了一份蓝图。

以下是它的工作原理，分为简单的几个步骤：

1. “自动蓝图”（模式发现/Schema Discovery）

系统不需要人类花费数周时间来绘制哪里有什么东西的地图，而是通过观察原始且杂乱的数据，自动推导出其中的规则。

问题所在： AI 经常会产生“幻觉”（编造事实）。它可能会在数据中根本没有“利润”字段的情况下，凭空创造出一个名为“利润”的列。
解决方案： 系统创建了一个**“封闭世界目录”（Closed-World Catalog）**。你可以把它想象成一本严格的规则手册：“你只能讨论数据中实际存在的事物。”如果 AI 试图发明一个新的字段，系统会说：“不行，目录里没有这个，”并强制它必须基于真实存在的内容进行讨论。
结果： 它构建了一个 “模式契约”（Schema Contract）。这是一个共同的协议，规定了：“‘产品’长什么样，‘交易’长什么样，以及它们是如何相互关联的。”

2. 构建“知识图谱”（有序的图书馆）

一旦蓝图准备就绪，系统就会利用它将杂乱的数据组织成一个整洁、互联的图书馆，即知识图谱（Knowledge Graph）。

神奇之处： 它不仅仅是堆砌数据，而是利用蓝图来理清关系。
- 身份键（Identity Keys）： 它知道一个文件中的“ID: 123”与另一个文件中的“ID: 123”是同一个人。
- 外键（Foreign Keys）： 它意识到销售表中的“订单 #55”属于客户表中的“客户 #99”。
- 溯源（Provenance）： 每一条信息都附带了一张“收据”，显示它究竟来自哪份原始文档。这意味着如果 AI 给出了答案，它可以精准地指出是在哪一页、哪一行找到了证据。

3. “智能侦探”（查询时检索/Query-Time Retrieval）

当你提出问题（例如：“在 2018 年合并后，哪些产品赚取的利润最高？”）时，系统不会仅仅靠猜测。它会利用蓝图来决定如何寻找答案。

路由（The Routing）： 系统会自问：“我需要查看电子表格中的精确数字吗？我需要阅读 PDF 中的长篇文本吗？还是我需要沿着不同文件之间的连接链条进行追踪？”
契约（The Contract）： 因为 AI 拥有蓝图，它确切知道该使用哪种工具。它不会盲目游走；它会采取最直接的路径，只有当蓝图显示两者有关联时，才会从电子表格跳转到 PDF。
安全网（The Safety Net）： 如果问题涉及蓝图未知的领域（比如一个尚未被添加的新产品），系统可以暂时“扩展”蓝图来处理它，或者承认自己不知道，而不是编造一个虚假的答案。

为什么这比我们现在的技术更好？

作者将此方法与其它方法（如标准的 AI 搜索，或试图在没有蓝图的情况下猜测连接关系的系统）进行了对比测试。

结果： “蓝图系统”在回答需要结合不同来源信息的复杂问题时，表现得显著更好。
类比：
- 旧方法 (RAG)： 就像是向图书管理员大喊关键词来找书。他们可能会找到一本包含“利润”这个词的书，但那可能并不是你要找的那本。
- 这种方法： 就像是拥有一位已经建立好了完美索引卡系统的图书管理员。他们清楚地知道哪张卡片指向利润数字，哪张卡片指向合并日期，以及如何将它们链接在一起，从而给你一个精准的答案。

核心结论

这篇论文声称，通过在尝试回答问题之前，先为杂乱的数据自动创建一个严格的可执行地图（模式/Schema），AI 系统可以变得更加准确、可靠，并且能够解释它们是从哪里找到答案的。它将一个充满混乱线索的房间变成了一个组织有序的图书馆，使侦探的工作变得更加轻松，结果也更加值得信赖。

技术摘要：面向多源检索的可执行模式契约

问题陈述

现实世界的数据具有本质上的异构性，涵盖了结构化表格、半结构化 JSON 日志、非结构化文档以及内部维基。这些来源通常拥有不一致的标识符和隐式语义。虽然检索增强生成（RAG）系统擅长单文档查找，但它们在处理跨源连接、多跳检索以及需要可审计溯源的工作流时经常失败。主要的瓶颈不在于语言模型的处理能力，而在于缺乏结构：系统无法可靠地对齐实体、遍历关系，或在不同来源之间证明答案的正当性，而无需进行人工模式工程。现有的解决方案要么要求成本高昂且静态的手动策展（无法随模式演进扩展），要么依赖于完全开放式的方案（牺牲了正确性和延迟）。

方法论

作者提出了一种系统，能够从原始多源数据中自动发现统一的可执行模式（executable schema），并将其作为离线知识图谱（KG）构建和在线查询时检索的共享契约。该流水线由三个核心阶段组成：

1. 模式归纳（契约）

系统从异构来源 $S$ 中归纳出一个统一的模式 $\Sigma = (F, T, R, I)$ ，且无需人工标注。

封闭世界字段目录： 为了防止 LLM 幻觉，系统首先对来源进行剖析，以构建一个包含所有可观测字段及其稳定标识符的目录 $F$ 。LLM 被严格限制只能引用这些经证实的字段。
两阶段语义发现： LLM 在代表性样本上执行“深度发现”过程，并在多样化样本上执行“验证”过程，以提取实体类型、属性映射和关系。这种两阶段策略可以找回单次提取过程中遗漏的稀有实体类型。
统计结构智能： 系统并不依赖 LLM 进行结构模式分析，而是使用确定性的统计分析来推断身份键（用于去重）、外键（用于跨源链接）以及基于值重叠和基数（cardinality）的来源层级。
跨源统一： 通过匹配采样（按共享键值分组而非并行索引），系统将各源模式统一为具有溯源钩子的全局 $\Sigma$ 。

2. 模式引导构建

归纳出的模式 $\Sigma$ 作为控制平面，用于构建具有溯源意识的 Neo4j 知识图谱 $G$ 。

提取： $\Sigma$ 决定了提取策略。结构化字段采用确定性提取；仅针对混合型来源或被标记为混合型的字段触发 LLM 提取。
去重： $\Sigma$ 中定义的身份键实现了 $O(n)$ 的确定性去重。对于没有键的类型，则使用基于嵌入的聚类作为后备方案。
链接： 跨源边通过在声明的外键上进行哈希索引连接（hash-index joins）来实现，从而实现跨源的多跳查询。
溯源： 每个提取的实体都通过 DERIVED_FROM 边链接到其原始的 SourceRecord 节点，确保了完全的可追溯性。

3. 模式引导检索与问答

在查询时，系统采用一个多工具智能体，利用模式（可选地通过单调协议进行扩展）来进行路由。

模式调节路由： 智能体通过内省 $\Sigma$ 来构建运行时上下文。它根据优先级顺序进行路由：针对类型化、离散值的约束使用 SCHEMALOOKUP；针对非结构化证据使用 VECTORRAG；针对分布外（OOD）查询使用 EXTERNALSEARCH。
可靠性门控： 两阶段门控机制防止幻觉。预检索门控检查查询实体是否落在模式已知的取值集中；后检索门控则验证候选答案是否基于检索到的证据。
查询时扩展： 如果查询引入了未解决的实体类型，系统可以执行单调模式扩展（在不改变现有定义的情况下添加新类型）来处理概念差距，这种扩展可以是持久化的，也可以是针对特定查询的内存级扩展。

核心贡献

本文将异构问答形式化为围绕共享可执行模式契约展开。具体贡献如下：

可执行模式发现： 证明了通过将 LLM 发现的模式锚定在封闭世界字段目录中，并使用统计方法进行结构推理，可以使 LLM 发现的模式在原始异构来源上变得可执行。
模式引导构建： 展示了在摄取过程中执行归纳模式（指定提取路径、键和链接）能显著提升下游问答性能，优于移除结构智能的做法。
模式引导检索： 证明了将归纳模式暴露给问答智能体以进行路由决策，比通用的工具使用智能体（如 ReAct, PlanAct）和标准 RAG 基准具有实质性的收益。
单调扩展： 引入了一种在查询时演进模式的机制，同时保持先前定义的完整性。

结果

系统在四个基准测试上进行了评估：BlendQA（跨源发现）、HybridQA（表文桥接）、TAT-QA（金融推理）和 ComplexTR（时间多跳推理）。

性能： 在使用相同 LLM (GPT-4.1) 和评估框架的受控零样本对比中，模式引导系统在所有四个基准测试中均取得了最高的精确匹配（EM）和 F1 分数。
- 在 BlendQA 上，其 EM 比次优受控基准（AtomR）提高了 +2.6，比 RAG 提高了 +10.2。
- 在 HybridQA 上，其 EM 比 AtomR 高出 +19.8，比 RAG 高出 +51.3。
- 在 TAT-QA 和 ComplexTR 上，它同样优于所有基准，分别比次优方法高出 +5.7 和 +10.5 EM。
消融实验： 移除特定组件证实了它们的独立贡献：
- 移除模式引导（回归到 ReAct 式路由）导致 BlendQA 的 EM 下降了 9.3。
- 移除 KG 摄取显著损害了多跳性能（例如，在 BlendQA 上下降了 8.0 EM）。
- 移除结构智能使各数据集的 EM 下降了 2.1–6.8。
- 移除查询时扩展降低了在需要模式演进的数据集（HybridQA, TAT-QA）上的表现，尽管系统在没有该功能时仍保持稳健。
跨模型评估： 增益在三种不同的 LLM 家族（GPT-4.1, Claude Haiku, Llama 3.3 70B）中保持一致，表明该方法并非特定于某种模型架构。

重要性与主张

作者声称其结果确立了异构问答的三项原则：

封闭世界模式归纳对于使 LLM 发现的结构具备可执行性并防止幻觉字段引用是必要的。
统计结构分析应先于语义提取，以便可靠地推断 LLM 难以检测的键和关系。
检索智能体在模式既用于构建又用于调节路由时会从中受益；这种方法明显优于通用的智能体工具使用。

本文将该工作定位为迈向自配置、自扩展问答系统的关键一步，此类系统可以在无需人工设计模式的情况下，在非平稳数据源上运行，同时保持低延迟、可控性和可审计的溯源性。作者也指出了局限性，包括跨模型评估的范围（部分模型仅限于 BlendQA）以及查询时模式扩展的延迟成本，这对于严格的实时应用可能过于昂贵。