💻 computer science

Lightweight Semantic Embeddings Enable Redundancy-Sensitive Knowledge Graph Construction for LLM-Based Document Processing

本文介绍了 AMODD，这是一个利用轻量级语义嵌入来对冗余文档章节进行去重并对图实体进行聚类的机器学习增强型流水线，在保持高检索质量的同时，显著降低了知识图谱构建过程中的大语言模型（LLM）Token 消耗与延迟。

原作者： Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

发布于 2026-09-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，存在着一种日益增长的紧张关系：一方面是理解海量信息的渴望，另一方面是计算能力的实际限制。大语言模型（一种能够阅读和书写人类语言的高级软件）常被用于将杂乱、非结构化的文档转化为有序的知识图谱。可以将知识图谱想象成一张事实的结构化地图，其中特定的信息片段被链接在一起，以展示它们之间的关系。这对于能源或法律等行业极其有用，因为这些行业的法规和技术标准可能跨越数百页。然而，当这些文档包含重复内容时，一个显著的问题就出现了。技术手册和法律条文经常在不同的章节中用略微不同的措辞重述相同的规则或定义。当计算机尝试处理此类文档时，它往往会将每一个章节都视为一个独特的谜题，要求昂贵的人工智能去反复分析同一个核心概念。这种方法不仅速度缓慢，而且非常耗费资金，因为使用这些人工智能系统的成本直接与它们处理的文本量挂钩。

富士通欧洲研究中心（Fujitsu Research of Europe）的研究人员致力于通过创建一种更智能的方式来构建这些知识地图，从而解决这种低效问题。他们开发了一个名为 AMODD 的系统，全称为“数据定义自动映射”（Automated Mapping of Data Definitions），并为其增加了一个新的智能层。该增强系统不再盲目地处理文档的每一页，而是首先使用一种轻量级工具来阅读文本并理解其含义。这个工具就像一个快速扫描仪，能够识别出文档中两个不同的章节实际上是在表达相同的意思，即使它们使用的词汇不同。通过在主 AI 接触到这些内容之前识别出这些近乎重复的部分，该系统可以完全跳过冗余的工作。随后，它仅处理唯一的章节，提取事实，并将可能表述方式不同但含义相似的事实归类在一起。最后，当人类针对文档提问时，系统会基于词义而非仅仅匹配精确关键词来进行搜索。

为了测试这种方法是否奏效，研究团队创建了一系列与氢能法规相关的合成文档。他们设计了三个版本的文档：一个几乎没有重复内容的短文档，一个包含部分重复章节的中等长度文档，以及一个充满高度冗余的长文档。随后，他们将同样的文档通过两个不同的流程进行处理。第一个是标准方法，它独立处理每一个章节。第二个是他们配备了意义扫描层的新型增强方法。结果显示，出现了一种完全取决于文档重复程度的清晰模式。对于几乎没有重复内容的短文档，新系统由于必须执行寻找不存在的重复项的额外步骤，速度略慢。然而，随着文档的重复性增加，新系统开始展现优势。在中等长度且具有中度重复的文档上，新方法减少了近 58% 的 AI 调用次数，并将 AI 处理的总文本量削减了 56.7%。在高度冗余的长文档上，节省效果更为显著，减少了 85.4% 的 AI 调用次数和 84.9% 的文本处理量。

除了节省金钱和时间之外，研究人员还非常谨慎地确保这种效率提升不会以损失重要信息为代价。他们测量了最终进入知识图谱的事实（或称“三元组”）数量。他们发现，虽然新系统在处理重复性文档时生成的图谱规模较小，但这并不是因为它丢弃了独特的事实。相反，规模变小是由于它移除了旧系统所保留的重复事实副本。新系统成功地保留了核心知识，同时剥离了噪声。此外，当测试系统回答问题的能力时，新方法表现得更为出色。当被问及类似“这份文档是关于什么的？”这类宽泛的问题时，新系统利用其对意义的理解，能够比旧系统更有效地检索相关事实；而旧系统在问题使用的词汇与文本不完全一致时，表现得较为吃力。

该研究得出结论，这种轻量级的改进改变了这些系统处理文档的方式。与其让成本和时间随文档总长度线性增长，不如让新方法随其中包含的独特信息量进行扩展。如果一份文档充满了重复的条款，系统会识别出这一点并停止在这些内容上浪费资源。研究人员指出，这种方法并非适用于所有情况的“万灵药”：对于缺乏可跳过内容的短篇、独特文档，它不会带来任何收益。然而，对于许多行业中常见的长篇、重复性的技术和监管文本，这种方法提供了一种在不牺牲最终知识图谱质量的前提下，使人工智能变得更高效、更经济的实用途径。

技术摘要：用于冗余敏感型知识图谱构建的轻量级语义嵌入

问题陈述
利用大语言模型（LLM）从长篇、异构且具有部分冗余性的技术文档中构建知识图谱（KG），面临着显著的运营成本挑战。传统的流水线（如 AMODD）通常独立处理文档章节。这种设计导致计算成本（Token 消耗、LLM 调用次数和延迟）随文档长度线性增长，而非随唯一语义内容的体积增长。在监管合规和技术标准化等领域，条款和要求经常被重复或改写，这种方法会导致对相同事实进行冗余提取，从而产生不必要的财务和计算开销，却无法提升最终生成的图谱质量。

方法论
本文提出了一种机器学习增强型的 AMODD 流水线扩展方案，该方案集成了一个轻量级语义嵌入层，使知识图谱的构建从“文档长度敏感”转变为“冗余敏感”。该层利用本地部署的紧凑型句子转换器模型（all-MiniLM-L6-v2）将文本映射到共享的稠密向量空间。该方法通过三种不同的机制运行：

前置 LLM 章节去重（Pre-LLM Section Deduplication）： 在调用 LLM 之前，系统计算所有文档章节的嵌入向量，并计算 $n \times n$ 余弦相似度矩阵。通过贪婪的文档顺序遍历，基于阈值 ( $\tau_{sec}$ ) 识别近乎重复的章节。冗余章节将被完全跳过；其主题和三元组将继承自匹配到的规范章节，同时更新页面溯源信息以反映原始位置。这抑制了针对冗余内容的“主题识别”和“三元组提取”的 LLM 调用。
后置 LLM 三元组聚类（Post-LLM Triple Clustering）： 在提取之后，流水线会对提取的三元组（主语、谓语、宾语）的文本组件进行嵌入。如果两个实体的向量相似度超过阈值 ( $\tau_{triple}$ )，则合并语义等价的实体和关系。系统会为每个簇选择一个规范的代表（最短表面形式），从而减少了词法字符串匹配往往会遗漏的同义词泛滥问题。
语义 RAG 检索（Semantic RAG Retrieval）： 对于下游的检索增强生成（RAG），系统使用基于三元组嵌入的余弦相似度排名取代关键词重叠评分。这使得即使查询词汇与提取的文本存在差异，也能检索到语义相关的三元组，并根据三元组的重要性标签应用加成权重。

核心贡献
其主要贡献在于一种流水线级的设计，即利用轻量级嵌入作为 LLM 调用的运营控制层，而不仅仅是作为一种检索机制。研究表明：

嵌入可以作为一种成本控制机制，通过防止冗余的 LLM 调用来实现。
相同的嵌入层可以同时精炼图谱结构（通过聚类）并提高检索保真度（通过语义匹配）。
该方法将知识图谱构建的缩放行为从依赖于“总章节数”转变为依赖于“语义独特的章节数”。

实验结果
作者使用具有三个冗余等级（低冗余 D1、中等冗余 D2、高冗余 D3）的合成氢能领域监管文档进行了受控 A/B 实验。

效率（RQ1）：
- 非冗余情况 (D1)： 嵌入层引入了 6–10% 的 Token、调用次数和延迟开销，证实了在不存在冗余时该方法并无收益。
- 中等冗余 (D2)： ML 增强型流水线减少了 56.7% 的 Token 消耗、57.7% 的 LLM 调用次数以及 29.9% 的实际运行时间（Wall-clock latency）。
- 高冗余 (D3)： 降幅更为显著：减少了 84.9% 的 Token、85.4% 的调用次数，且延迟降低了 58.1%。
- 缩放特性： 虽然基准 LLM 调用次数从约 69 次（D2）增加到约 205 次（D3），但 ML 增强型流水线保持在约 29 次调用左右，表现出对总文档长度的独立性。
质量与保留率 (RQ2)：
- 图谱规模： 在所有文档中，ML 条件下的最终三元组数量均高于冗余调整后的下限（基准三元组数 $\times$ (1 - 跳过率)）。对于 D3，ML 流水线保留了 46.8 个三元组，超过了 21.8 个理论下限的两倍多，表明尽管进行了激进的去重，独特的语义内容仍得到了保留。
- 检索覆盖率： 对于宽泛查询（例如“本文档的主题是什么？”），语义检索的表现显著优于关键词重叠检索。覆盖率的提升范围在 +0.481（D1）至 +0.553（D3）之间，证明了语义匹配有效地补偿了因图谱规模减小而带来的损失，能够检索到缺乏精确词法重叠的相关三元组。

意义与主张
本文主张，轻量级语义嵌入可以使基于 LLM 的知识图谱构建具备冗余敏感性。其意义在于改变了成本模型：系统不再是为文档的每一个章节付费，而是主要为独特的语义内容付费。作者强调，这并非提出了一种新的嵌入模型或替代 LLM 提取，而是一种实用的流水线级设计，在保持或提高检索覆盖度的同时降低了构建成本。研究结论指出，该方法最适用于长篇或重复性高的文档集，能够在不造成不成比例的独特知识损失的情况下，提供显著的成本节约（例如，每 1,000 份类似 D3 的文档可节省约 $4,780）。

技术摘要：用于冗余敏感型知识图谱构建的轻量级语义嵌入

类似论文