💬 NLP

KG-HTC: Integrating Knowledge Graphs into LLMs for Effective Zero-shot Hierarchical Text Classification

该论文提出了一种名为 KG-HTC 的零样本层次文本分类方法，该方法通过检索增强生成将知识图谱与大语言模型相结合，以有效应对大规模标签空间和长尾分布等挑战，并在多个数据集上展现出相较于基线方法的显著性能提升。

原作者： Qianbo Zang, Christophe Zgrzendek, Igor Tchappi, Afshin Khadangi, Johannes Sedlmeir

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Qianbo Zang, Christophe Zgrzendek, Igor Tchappi, Afshin Khadangi, Johannes Sedlmeir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名图书管理员，正试图将一本新书归档到一座庞大、多层的图书馆中。这不仅仅是一座普通的图书馆；它是一个**层次化文本分类（HTC）**系统。

在普通图书馆里，你可能只需将一本书归入“小说”类。但在这座层次化图书馆中，你必须精确分类。你不能只说“小说”，你必须说明：

第一层： 小说
第二层： 科幻
第三层： 赛博朋克
第四层： 反乌托邦

问题在于，这座图书馆拥有数千个类别，其中许多非常罕见（例如一本关于"19 世纪水下篮子编织”的书）。此外，这位图书管理员（一个称为大语言模型或 LLM 的人工智能）从未见过这本特定的书，也没有训练手册（没有标注数据）。这被称为**“零样本”**场景。

如果你只是问人工智能：“这本书该放哪里？”，它往往会感到不知所措。它可能正确猜出“小说”，但在更深层的分类上失败，或者可能被海量的选项搞得晕头转向。

问题：被压垮的图书管理员

该论文指出，标准的人工智能图书管理员在以下三个方面存在困难：

选择过多： 类别列表极其庞大。
稀有项目： 大多数类别包含的书籍非常少（长尾分布），因此人工智能“见过”它们的次数不足以知道它们该归入何处。
缺乏训练： 在现实世界中，我们往往没有“正确答案”列表来教导人工智能。

解决方案：KG-HTC（“智能地图”系统）

作者 Zang 及其同事构建了一个名为 KG-HTC 的系统。你可以将其理解为给人工智能图书管理员提供了一张动态、智能的图书馆地图，而不仅仅是一份巨大的名称列表。

以下是其工作原理，分步说明，并辅以简单的类比：

1. 知识图谱（图书馆蓝图）

首先，他们将整个类别列表组织成一个知识图谱。你可以将其想象成一棵家谱或一张地铁图，其中每个类别都是一个“站点”，连接它们的线条显示了父子关系（例如，“赛博朋克”连接到“科幻”，而“科幻”连接到“小说”）。

2. RAG 系统（“聚光灯”搜索）

当新的书评（输入文本）到来时，人工智能不会试图一次性阅读整张地图。那将包含过多的信息。相反，它采用**检索增强生成（RAG）**方法。

你可以将其想象为在地图上投射一道聚光灯。

人工智能查看书籍的文本（例如，关于洗碗机的评论）。
它快速扫描地图，找出与“洗碗机”在语义上相近的几个站点。
它只提取地图的那一小部分——一个子图——其中包含“家居”、“清洁”和“洗碗”。

3. 向上传播（追踪路径）

一旦获得这个相关的小地图部分，系统就会从具体项目向上追踪线条至根节点。它创建了一条清晰的路径：
洗碗 -> 家庭清洁 -> 家庭用品 -> 家居

4. 提示词（“作弊条”）

随后，人工智能将这条路径转化为一个简单的句子（提示词），并将其反馈给主 LLM。这就像递给图书管理员一张作弊条，上面写着：“基于文本，该项目可能与洗碗相关。以下是从图书馆顶部到洗碗的完整路径。请选择正确的最终类别。”

为什么这种方法效果更好

该论文在三个真实世界数据集（亚马逊产品评论、科学论文和维基百科文章）上测试了这种方法。

结果： “智能地图”系统（KG-HTC）在找到正确位置方面，比单独工作的人工智能或使用以往的方法都要出色得多。
深入分析： 最大的优势在于层次的更深层。当其他方法试图找到具体的“洗碗”类别而迷失方向时，KG-HTC 却能保持正轨，因为它拥有结构化的地图作为指引。
类比： 这就像在“二十个问题”游戏中，是随机大喊单词来猜词，还是拥有一张流程图，每问一个问题就能排除一半的可能性。

核心结论

该论文声称，通过将大语言模型的“大脑”与知识图谱的“结构”相结合，他们创建了一个系统，能够在无需任何预先编写的训练数据的情况下，准确地将文本分类到复杂的多级类别中。

它通过为人工智能提供一张聚焦的、结构化的最相关路径地图，解决了人工智能在海量选项中迷失方向的问题，使其能够自信地导航至图书馆中甚至最偏僻的角落。

注意： 该论文严格专注于文本分类（对文档/评论进行分类）。它并未声称适用于医疗诊断、临床用途或组织文本数据以外的其他应用。

技术摘要：KG-HTC

问题定义

层次化文本分类（HTC）涉及将文档分配至组织在多层级分类体系中的标签，该任务对于电子商务分类和文献管理等领域至关重要。尽管监督方法主导了以往的研究，但它们在现实世界的工业应用中面临重大障碍：

数据稀缺：跨多个层级手动标注数据成本高得令人望而却步。
巨大的标签空间：分类体系通常包含数百甚至数千个叶子类别（例如，亚马逊数据集拥有超过 500 个叶子类别）。
长尾分布：数据集往往高度不平衡，少数高频类别占据主导地位，而大多数类别则代表性不足。

这些因素使得标准监督方法不适用于许多工业场景，从而需要转向严格的零样本学习方法。现有的零样本方法，如利用上下文学习（Halder 等人）或基于嵌入的相似度传播（Z-STC, HiLA）的方法，往往随着层级加深而面临性能下降的问题，无法有效导航庞大且稀疏的标签空间。

方法论：KG-HTC

作者提出了KG-HTC，这是一个将知识图谱（KGs）与大语言模型（LLMs）相结合的新型框架，旨在解决零样本设置下的 HTC 挑战。该方法将标签分类体系视为有向无环图（DAG），并采用检索增强生成（RAG）流程，为 LLM 提供结构化的语义上下文。

系统架构通过以下阶段运行：

存储与表示：
- 标签分类体系同时存储在图数据库（Neo4j）中以保留层级化的父子关系，以及存储在包含所有标签嵌入的向量数据库（ChromaDB）中。
- 这种双重存储使系统能够利用拓扑约束进行语义消歧。
子图检索（RAG）：
- 给定输入文本 $x$ ，系统计算其嵌入 $\Psi(x)$ 。
- 对于每个层级 $l$ ，系统计算输入与该层级所有标签之间的余弦相似度。
- 基于相似度阈值 $\tau_l$ 检索候选标签 $Q_l$ 。
- 算法 1验证跨层级依赖关系：仅当层级 $l-1$ 的候选集中存在其父标签时，层级 $l$ 的候选标签才会被保留。该过程从完整知识图谱中构建相关的子图（或子树），过滤掉无关噪声。
提示构建：
- 使用算法 2将检索到的子图转换为结构化提示。
- 系统执行向上传播遍历，枚举从叶子节点到根节点的所有有效路径。
- 这些路径被序列化为序列（例如 Level 1 -> Level 2 -> Level 3）并拼接成提示。这种基于链的表示确保 LLM 理解层级约束，而不会被整个分类体系所淹没。
逐层分类：
- LLM 从第 1 层到第 $L$ 层迭代执行分类。
- 对于第一层，所有顶层标签均包含在提示中。
- 对于后续层级，候选集受上一层预测标签（ $y_{l-1}$ ）与新检索候选集（ $Q_l$ ）的组合约束。该策略减轻了误差传播，并高效地处理了巨大的标签空间。

主要贡献

本文概述了三项主要贡献：

新颖的集成：引入 KG-HTC，这是一种专门针对严格零样本层次化文本分类，将知识图谱集成到 LLM 中的方法。
语义检索流程：实现了一个流程，该流程基于余弦相似度动态检索语义相关的子图，并将其转换为结构化的层级提示，使 LLM 能够对复杂的分类体系进行推理。
全面评估：深入的评估表明，KG-HTC 在三个开源数据集上优于以往最先进的零样本方法（Z-STC 和 HiLA），特别是在更深的层级中。

实验结果

作者在三个数据集上评估了 KG-HTC：亚马逊产品评论（3 层）、Web of Science (WoS)（2 层）和DBpedia（3 层）。主要指标是F1-macro，选择该指标是为了考虑类别不平衡。

性能提升：KG-HTC 显著优于弱基线（直接 LLM 分类）和强基线（Z-STC 和 HiLA）。
- 在亚马逊数据集上，KG-HTC 在第 3 层达到了 0.445 的 F1-macro，而 HiLA 为 0.249，Z-STC 为 0.173。
- 在 WoS 数据集上，KG-HTC 在第 2 层达到了 0.630，超过了 HiLA (0.371) 和 Z-STC (0.462)。
衰减分析：本文引入了“平均衰减率”指标来衡量随着分类体系加深而导致的性能损失。KG-HTC 表现出最低的衰减率（例如，亚马逊数据集上为 0.15，而 HiLA 为 0.43），表明该方法即使在其他方法失效的深层稀疏层级中也能保持鲁棒性。
消融研究：
- 子图检索：用完整知识图谱（Full-KG）替换基于 RAG 的子图检索，导致在更深层级的性能下降，证实了过滤相关上下文对于处理巨大标签空间至关重要。
- 模型泛化：该方法成功提升了开源 LLM（Qwen2.5-8b）的性能，使其优于基线，证明了其不仅限于 GPT-3.5-turbo 等专有模型的泛化能力。

意义与主张

本文主张 KG-HTC 有效解决了工业环境中 HTC 的核心挑战：缺乏标注数据、巨大的标签空间以及长尾分布。通过将结构化知识（通过子图检索）与 LLM 的生成能力相结合，该方法实现了无需微调的准确零样本分类。

作者强调，他们的方法通过提供明确的拓扑约束，使 LLM 能够“理解不同层级上的标签语义”。结果表明，纳入结构化知识是克服当前零样本 HTC 方法局限性的可行途径，特别是在标签分布高度不平衡且分类体系较深的场景中。

局限性：作者指出，该方法假设存在完整且正确的标签分类体系；底层知识图谱中的不准确之处会降低性能。未来的工作提议侧重于利用 LLM 构建更健壮的知识图谱。