Knowledge Graphs Generation from Cultural Heritage Texts: Combining LLMs and Ontological Engineering for Scholarly Debates

这是一份关于论文《从文化遗产文本生成知识图谱：结合大语言模型与本体工程以支持学术辩论》（Knowledge Graphs Generation from Cultural Heritage Texts: Combining LLMs and Ontological Engineering for Scholarly Debates）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
文化遗产（Cultural Heritage, CH）领域包含大量非结构化的学术文本（如关于文物真伪、归属权、历史解释的辩论），这些文本蕴含丰富的知识，但难以被系统地查询和利用。

• 现有局限： 当前的知识图谱（KG）主要关注元数据（如目录、清单），通常将复杂的学术论述简化为简单的分类断言（例如仅标记为“赝品”或“归因于 X"），丢失了支撑这些结论的证据链、推理过程、不同学者的观点以及学术争议的细节。
• 认识论张力： 人文学科的知识具有“建构性”（capta），即知识是观察者主动构建的，包含主观性、不确定性和多视角。传统的知识表示方法（如简单的三元组）难以表达这种复杂的、带有争议性的学术 discourse。
• 技术瓶颈： 从非结构化文本中提取复杂的学术论证需要巨大的人工标注成本，且难以扩展。

研究目标：
开发一种系统化的方法，利用大语言模型（LLMs）与本体工程相结合，从文化遗产文本中提取复杂的解释性知识，并将其转化为可查询的结构化知识图谱，同时保留学术辩论的细微差别和多视角特征。

2. 方法论：ATR4CH (Methodology)

论文提出了 ATR4CH（Adaptive Text-to-RDF for Cultural Heritage，文化遗产自适应文本转 RDF）方法论。这是一个包含五个步骤的迭代过程，旨在协调 LLM 提取与本体框架：

1. 基础分析与设计 (Foundational Analysis & Design):
   • 分析语料库（文本结构、语言模式）和目标本体。
   • 识别核心本体模式（COPs），即回答特定能力问题（Competency Questions, CQs）所需的关键知识图谱结构。
   • 选择试点语料库（Pilot Corpus）。
2. 最小工作标注开发 (Minimal Working Annotation Development):
   • 基于 COPs 开发最小工作标注（MWA）模式。
   • 在试点语料上进行迭代标注，验证标注数据能否映射到满足 COPs 的 RDF 结构。
   • 整合知识库（如 Wikidata）以解决实体链接问题。
3. 流水线架构开发 (Pipeline Architecture Development):
   • 设计基于 LLM 的提取流水线。
   • 采用模块化设计，将复杂任务分解为子任务（如元数据提取、实体识别、证据挖掘等）。
   • 利用少样本提示（Few-shot）、思维链（CoT）和 JSON 模式输出。
4. 集成与优化 (Integration and Refinement):
   • 将 COPs、MWA 和流水线整合为端到端系统。
   • 优化映射算法，引入 SHACL、OWL 推理器等验证工具。
5. 知识提取与评估 (Knowledge Extraction and Evaluation):
   • 在测试集上运行流水线。
   • 进行多维度评估：技术指标（精确率、召回率、F1 值）和语义指标（G-EVAL，用于评估辩论表示的保真度）。

案例研究：
研究以**“真伪评估辩论”**（Authenticity Assessment Debates）为案例，选取了维基百科上关于伪造文件、文物和争议性历史事件的 581 篇文章作为数据集。

本体框架：
使用了 SEBI (Scholarly Evidence Based Interpretation) 本体。该本体基于 RDF-star 设计，能够表示：

• 主张 (Claims)： 学者对文物的真伪判断。
• 证据 (Evidence)： 支撑判断的具体特征（如语言、材料、来源）及其评估（一致性、存在性、可靠性等）。
• 假设 (Hypotheses)： 关于作者、日期、地点或动机的替代性假设。
• 上下文： 谁（Cognizer）、何时、何地提出了什么观点。

3. 技术实现细节 (Technical Implementation)

研究构建了一个包含三个主要组件的序列流水线，使用了三种不同规模的 LLM 进行对比实验：

• 模型： Claude Sonnet 3.7（大模型）、Llama 3.3 70B（中模型）、GPT-4o-mini（小模型）。
• 流水线步骤：
  1. 元数据提取： 提取文物的“声称元数据”（如声称的作者、日期）。
  2. 认知者识别 (Cognizer Identification)： 识别表达观点的学者或机构（使用 GliNER 进行 NER，LLM 进行观点过滤）。
  3. 实体解析与链接： 将识别出的实体链接到 Wikidata。
  4. 观点提取与分类： 提取学者的真伪判断（真/伪/形式伪造/内容伪造）及置信度。
  5. 证据挖掘： 提取支撑观点的具体特征及其评估极性（正面/负面）。
  6. 假设提取： 提取关于作者、日期、地点的替代性假设。

4. 主要结果 (Results)

研究在 581 篇文章的子集上进行了评估，主要发现如下：

• 元数据提取 (EQ1)： 表现极佳。所有模型的 F1 分数在 0.96 - 0.99 之间，召回率接近 100%。
• 实体识别 (EQ2)： GPT-4o-mini 表现最好，召回率达到 91.2%，F1 为 0.803，显著优于 Claude (0.728) 和 Llama (0.709)。
• 证据推理提取 (EQ3)： 表现强劲。基于自定义的 4 分制评分，所有模型的准确率均在 95% - 97% 之间，表明 LLM 能有效捕捉多维度的证据推理。
• 假设与判断提取 (EQ4)： 表现中等，F1 分数在 0.65 - 0.75 之间。GPT-4o-mini 在整体 F1 上最高 (0.749)，但在特定类型（如作者归属）上仍有挑战。
• 整体话语表示保真度 (EQ5)： 使用 G-EVAL 评估生成的 KG 是否能代表学术辩论的全貌。得分在 0.52 - 0.62 之间。
  • 关键发现： 如果实体识别正确，后续的证据和观点提取通常很准确；反之，实体识别错误会导致错误在流水线中传播。
• 模型对比：
  • GPT-4o-mini 在召回率和整体辩论覆盖面上表现最好，且参数最少，成本最低。
  • Claude 在精确度上略高，但召回率较低。
  • Llama 3.3 70B 表现介于两者之间。
  • 结论： 较小的模型在序列流水线中表现具有竞争力，证明了低成本部署的可行性。

5. 主要贡献 (Key Contributions)

1. ATR4CH 方法论： 提出了首个将 LLM 提取与文化遗产本体（特别是多视角、不确定性表示）系统协调的五步迭代框架。
2. SEBI 本体的实践应用： 展示了如何利用 RDF-star 和 SEBI 本体将复杂的学术辩论（证据、假设、争议）转化为结构化的知识图谱，而不仅仅是简单的分类标签。
3. 实证评估与基准： 提供了针对文化遗产领域 LLM 提取任务的详细基准测试，证明了不同规模模型在特定子任务上的优劣，并揭示了“实体识别”是流水线中的关键瓶颈。

6. 意义与局限性 (Significance & Limitations)

意义：

• 知识发现： 使文化遗产机构能够将非结构化的学术文本转化为可查询的知识图谱，支持自动化的元数据丰富和知识发现。
• 成本效益： 证明了使用较小、更便宜的 LLM 配合精心设计的流水线，可以替代昂贵的大模型，适合资源有限的机构。
• 认识论尊重： 该方法尊重人文学科知识的建构性和多视角性，保留了学术辩论的细微差别，而非强行简化。

局限性：

• 数据源限制： 目前仅基于英文维基百科文章，尚未在原始学术文献或多语言环境中测试。
• 人工监督需求： 尽管自动化程度高，但后处理阶段仍需人工监督，特别是针对实体识别错误的纠正。
• 实体链接依赖： 性能高度依赖 Wikidata 的链接质量，对于缺乏 Wikidata 条目的实体处理效果可能下降。

未来方向：

• 开发多语言提取能力。
• 针对“认知者识别”瓶颈进行微调或混合模型优化。
• 将应用范围从二手文献扩展到一手学术著作。
• 开发更友好的“人机回环”工具，让领域专家能更轻松地参与提取过程。

总结：
该论文提出了一种切实可行的框架，利用 LLM 将复杂的文化遗产学术辩论转化为结构化的知识图谱。它不仅在技术上验证了 LLM 在复杂语义提取中的能力，更在方法论上解决了人文学科知识表示中“多视角”和“不确定性”的难题，为数字人文领域的知识工程提供了重要的参考范式。