💬 NLP

FactNet: A Billion-Scale Knowledge Graph for Multilingual Factual Grounding

本文介绍了 FactNet，这是一个包含 17 亿条 Wikidata 断言与超过 30 亿条原生语言维基百科证据指针以字节级精度相连接的多语言十亿级知识图谱，并配套推出了 FactNet-Bench 评估套件，旨在评估并提升跨语言的事实 grounding 与知识迁移能力。

原作者： Yingli Shen, Wen Lai, Jie Zhou, Xueren Zhang, Yudong Wang, Kangyang Luo, Shuo Wang, Ge Gao, Alexander Fraser, Maosong Sun

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yingli Shen, Wen Lai, Jie Zhou, Xueren Zhang, Yudong Wang, Kangyang Luo, Shuo Wang, Ge Gao, Alexander Fraser, Maosong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教导一个非常聪明、但有时过于自信的机器人如何说真话。这个机器人（大型语言模型）能够写出优美的故事并流畅地回答问题，但它经常“产生幻觉”——编造事实或混淆细节，尤其是在用英语以外的语言谈论事物时。

问题在于，虽然我们拥有海量的结构化事实库（如巨大的数据电子表格）和海量文本库（如数百万篇维基百科文章），但它们彼此之间缺乏良好的沟通。电子表格知道发生了什么，却不知道在哪里能在文本中找到证明；文本中虽有证明，却难以将其回溯链接到具体事实。

FactNet 是一个全新的、庞大的项目，旨在通过在两者之间构建一座巨大的、双语（实际上是 316 种语言）的桥梁来解决这一问题。

以下是其工作原理，借助一些简单的类比：

1. "FactNet"图书馆

将 FactNet 想象成一座拥有 17 亿 张事实卡片的超大规模、高度有序的图书馆。

事实卡片（FactStatement）： 这是核心事实，例如“尼尔·阿姆斯特朗登上了月球”。它以中立、结构化的方式书写，不依赖于特定语言。
证明页（FactSense）： 每张卡片都附带一张从 316 种语言之一的维基百科文章中截取的具体“证明页”。关键在于，这不仅仅是一个模糊的引用；它是一个激光笔。它精确指向原文中记载该事实的确切句子、表格单元格或方框。
连接（FactSynset）： 如果你拥有英语、法语和中文的事实卡片，FactNet 会将它们全部捆绑成一个单一的“家族”（Synset）。这使得机器人能够理解，英语中的“尼尔·阿姆斯特朗”与法语中的“尼尔·阿姆斯特朗”是同一个人，即使文本看起来不同。

规模： 它非常庞大。它涵盖 316 种语言，将 17 亿条事实与超过 30 亿条证据链接起来。这是首次以如此高的精度构建如此大规模的资源。

2. 它们是如何构建的：“确定性”工厂

通常，人们在构建这些数据集时，会使用 AI 来猜测或翻译内容，这可能会引入错误或不存在于源文本中的“幽灵”事实。

FactNet 采用确定性构建流程。想象一条工厂流水线，其中每一步都是严格且不可更改的规则。

不猜测： 系统不会“幻觉”出连接。只有当文本以特定、可验证的方式明确包含该事实时，它才会将事实与文本链接起来。
可追溯性： 每一个链接都有一张“收据”。如果你想检查证明，可以回溯到特定日期的原始维基百科快照，并找到证据的精确字符级位置。这就像为每一条事实都拥有了 GPS 坐标。

3. "FactNet-Bench"测试

为了证明该图书馆的实用性，作者创建了一个名为 FactNet-Bench 的测试套件。将其想象为机器人的标准化考试。

测试内容： 他们要求机器人补全事实、回答问题或核实某项声明是否为真。
关键点： 该测试经过设计以防止作弊。机器人不能仅仅死记硬背答案；它必须找到具体的“证明页”（FactSense）才能得分。
结果： 测试表明，能够利用这种结构化图书馆的机器人表现远优于那些仅靠猜测的机器人。这也揭示出，即使是最聪明的机器人，仍然经常编造事实（产生幻觉），尤其是在英语以外的语言中。

4. 为什么这很重要（根据论文所述）

论文声称，FactNet 解决了以往工具无法解决的特定“三方权衡”：

规模： 它足够大，足以训练现代 AI（数十亿条事实）。
** grounded（ grounded 指基于事实）：** 它将事实与真实的人类撰写文本以 pinpoint 精度（字节级精度）链接起来。
多语言： 它支持 316 种语言，而不仅仅是英语。

论文并未声称：

它并未声称已“永久修复”AI 的幻觉问题。它提供了工具（图书馆和测试）以帮助研究人员构建更好的系统。
它并未声称自己是医学或法律权威。它是一个用于训练和测试 AI 的研究数据集。
它并未声称完美无缺。作者承认，对于某些稀有语言或复杂事实，系统会遗漏一些连接（它优先考虑 100% 的确定性，而非寻找每一个可能的事实）。

总结：
FactNet 就像构建一张巨大的、多语言的“事实核查地图”。它将我们已知为真的结构化事实，与维基百科文章中证明该事实的确切段落之间，画出一条直接且不可断裂的线。这有助于教导 AI 停止编造，转而指向证据，无论用户使用何种语言。

技术摘要：FactNet

问题陈述

大型语言模型（LLM）经常产生事实性幻觉，并难以将其输出建立在可检索的证据之上，这一局限在非英语语言中尤为加剧。虽然检索增强生成（RAG）和基于知识的系统提供了一条前进路径，但它们需要同时耦合结构化知识与原生文本证据的训练数据。现有资源施加了一个关键权衡：

结构化知识库（如 Wikidata）： 提供规模和可查询的结构，但缺乏文本基础，导致 RAG 系统缺乏用于“事实到文本”检索的监督信号。
基于证据的数据集（如 FEVER、AveriTeC）： 提供高质量证据，但规模有限（数千个实例），且由于依赖人工策展，大多为单语。
对齐资源（如 T-REx、KELM）： 连接图谱与文本，但往往缺乏字节级精度，仅覆盖英语，或依赖合成生成，从而切断了与人类撰写文档的联系。
合成扩展： 机器翻译或 LLM 生成增加了多语言覆盖范围，但引入了翻译伪影和循环依赖，其中验证器学习的是生成器的模式，而非基于现实的 grounding。

目前缺乏一种资源，能够提供十亿级规模覆盖、广泛的多语言支持，以及具有确定性来源的原生、跨度级证据基础。

方法论

作者介绍了 FactNet，这是一个十亿级规模的开放资源，将 17 亿条 Wikidata 断言与来自 316 种原生维基百科版本的 30.1 亿个证据指针耦合在一起。其构建依赖于一个确定性管道，避免了随机推理或合成生成，确保每个证据单元都能以字节级精度追溯至其来源。

数据模型与架构

FactNet 组织为三个耦合层：

FactStatement（事实陈述）： 一个原子级、语言无关的单元，代表 Wikidata 断言（主体、属性、值），包括限定符和引用。
FactSense（事实语义）： 特定维基百科版本中的基于证据的实现。它将 FactStatement 链接到具体的文本证据（句子、信息框字段或表格单元格），并带有相对于规范化证据字符串的字节级偏移量（Unicode 码点索引）。
FactSynset（事实同义集）： 一个等价类，用于分组在不同语言和表层形式下表达相同底层事实的 FactStatements。

构建管道

该管道通过三个确定性阶段处理 Wikimedia 转储（Wikidata JSON、Wikipedia XML、SQL 链接表）：

视图生成： 从原始 wikitext 中提取三种来源稳定的视图：句子视图（通过模板剥离）、模板视图（基于 AST 的信息框参数提取）和表格视图（结构解析）。避免完全模板展开以防止噪声和偏移量不稳定。
规范化与标准化： 使用基于策略的规范键（ $S \parallel P \parallel \text{NormValue} \parallel \text{NormQuals}$ ）将语句聚合成 FactSynsets。默认采用严格等价；语义松弛（例如时间精度截断、单位转换）仅通过显式策略 $\pi$ 应用，并记录机器可读的 merge_reasons（合并原因）。
匹配与来源追踪： 使用有序的、数据类型感知的匹配器将语句与证据对齐：
- 基于结构： 匹配信息框/表格参数。
- 基于链接： 通过 Wikilinks 将实体值语句对齐至 QIDs。
- 词汇： 匹配文本中的字面值（时间、数量）。
- 证据指针： 每个 FactSense 包含一个指针 $(page\_id, revision\_id, view\_type, unit\_locator)$ 和字符偏移量，支持从源转储中精确重新定位。

FactNet-Bench

为了评估该资源，作者构建了 FactNet-Bench，这是一个用于知识图谱补全（KGC）、多语言 KG 问答（MKQA）和多语言事实核查（MFC）的套件。关键设计特征包括：

泄露控制： 分割是通过 synset_ids 的稳定哈希生成的。与开发/测试同义集对齐的证据被严格排除在训练池之外。
谓词掩码： 对于文本感知的 KGC，查询时的描述会屏蔽与查询谓词关联的值，以防止简单的提取。
确定性可复现性： 所有分割、基线和评估产物均源自冻结的快照。

主要贡献

FactNet： 首个将结构化知识与 316 种语言的本地多语言文本证据耦合的十亿级规模资源。它聚合了 17 亿个 FactStatements 和 30.1 亿个 FactSenses 到 15.5 亿个 FactSynsets 中。
确定性构建： 一个在不引入合成伪影的情况下实现前所未有的规模的管道，确保每个证据指针均可从原始数据转储中以字节级精度复现。
FactNet-Bench： 一个具有系统性泄露控制的基准套件，用于评估基于证据的事实推理，区分结构型、文本感知型和 LLM 集成型方法。

结果与评估

FactNet-Bench 上的实验表明：

方法区分： 该基准有效区分了结构型方法（TransE、RotatE）、文本感知型方法（SimKGC、KG-S2S）和 LLM 集成方法（GLTW）。LLM 集成方法取得了最高性能（例如 GLTW 在 KGC 中达到 0.386 MRR），但文本感知型方法相比结构型基线显示出显著提升。
泄露敏感性： 在没有谓词掩码的情况下，文本感知型模型显示出异常的性能提升（例如 KG-S2S 的 MRR 从 0.298 跃升至 0.351），证实了泄露控制对于防止任务退化为信息提取是必要的。
跨语言迁移： 共享的 FactSynset 结构实现了知识迁移。仅在英语实体描述上进行训练，在 Tier-2 语言上保留了 78% 的性能，在 Tier-3 语言上保留了 64%，表明结构对齐缓解了文本稀疏性。
证据质量： 密集检索（E5-large）在事实核查中显著优于 BM25（准确率 0.701 对比 0.654）。包含信息框和表格证据至关重要；移除它们会使 MFC 证据 Recall@5 降低 14.5%。
LLM 幻觉： 对 FactNet 事实探测 GPT-4o 和 Qwen-2.5-72B 揭示了高幻觉率，特别是在低资源语言（Tier-3：约 44-48%）和时间事实（约 34%）方面。这挑战了 LLM 从其训练数据中编码可靠事实知识的假设。
外部验证： FactNet 增强的 RAG 系统在 TriviaQA（+3.4 EM）和 FEVER（+2.2 准确率，+4.5 证据 F1）上优于维基百科转储基线，在跨语言场景中提升幅度更大。

意义与主张

本文声称，FactNet 解决了以往资源受限的“三方权衡”：规模、基础保真度和语言覆盖范围。通过将维基百科视为用于索引的结构化 XML 树而非用于爬取的语料库，FactNet 实现了知识图谱的规模，同时保留了验证数据集的基础粒度。

作者强调，FactNet 为 RAG 系统、事实核查和多语言推理提供了可靠的监督，无需依赖合成生成。该资源设计为来源优先，允许研究人员审计事实与证据之间的联系。作者指出，虽然 FactNet 继承了其来源（Wikidata/Wikipedia）的偏见，并表现出有利于高资源语言的长尾分布，但其确定性构建和对“证据缺口”（例如通过 ungrounded_reason 代码）的显式处理，为可信 AI 的未来研究提供了透明的基础。本文结论认为，跨语言 FactSynset 结构促进了不同语言层级间有意义的知识迁移，为改善低资源语言的事实基础提供了一条路径。