🤖 AI

ToE: A Hierarchical and Explainable Claim Verification Framework with Dynamic Multi-source Evidence Retrieval and Aggregation

本文介绍了 ToE，这是一个层级化且可解释的框架，它将主张动态分解为论证树，并利用强化学习进行多源证据检索与聚合，在显著提高事实核查准确率（特别是针对 AI 生成的虚假信息）的同时，提供了策略收敛的理论保证。

原作者： Zhaoqi Wang, Zijian Zhang, Kun Zheng, Zhen Li, Xin Li, Chunlei Li, Jiamou Liu

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhaoqi Wang, Zijian Zhang, Kun Zheng, Zhen Li, Xin Li, Chunlei Li, Jiamou Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名试图破解谜题的侦探，但你发现的线索是真假参半、甚至经过巧妙伪装的伪造品。在数字世界中，当人工智能（AI）尝试进行新闻事实核查时，情况正是如此。有时，不法分子制造的虚假故事是如此逼真且布局精巧，以至于连聪明的 AI 也会被骗，误以为它们是真相。

这篇论文介绍了一个名为 ToE (Tree of Evidence，证据树) 的新系统。你可以将 ToE 想象成不仅仅是一个单一的侦探，而是一个构建“事实家族树”来破解一项主张的层级化调查团队。

以下是它的工作原理，分为简单的几个步骤：

1. 问题所在：“假新闻”陷阱

标准的 AI 模型就像是只研读旧教科书的学生。它们不知道今天发生了什么事。为了解决这个问题，我们通常会让它们去“谷歌搜索”。但问题在于，不法分子已经学会了如何“污染”搜索结果。他们编写看起来极其真实且排名极高的虚假文章，使 AI 将其抓取并视为真相。

类比： 想象一名学生正在写一篇历史论文。他去了图书馆，但有人偷偷把真实的史书换成了外观一模一样的假书。学生阅读了这些假书，并写出了一篇错误的论文，还以为自己是对的。

2. 解决方案：构建“事实树”

ToE 不仅仅是问一个问题并得到一个答案，它将一个主张视为一棵需要分解成更小分支的树干。

主张（树干）： “蒂姆·库克（Tim Cook）是 OpenAI 的首席执行官。”
分支（子主张）： 为了验证这一点，ToE 不仅仅询问“这是真的吗？”它会将其拆解为：
- 谁是首席执行官？
- 他们何时加入的？
- 总部设在哪里？
- 为什么会加入？

如果一个分支的证据薄弱，ToE 就会生长出一个新的、更小的分支来进行更深入的挖掘。它会不断扩展这棵树，直到拥有足够的“坚实木材”（证据）来做出决策。

3. 三个专业化智能体

ToE 使用了三个不同的“智能体”（AI 工作人员）协同工作：

猎人 (检索智能体 - The Hunter)： 这个智能体就像是一个带着地图的侦察兵。它不只是搜索一个地方；它知道不同类型的谎言需要不同的工具。
- 如果主张涉及科学，它会在学术期刊中搜寻。
- 如果涉及政治，它会检查事实核查网站。
- 如果涉及名人，它会查看社交媒体。
- 至关重要的是： 它经过训练，能够主动寻找反向证据（证明主张是错误的证据），而不仅仅是寻找证明其为真的证据。这防止了它陷入“确认偏误”（即只寻找它想找的证据）。
法官 (评估智能体 - The Judge)： 一旦“猎人”带回一堆文档，“法官”就会阅读它们。它会问：“这个来源可靠吗？这份文件究竟是支持还是反驳了这个主张？”它会为每一条证据分配分数。
领班 (聚合智能体 - The Foreman)： 这个智能体观察整棵树。它收集所有分支的分数并将它们结合起来。如果分支摇摇欲坠，它会指示团队进行更深层的挖掘。如果分支稳固且彼此一致，它就会停止搜索并宣布判决。

4. 为什么它更聪明

大多数事实核查系统就像是一个人读了一份报纸就决定其真伪。ToE 则像是一个调查团队，通过交叉比对五个不同的来源，检查矛盾之处，并且只有在 100% 确定时才会停止。

论文使用一组特殊的“对抗性”数据集（一套专门设计用来欺骗 AI 的假新闻）对 ToE 进行了测试。

结果： 当其他系统被假新闻搞糊涂时，ToE 依然保持稳定。与现有最优秀的方法相比，它的准确率提高了 4% 到 24%。
“毒素”测试： 即使假新闻被精心制作得看起来非常真实（一种被称为“GEO 污染”的技术），ToE 也能通过深入挖掘其证据树来发现其中的不一致之处。

5. 核心结论

ToE 是一个将事实核查转化为结构化、循序渐进调查的框架。它不是获取真相的一个单一快照，而是构建一个动态增长的证据树。它知道何时停止搜索，何时进行更深层的挖掘，从而确保最终的判决是基于经过验证的坚实事实基础，而不是互联网上遇到的第一条信息。

简而言之：ToE 不仅仅问“这是真的吗？”它还会问“我们是如何知道它是真的？”并构建一棵证明树来回答这个问题。

技术摘要：ToE —— 一种分层且可解释的断言验证框架

1. 问题陈述

误导性信息的快速激增，特别是通过生成式引擎优化（GEO）等手段生成的或优化的 AI 内容，对信息生态系统构成了严重威胁。大语言模型（LLMs）虽然功能强大，但依赖于静态训练数据，且容易产生幻觉。虽然检索增强生成（RAG）和工具调用方法试图将 LLMs 锚定在实时信息中，但它们引入了新的漏洞：经过对抗性设计的误导性信息可能会在检索结果中的排名系统性地高于真实内容，从而“污染”上下文，导致 LLMs 信心十足地得出错误的结论。

现有的检测方法面临显著局限性：

基于深度学习的检测器通常在不同主题和平台之间缺乏泛化能力。
基于 LLM 的检测器（例如零样本思维链/zero-shot chain-of-thought）难以应对具有时效性的新闻以及在风格上流畅但在事实层面错误的 AI 生成误导信息，尤其是在缺乏动态外部知识的情况下。
当前的检索增强方法通常依赖于静态知识库，或者缺乏主动寻求反证（counter-evidence）的机制，使其容易受到确认偏差和对抗性检索结果的影响。

2. 方法论：证据树（ToE）框架

ToE 是一个分层证据推理框架，旨在通过将断言建模为一个动态扩展的论证树来实现自动化事实核查。它集成了三个核心组件，通过可解释的证据链对断言进行迭代分解、检索和验证。

A. 核心架构

该框架运行一个迭代循环，其中一个断言（根节点）会被处理，直到达到收敛或确定性阈值：

动态分解： 如果证据不足，LLM 会沿着诸如“谁、什么、何时、何地、为什么”和“如何”等维度将断言分解为子断言。
多源检索： 一个由强化学习（RL）驱动的智能体根据断言的语义特征，从离散空间（例如 Wikipedia、arXiv、事实核查网站、社交媒体、反证搜索）中选择搜索动作。
证据评估： 收集到的文档由 LLM 解析，以提取结构化证据片段（立场、来源可靠性）。评估网络会对节点进行真实度（真伪概率）和可靠性（判断置信度）评分。
树聚合： 分数自底向上传播。如果一个节点的可靠性高且结论具有决定性，则剪枝该分支。如果可靠性低，则扩展该分支。

B. 理论基础（POMDP 与信息论）

检索过程被建模为一个部分可观测马尔可夫决策过程（POMDP）：

状态： 累积证据集与断言特征的联合表示。
动作： 选择一个检索源或执行停止动作。
观测： 被处理为结构化证据的检索文档。
奖励： 设计为近似于潜在真实真实度（latent ground-truth veracity）与新观测值之间的条件互信息。奖励信号与可靠性的增益（ $\Delta r_t$ ）成正比。
理论保证： 作者推导出了一个形式化的误差界限，表明如果评估网络的可靠性估计在理想后验概率的 $\epsilon$ 范围内，学习到的策略将收敛到信息论最优策略的一个邻域内。在证据累积具有次模性（submodularity）的假设下，贪婪策略保证能达到非贪婪最优性能的至少 $(1 - 1/e)$ 。

C. 关键组件

RL 驱动的检索智能体： 使用**群体相对策略优化（GRPO）**进行在线策略更新。智能体会分析断言类别（如历史类 vs 科学类）和搜索进度，以选择最具信息量的来源。它明确包含了“反证”动作，以减轻确认偏差。
证据评估智能体： 采用立场感知多路径注意力机制。它将证据编码为三条并行轨道（支持、中立、反驳），应用质量门控，并将其与断言嵌入融合，以产生真实度和可靠性评分。
树管理： 利用基于规则的备选方案以保证可解释性，并使用神经聚合网络进行学习。它根据可靠性和真实度稳定性的阈值来管理扩展、剪枝和收敛。

3. 主要贡献

ToE 框架： 第一个将动态证据收集与评估相结合，以生成用于自动化事实核查的可解释论证树的算法。
理论分析： 对检索策略进行了形式化误差界限推导，证明了在评估网络准确性满足特定条件时，策略能收敛到最优邻域。
AdvFact 数据集： 构建了一个对抗性基准测试，旨在模拟 GEO 污染的误导信息（使用 FakeGPT 和 PoisonedRAG 等策略），以评估针对 AI 生成虚假断言的鲁棒性。

4. 实验结果

ToE 在三个标准基准数据集（LIAR、PolitiFact、CheckCOVID）以及新的对抗性数据集（AdvFact）上进行了评估，并使用了两个骨干 LLM（DeepSeek-V3.2 和 GPT-OSS-20B）。

性能： ToE 在所有数据集上均优于竞争对手基线（包括直接提示词、Z-CoT、STEEL 和 TELLER）。性能提升范围在 4 到 24 个百分点之间。
对抗鲁棒性： 在 AdvFact 上观察到了最显著的提升，其中 ToE 实现了 64% 的准确率（DeepSeek）和 54%（GPT-OSS），显著优于在受污染输入下表现挣扎的基线（例如，在使用 DeepSeek 时，直接提示词在 AdvFact 上的准确率降至 16%）。
消融研究：
- 工具空间： 移除任何一组功能性工具（学术、反证、事实核查、社交媒体）都会降低性能，证实了多样化检索策略的必要性。事实核查数据库被确定为最关键的来源。
- 模型敏感性： 虽然像 Z-CoT 这样的基线对底层 LLM 的推理能力表现出高度敏感性，但 ToE 在大型和小型模型中均保持了持续的改进。
行为分析： 检索智能体展示了领域感知行为，优先为科学类断言选择 arXiv，为政治/健康类断言选择事实核查网站，并为名人相关断言选择社交媒体。

5. 意义与主张

本文将 ToE 定位为实现证据支撑的断言验证（且具备抵御 GEO 污染能力）的一条可行路径。其意义在于：

可解释性： 不同于“黑盒”式的 LLM 判断，ToE 提供了一个可追溯的论证树，允许用户审查导致最终结论的具体证据链。
鲁棒性： 通过主动寻求反证并根据不确定性动态扩展搜索范围，该框架减轻了对抗性检索和确认偏差的风险。
泛化性： 该方法与数据集无关，在 LIAR 数据集上进行训练，但在无需微调的情况下，在其他领域和对抗性设置中展现了强大的零样本迁移能力。

作者总结道，通过将证据组织成分层结构，并通过训练好的智能体引导检索，可以将复杂的断言分解为可验证的子论证，从而为应对系统性涌现的 AI 生成误导信息提供强有力的防御。