💬 NLP

DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification

DecomposeRL 是一个半监督、可追溯的声明验证框架，它利用数据筛选漏斗和基于 GRPO 的强化学习来训练一个紧凑的 7B 模型，在产生可解释推理轨迹的同时，实现了与更大规模基线模型相当的性能。

原作者： Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文 DECOMPOSERL 的解释，将其拆解为简单概念并辅以日常类比。

核心难题：“黑盒”与“慢侦探”的对立

想象一下，你正在核实一个荒谬的谣言，例如：“《1984》的作者获得了诺贝尔奖。”

目前，计算机尝试解决此类问题主要有两种方式：

“黑盒”分类器：这就像一名超级快速的保安，看到谣言后立刻大喊：“假的！”它速度快且通常准确，但如果你问“为什么？”，它只会耸耸肩。它无法提供任何证据。在高风险情境下（如医疗或政治），若看不到证据，你无法信任其裁决。
“慢侦探”（分解法）：这就像一名侦探，将谣言拆解为小问题：“谁写了《1984》？” -> “那个人获得过诺贝尔奖吗？” 它会记录下每一步，让你看到证据。然而，这些侦探往往速度慢、易犯错，且若无人类教师手把手指导，很难从新案例中学习。

DECOMPOSERL 是一个新系统，试图结合两者的最佳之处：既是一名快速、准确的侦探，又能为每个答案留下清晰、可审查的证据链。

工作原理：“智能提问者”

DECOMPOSERL 并非直接猜测答案，而是被训练成为一名审讯大师。它的任务不是直接回答主张，而是提出完美的问题组合来查明真相。

这就像玩二十个问题游戏，但计算机是在与自己对抗，以寻找通往真相的最有效路径。

1. “奖励系统”（教练）

为了教会这个 AI 提出好问题，研究人员没有仅仅说“做得好”或“做得差”。他们构建了一个多维奖励系统（就像一位拿着清单的严厉教练）。只有当 AI 提出的问题满足以下三个特定标准时，它才能获得积分：

有用性（“游戏规则改变者”）：如果去掉这个问题，最终答案会改变吗？
- 类比：想象一个陪审团。如果一名陪审员问：“被告拥有一辆红色汽车吗？”而裁决结果不变，那这个问题就是无用的。但如果他们问：“被告当时在现场吗？”且这改变了裁决，那这个问题就是有用的。DECOMPOSERL 只保留那些能真正改变结果的问题。
信息性（“仅事实”规则）：问题必须仅使用提供的证据即可回答，且必须是单一、清晰的事实。
- 类比：问“这个主张是真的吗？”是个坏问题，因为它只是重复了问题本身。问“这本书有多少页？”如果书的长度无关紧要，这也是个坏问题。AI 学会提出像“谁写了这本书？”这样具体且基于事实的问题。
多样性（“不重复”规则）：问题不应冗余。
- 类比：如果你先问“谁写了这本书？”，接着又问“这本书的作者是谁？”，你就浪费了时间。AI 学会提出不同的问题，覆盖谜题的不同部分。

2. “数据漏斗”（过滤器）

训练一个聪明的 AI 通常需要数百万个示例，这既昂贵又缓慢。研究人员有一个巧妙的技巧：数据漏斗。

他们从互联网上收集了 155,000 个事实核查示例的庞大堆栈。
他们通过一系列过滤器（就像咖啡滤纸）处理这些数据：
- 过滤器 1：丢弃太短或太长的主张。
- 过滤器 2：丢弃太容易（即使是简单的 AI 也能解决）或太混乱的主张。
- 过滤器 3：去除重复项。
结果：他们将这庞大的堆栈提炼成仅 5,000 个主张 的微小、高质量的“精华”。
类比：想象试图通过品尝 155,000 道随机菜肴来学习烹饪，其中大多数要么烧焦要么淡而无味。相反，DECOMPOSERL 的创建者将其过滤为 5,000 份完美、厨师级水准的食谱。AI 从这个小型、高质量的集合中，比从那个庞大、混乱的堆栈中学习得更快、更好。

3. “半监督”技巧（无师自通）

通常，要训练一个 AI，你需要人类对每一个答案进行评分（金标准标签）。但人类速度慢且昂贵。

DECOMPOSERL 有一种特殊模式，即使 90% 的答案未评分，它也能学习。

如何做到？ 它使用一种称为自一致性的技术。AI 为同一个主张生成多个不同的“路径”（问题集）。如果 8 条路径中有 7 条对最终裁决达成一致，AI 就会假设该裁决是正确的，并将其作为“伪标签”用于自我教学。
类比：想象一名学生在没有答案键的情况下参加考试。如果学生用五种不同的方法解题，且每次都得到相同的答案，即使没有老师检查，他们也会确信自己是对的。

结果：小身材，大能量

研究人员测试了他们的 70 亿参数模型（在 AI 世界中相对较小），将其与更大的模型（320 亿参数）甚至顶级专有系统（如 GPT-4）进行了对比。

准确性：DECOMPOSERL 的表现与大它四倍的模型相当。
效率：它仅使用 5,000 个主张的微小、精选数据集就实现了这一目标。
半监督成功：即使仅使用 10% 的标注数据（其余 90% 为自评分）进行训练，它仍然优于所有其他同规模模型。

“痕迹”（纸质档案）

DECOMPOSERL 最重要的特点是，它不仅仅给你一个“真/假”的答案。它提供了一条痕迹。

类比：如果普通 AI 是一个从帽子里变出兔子的魔术师（你看到了结果，但没看到戏法），那么 DECOMPOSERL 就是一个向你展示空帽子、兔子以及它们放入帽子的确切时刻的魔术师，一步步展示全过程。
输出看起来像一场对话：
1. 问题：“谁写了《1984》？” -> 答案：“乔治·奥威尔。”
2. 问题：“乔治·奥威尔获得过诺贝尔奖吗？” -> 答案：“没有，文档显示他没有。”
3. 裁决：驳斥（该主张为假）。

这允许人类审查工作。如果 AI 犯错，你可以查看“痕迹”，确切地看到是哪个问题或答案导致了错误。

总结

DECOMPOSERL 是一个聪明、高效的事实核查 AI，它学会提出正确的问题来解决谜题。它利用“过滤器”从少量高质量数据集中学习，并利用“自检查”系统在没有老师的情况下也能学习。其结果是一个与巨型超级计算机一样准确的系统，但能生成清晰的、逐步的解释，说明它是如何得出结论的。

技术摘要：DECOMPOSERL

问题陈述

自动化主张验证面临着准确性与可解释性之间的根本权衡。现有方法通常分为两类：

端到端分类器：这些方法在基准测试中实现了高准确率，但作为“黑盒”运行，仅输出裁决结果，而未提供关于如何得出该结论的可检查痕迹。这种不透明性在高风险领域（如生物医学分诊、政治事实核查和科学同行评审）中是个问题，因为这些领域的用户需要看清主张的哪些部分被验证了以及原因。
基于分解的方法：这些方法将主张分解为原子子问题以生成可检查的痕迹。然而，它们在性能上往往落后于端到端分类器。现有的分解方法依赖于脆弱的提示或昂贵的模仿学习（在黄金分解数据上进行微调），缺乏一种能够衡量分解对验证任务实际适用性的训练信号。

方法论

作者提出了DECOMPOSERL，这是一个强化学习（RL）框架，用于训练策略将主张分解为有用、信息丰富且多样化的问题，从而同时实现高准确率和可审计的痕迹。

1. 数据策展漏斗

为了解决在大型、嘈杂语料库上训练 RL 策略的高昂成本问题，作者设计了一个多阶段数据策展漏斗。从 14 个异构语料库中的约 15.5 万条主张开始，他们提炼出一个紧凑的、学习信号密集的5,464 条主张子集（约占原始数据的 4%）。过滤阶段包括：

基于规则的过滤：移除证据长度不足、词汇重叠琐碎或命名实体少于两个的主张。
基于难度的过滤：使用 MiniCheck-7B 验证器，仅保留模型不确定的主张（置信度 $0.3 \le p \le 0.8$ ），确保训练数据包含非平凡的推理挑战。
去重与去污染：通过 MinHash 和余弦相似度移除近重复项，以防止数据泄露并确保多样性。
银标分解：使用 GPT-5-mini 为剩余主张生成“银标”（伪标签）分解。
多样性选择：使用设施位置目标（子模最大化）选择最终子集，以最大化嵌入空间的覆盖范围，确保训练集代表完整的主张类型分布。
长证据增强：添加具有长证据上下文的声明，以防止评估期间的分布偏移。

2. 强化学习框架

DECOMPOSERL 将主张验证表述为迭代式问答（QA）分解问题。基于Qwen2.5-7B-Instruct的策略（ $\pi_\theta$ ）生成一个结构化痕迹，包括初始分析、 $n$ 个问答循环以及最终裁决（SUPPORTED 或 REFUTED）。

该策略使用组相对策略优化（GRPO）进行训练，并配合新颖的多面奖励集成。与依赖单一结果奖励的先前工作不同，DECOMPOSERL 优化了七个互补信号：

格式（ $R_{fmt}$ ）：确保遵守基于 XML 的结构化输出模式。
验证（ $R_{ver}$ ）：将策略锚定在真实标签的裁决上（仅针对有标签数据）。
问题数量（ $R_{qc}$ ）：惩罚偏离最优子问题数量的行为。
多样性（ $R_{div}$ ）：在嵌入上使用最大边际相关性（MMR）来惩罚冗余问题。
覆盖度（ $R_{cov}$ ）：一个“LLM 作为裁判”评估仅凭答案集合是否能重构出正确的裁决。
通过留一法得出的必要性（ $R_{nec}$ ）：这是一个关键组件，裁判判断移除特定问题是否会改变裁决。必要的问题（移除它们会翻转裁决）获得高奖励；有害的问题（那些误导裁决的问题）获得负奖励。
联合乘积质量（ $R_{joint}$ ）：一个结合可回答性、原子性（单一焦点，无连词）和正确性的乘积奖励。这确保了任何维度的单一失败都会将该问题的得分降为零。

3. 半监督学习

为了解决黄金标签数据稀缺的问题，DECOMPOSERL 支持半监督训练。对于无标签主张：

覆盖度通过自一致性进行近似： $G$ 次滚动的多数投票作为伪标签。
必要性是相对于策略自身重构的裁决计算的，而非真实标签。
验证奖励在无标签数据中被丢弃，而其他奖励保持与标签无关。

主要贡献

多面奖励集成：一种新颖的奖励系统，利用确定性规则、基于嵌入的指标和“LLM 作为裁判”评估的组合，捕捉分解质量在多个维度（必要性、覆盖度、多样性、原子性）的表现。
半监督能力：一种自一致性机制，允许模型通过利用提示内的一致性从无标签主张中学习，使该方法适用于标注成本高昂的领域。
高效的数据策展：一个蒸馏漏斗将训练数据需求减少了约 96%（从 15.5 万条降至约 5,500 条主张），同时提高了信号密度，使得在有限算力下有效进行 RL 训练成为可能。
性能与可扩展性：证明了使用此框架训练的 70 亿参数模型可以匹配甚至超越显著更大的模型（320 亿参数）和专有前沿模型（GPT-4.1-mini）的性能，同时提供可检查的痕迹。

实验结果

作者在11 个主张验证基准测试（9 个领域内，2 个领域外）上评估了 DECOMPOSERL，包括生物医学、政治和科学数据集。

准确率：DECOMPOSERL-7B模型在领域内实现了86.3%的平衡准确率，在领域外实现了69.8%。
与基线的比较：
- 它显著优于所有基于分解的基线（如 Decomposed Prompting、HiSS、ClaimDecomp）（领域内高出 4.4%，领域外高出 2.8%，相对于最强基线）。
- 它超越了 MiniCheck-7B 等端到端分类器。
- 尽管比 320 亿参数的基线小 4 倍，比前沿模型小一个数量级，它在领域内任务上仍匹配了320 亿参数模型和GPT-4.1-mini前沿模型的性能。
半监督性能：当仅使用10% 的有标签数据（ $s=0.1$ ）进行训练时，DECOMPOSERL-7B 保持了**84.6%的领域内准确率和69.7%**的领域外准确率，仍然优于所有 70 亿参数的基线。
消融研究：移除必要性奖励导致了领域外性能的最大下降（-4.8%），突显了其在泛化中的关键作用。移除覆盖度和多样性也显著影响了鲁棒性，证实了完整奖励集成对于领域外性能的必要性。

意义与主张

本文主张 DECOMPOSERL 成功弥合了主张验证中准确性与可解释性之间的差距。通过将分解表述为受多面奖励集成引导的强化学习问题，作者证明了：

可追溯性不必以牺牲准确性为代价：该模型生成可审计的、逐步的验证痕迹，而不会像不透明的分类器那样牺牲性能。
参数效率：如果优化了训练信号（奖励设计和数据策展），较小的模型（70 亿参数）也能实现高性能，而无需单纯依赖扩大模型规模。
向低资源环境的扩展：半监督方法允许系统适应黄金标准标注稀缺或昂贵的新领域，利用自一致性来启动学习。

作者将这项工作定位为自动事实核查中“可追溯性差距”的解决方案，提供了一种既准确又透明的方法，适用于用户必须检查推理过程的高风险应用。