技术摘要：推理去噪器 (REDE)

问题陈述

大型推理模型 (LRMs)，如 OpenAI 的 o 系列和 DeepSeek-R1，在生成最终答案之前会生成大量的推理轨迹。虽然这些轨迹旨在增强推理能力，但它们也引入了一个关键的可靠性问题：幻觉 (hallucination)。现有研究尝试利用这些轨迹进行幻觉检测，但这一方法受到噪声推理步骤 (noisy reasoning steps) 的阻碍。

论文识别了 LRM 轨迹中两种普遍存在的噪声形式：

1. 无关步骤 (Irrelevant steps)： 不贡献有意义的、针对特定问题的信息的步骤。
2. 重复步骤 (Repetitive steps)： 信息在语义上是冗余的，因为其内容已被轨迹中的后续步骤所覆盖。

作者证明，天真地将完整的推理轨迹纳入幻觉检测器会降低性能。标准的过滤方法，例如基于置信度的评分或天真的基于嵌入的过滤（例如对原始嵌入进行 $k$-NN），都无法可靠地区分信息性步骤与噪声步骤。置信度分数在不同类型的步骤之间存在大量重叠，且重复步骤在原始表示空间中与信息性步骤在语义上依然保持接近。

方法论：REDE 框架

作者提出了 RE de (REDE)，这是一个旨在通过塑造步骤级表示空间来对推理轨迹进行去噪的学习框架。该框架分为三个阶段运行：

1. 监督信号：最终答案注意力 (Final-Answer Attention)

REDE 利用 LRM 内部的注意力机制作为一种自动化的、无需人工标注的监督信号。其核心观察是：最终答案标记 (final answer token) 对每个推理步骤的注意力分数与该步骤的效用相关：

• 信息性步骤 获得高注意力，因为它们直接支持最终答案。
• 无关步骤 获得低注意力，因为与答案的联系较弱。
• 重复步骤 获得低注意力，因为其内容被后续更具决定性的步骤所吸收。

步骤得分 $s_i$ 计算为最终答案标记分配给步骤 $c_i$ 内所有标记的总注意力质量。

2. 学习去噪表示空间

REDE 并非直接使用注意力分数作为过滤器（这会带来推理开销且缺乏鲁棒性），而是学习一个轻量级的投影网络 $f_\phi$ 来重塑步骤嵌入。

• 嵌入提取： 使用困惑度加权的标记隐藏状态聚合来构建步骤嵌入，以强调承载内容的标记。
• 代理选择： 在训练期间，根据注意力分数对步骤进行排序。前 $\rho\%$ 构成信息性步骤的代理集 ($\mathcal{T}$)，后 $\rho\%$ 构成噪声步骤的代理集 ($\mathcal{B}$)。
• 目标函数： 投影网络通过一个复合损失函数 $\mathcal{L}$ 来诱导嵌入空间中特定的几何结构：
  • $\mathcal{L}_{compact}$：将信息性步骤拉拢在一起，形成一个紧凑的簇。
  • $\mathcal{L}_{disperse}$：防止噪声步骤聚集在一起，使其保持为可识别的离群值。
  • $\mathcal{L}_{separate}$：将信息性簇与噪声簇推开，以最大化全局可分性。

3. 推理时过滤

在推理期间，投影网络将步骤嵌入映射到学习到的空间中。基于距离的过滤器（使用 $k$-NN 余弦距离）将距离密集信息性簇较远的步骤识别为噪声步骤。移除距离得分最高的前 $\zeta\%$ 步，并将过滤后的轨迹传递给下游的幻觉检测器。

核心贡献

1. 识别噪声： 论文指出，无关步骤和重复步骤是 LRM 幻觉检测中一个显著且被忽视的障碍，并证明了移除这些步骤可以带来实质性的性能提升。
2. REDE 框架： 一种新颖且轻量级的学习框架，它利用最终答案注意力来塑造表示空间，从而实现可靠的噪声步骤过滤，且无需人工标注。
3. 泛化性与性能： 大量的实验表明，REDE 是检测器无关的（兼容探测、基于不确定性和语言化方法），并在不同的数据集和模型族中一致地提高了检测性能。

实验结果

作者在四个推理基准测试上评估了 REDE：TruthfulQA、MATH（结合了 MATH500, AIME 2024/2025）、CodeElo 和 MULTIHOPQA，使用的模型包括 Qwen3-8B/32B 和 DeepSeek-R1-Distill-Llama-8B。

• 性能增益： REDE 一致优于竞争基线。在带有 Qwen3-8B 的 TruthfulQA 基准测试中，REDE（使用 CCS 作为检测器）实现了 87.32% 的 AUROC，相比未经处理的轨迹 (68.63%) 和最先进的基线如 ARS (81.92%) 有显著提升。
• 鲁棒性： 该方法在不同的 LRM 家族和数据集之间具有良好的泛化能力。跨数据集迁移性测试显示，在一个数据集（如 MULTIHOPQA）上学习到的投影可以有效地为另一个数据集（如 CodeElo）进行轨迹去噪。
• 可扩展性： REDE 在更大的模型（Qwen3-32B 和 DeepSeek-R1-Distill-Qwen-32B）上依然有效，在 TruthfulQA 上的表现比基线高出多达 13.11%。
• 消融研究：
  • 直接基于注意力的过滤效果不如 REDE，证实了学习塑造表示空间的必要性。
  • 移除损失函数中的任何组成部分 ($\mathcal{L}_{compact}$, $\mathcal{L}_{disperse}$, 或 $\mathcal{L}_{separate}$) 都会导致性能下降，验证了几何塑造策略的有效性。
  • 该方法对距离度量和嵌入提取层的选择具有鲁棒性。

重要性与主张

论文声称，推理步骤去噪是提高 LRM 幻觉检测性能的一种有效且通用的策略。通过过滤掉掩盖真实性线索的步骤，REDE 使下游检测器能够基于更干净、更有信息量的信号进行操作。

作者将 REDE 定位为一个轻量级、即插即用的模块，它不需要人工标注，并且可以集成到各种检测流水线中。他们强调，虽然 REDE 增强了可靠性，但它是一个检测辅助工具而非真实性的保证，并且它本身并不干预生成过程。这项工作表明，未来的研究应探索将此类去噪信号直接整合到模型训练中，从而从源头上抑制噪声。