技术摘要：用于大语言模型对比解码的注意力引导层选择

问题陈述

大语言模型（LLMs）容易产生幻觉，即生成看似合理但事实错误的文本。虽然像 DoLa（通过对比层进行解码）这样的对比解码方法通过对比单个模型内“成熟”（最终）层和“不成熟”（早期）层的输出分布，提高了事实性，但这些方法完全依赖于输出词表分布（logits）的差异。这种方法忽略了嵌入在模型内部自注意力机制中的结构化信息，而这些信息可能为识别事实知识涌现的层提供更敏感的信号。

方法论

作者提出了三种用于 DoLa 框架中选择不成熟层的注意力引导策略。这些方法不再比较输出 logits，而是利用中间层的自注意力分布（$A_l$）来确定哪一层应与最终层（$L$）进行对比。

对于给定的标记位置 $t$，这些方法计算头平均注意力行 $a^l_t$，代表第 $l$ 层对过去标记的注意力分布。三种策略如下：

1. Attention-JSD： 选择使其注意力分布与最终层分布之间的 Jensen-Shannon 散度（JSD）最大化的层 $l^*$。
   $$l^* = \arg \max_{l \in C} \text{JSD}(a^L_t, a^l_t)$$
2. Attention-Entropy-Max： 选择具有最大注意力熵的层，假设广泛分布的注意力可以作为层选择的线索。
   $$l^* = \arg \max_{l \in C} H(a^l_t)$$
3. Attention-Entropy-Min： 选择具有最小注意力熵的层，假设集中的注意力反映了对特定证据标记的强烈依赖。
   $$l^* = \arg \min_{l \in C} H(a^l_t)$$

这些策略保留了 DoLa 框架，包括合理性约束（将候选层限制在最终层高概率的标记下）以及每个标记处的动态选择过程。

核心贡献

• 新颖的选择信号： 本文首次系统地使用来自自注意力机制（散度和熵）的结构化信息作为对比解码中标记级层选择的动态信号，超越了对输出词表分布的依赖。
• 实证验证： 在六个模型（LLaMA-7B/13B/33B/65B, Gemma-7B, Mistral-7B）上针对 TruthfulQA 和 FACTOR 基准测试进行的广泛实验表明，注意力引导策略一致优于原始 DoLa，特别是在评估多个正确答案（MC2 和 MC3）的指标上。
• 机制见解： 通过基于头的分析，作者发现特定的注意力头携带了有助于事实性判别的不同信号。他们表明事实性的提升在所有头之间并不均匀；例如，LLaMA-7B 中的 Head 6 比所有头的平均值获得了显著更高的 MC3 分数。

实验结果

• TruthfulQA： 提出的方法一致优于基准方法和 DoLa。Attention-Entropy-Min 在 LLaMA-7B 上实现了最高的 MC2 (62.8%) 和 MC3 (36.5%) 分数，显著超过 DoLa。Attention-JSD 在 LLaMA-13B 上取得了最佳结果。虽然 DoLa 在较大模型（33B/65B）上保持了最高的 MC1（单正确答案）表现，但注意力驱动的方法在 MC2 和 MC3 上优于 DoLa，这表明注意力分布在解决多答案场景下的事实知识时更为敏感。
• FACTOR： 在长文本事实性方面，这些方法的表现与 DoLa 相当或更好。例如，Attention-Entropy-Max 在 LLaMA-7B Wiki 子集上达到了 62.6% 的准确率（DoLa 为 62.1%），而 Attention-JSD 在 Gemma-7B Wiki 子集上达到了 64.1%（DoLa 为 63.3%）。
• 层选择模式： 分析显示，虽然 DoLa 和 Attention-JSD 倾向于选择最浅的可选层，但 Attention-Entropy-Min 会自适应地在更宽、更深的范围内选择层（例如 LLaMA-7B 中的第 22–30 层），这表明它对输入上下文的响应更加动态。
• 分数分布： DoLa 倾向于产生“尖锐”的分布，在单个正确答案上具有高置信度（有利于 MC1），而基于注意力的方法产生的分布则较“平坦”，将分数分散到多个正确选项中（有利于 MC2/MC3）。

意义与主张

本文声称，内部注意力分布提供了比输出词表分布更敏感的信号，用于解决事实知识问题，尤其是在需要识别多个有效答案的任务中。通过利用自注意力的结构化信息，所提出的方法增强了事实性，且无需额外的训练或外部模型。

作者强调，他们的方法是一种实用的、推理时的插件，能将计算开销控制在合理的范围内。他们总结道，虽然当前的方法仍需通过预先验证来选择候选层桶（layer buckets），但关于特定注意力头（而非仅仅是平均值）驱动事实性的发现，为通过上下文相关的头选择进行进一步优化提供了路径。

局限性

作者承认，目前的评估主要限于多项选择基准测试，其在自由文本生成中的适用性仍有待验证。此外，选择候选不成熟层桶的过程仍需要验证，且为什么特定注意力头在事实召回方面表现出色的理论基础尚未得到充分阐明。