技术摘要：重新思考自回归模型测试时适应中的熵最小化

1. 问题陈述

通过熵最小化（EM）进行的测试时适应（TTA）是提升分类任务中模型对分布偏移鲁棒性的成熟范式。然而，将其应用于生成式自回归模型（例如大语言模型、自动语音识别系统）在理论上仍显碎片化。

核心挑战在于序列生成的高维组合特性，其中预测是相互依赖的 token 序列，而非独立的类别标签。现有文献已分化为两种截然不同的启发式方法，缺乏统一的数学基础：

1. 教师强制/伪标签法：通过贪婪解码生成伪标签，并最小化每个 token 位置输出分布的熵（例如 [6, 9, 10, 11]）。
2. 强化学习（RL）：将熵视为通过策略梯度优化的成本信号（例如 [5]）。

作者认为，这些方法依赖于不同的启发式规则，忽视了自回归设置下熵最小化正确的数学梯度表达式。因此，这些启发式方法与真实 EM 目标之间的关系尚不明确，且先前的方法往往未能捕捉自回归模型完整的概率结构。

2. 方法论

2.1 理论推导

作者推导出了最小化自回归模型输出分布 $\pi_\theta(\cdot|q)$ 熵的严格且数学正确的梯度表达式。

• 熵估计量：论文区分了两种估计量：

  • 序列级（$\hat{H}_{seq}$）：基于完整生成序列的对数概率。
  • Token 级（$\hat{H}_{tok}$）：各生成步骤中 token 分布熵的总和。
  • 定理 1：作者证明，只要熵是有限的，token 级估计量 $\hat{H}_{tok}$ 就是真实序列熵 $H(\pi_\theta)$ 的无偏估计量。

• 梯度分解：通过对 token 级估计量的期望熵进行微分，作者表明精确目标自然分解为两个基本组成部分：
  $$L_{EM}^{tok} = \underbrace{\text{sg}(\hat{H}_{tok}(y)) \log \pi_\theta(y)}_{L_{PG}^{tok} \text{ (Token 级策略梯度)}} + \underbrace{\hat{H}_{tok}(y)}_{L_{ENT}^{tok} \text{ (Token 级熵损失)}}$$

  • $L_{PG}^{tok}$：策略梯度项，用于调整生成轨迹的概率，使其倾向于不确定性更低的轨迹（类似于 REINFORCE）。
  • $L_{ENT}^{tok}$：直接路径梯度项，用于最小化熵估计量本身。

• 统一：作者证明，先前的方法仅是该统一目标的部分实现：

  • 教师强制方法仅优化 $L_{ENT}^{tok}$，忽略了参数更新如何改变轨迹分布。
  • 基于 RL 的 token 方法仅优化 $L_{PG}^{tok}$。
  • 数学上完整的目标需要联合优化这两项。

2.2 实现策略

为了使该方法具有实用性，作者引入了两种实现技巧：

1. RL 基线：为了降低 REINFORCE 估计量的高方差，他们采用了留一法（leave-one-out）基线和 token 级归一化（受 DAPO 启发）。
2. 束搜索扩展：算法利用束搜索中的前 $G$ 束作为候选响应，而非随机采样。虽然这会引入偏差（违反估计量的严格无偏性），但它充当了一种“优先级扫描”机制，优先处理高质量信号以加快收敛。

3. 实验设置

• 测试平台：使用 Whisper 基础模型（具体为 whisper-base）进行自动语音识别（ASR）。
• 数据集：实验涵盖三个数据集中的 20 多个不同领域：
  • 受损 Librispeech (LS-C)：10 种类型的加性声学噪声（例如空调、机场广播、嘈杂人声）。
  • L2-Arctic：来自 6 种不同母语（阿拉伯语、普通话、印地语、韩语、西班牙语、越南语）使用者的非母语英语语音。
  • 多语言 LibriSpeech (MLS)：7 种语言的语音（荷兰语、法语、德语、意大利语、波兰语、葡萄牙语、西班牙语）。
• 基线：
  • Source：未适应的模型。
  • Greedy-EM：标准的教师强制启发式方法（仅优化 $L_{ENT}^{tok}$）。
  • EM-seq：序列级策略梯度（仅优化 $L_{PG}^{seq}$）。
  • EM-tok：提出的 token 级联合目标（$L_{PG}^{tok} + L_{ENT}^{tok}$），采用随机采样。
  • EM-tok-b：提出的 token 级联合目标，采用束搜索采样。

4. 关键结果

4.1 跨领域性能

所提出的方法在所有测试领域中始终优于现有的启发式方法：

• 声学噪声：在受损 Librispeech 数据集上，EM-tok-b 实现了 19.15% 的最低平均词错误率（WER），显著优于未适应的源模型（22.53%）和 Greedy-EM 基线（21.91%）。
• 口音偏移：在 L2-Arctic 上，EM-tok-b 将平均 WER 降低至 16.21%，而源模型为 19.35%，Greedy-EM 为 18.77%。值得注意的是，Greedy-EM 未能提升西班牙语分组的性能（反而增加了 WER），而所提出的方法提供了持续的提升。
• 多语言泛化：在多语言 LibriSpeech 上，EM-tok-b 实现了 22.63% 的平均 WER，优于所有基线。

4.2 组件分析

• 两项的必要性：消融研究（图 2）表明，当有多个样本可用（$G > 1$）时，完整的 EM-tok 目标（结合策略梯度和熵损失）产生最佳结果。仅使用熵损失（ENT-tok）或仅使用策略梯度（PG-tok）均非最优。
• 样本量敏感性：在单样本（$G=1$）情况下，策略梯度项变得不稳定，仅熵的基线表现更好。然而，随着样本量增加，完整目标趋于稳定并占据主导地位。
• Token 级与序列级：EM-tok（token 级）始终优于 EM-seq（序列级）。作者推测，这是因为 ASR 错误是特定于 token 的；最小化 token 级熵为每一步的词汇分布提供了细粒度的指导，而序列级最小化仅考虑解码路径的可能性。

4.3 效率与束搜索

• 束搜索影响：使用束搜索的 EM-tok-b 始终实现最低的 WER。
• 计算效率：尽管束搜索引入了理论偏差，但 EM-tok-b 比随机采样（EM-tok）具有更高的计算效率。在 $G=16$ 时，EM-tok-b 将总运行时间减少了近 35%（与 EM-tok 相比），同时保持了更优越的性能，因为束搜索产生的转录比随机采样更简洁且更稳定。

5. 意义与主张

该论文声称解决了自回归模型测试时适应中熵最小化相关的理论模糊性。其主要贡献包括：

1. 理论统一：首次提供了自回归模型 EM 梯度的严格数学推导，证明该目标可分解为 token 级策略梯度和 token 级熵损失。
2. 澄清先前工作：阐明了先前的教师强制和基于 RL 的方法并非相互竞争的方法，而只是统一目标的不完整、部分实现。
3. 实证验证：通过在 Whisper ASR 上针对 20 多个领域进行的大规模实验，论文证明了基于理论的方法相比标准启发式方法，显著增强了针对噪声、口音和语言偏移的鲁棒性。
4. 实用价值：引入束搜索作为实用扩展（EM-tok-b），为现实场景中的 TTA 提供了一种稳健、高效且高性能的解决方案。

作者总结道，他们的公式为自回归模型 TTA 中的 EM 奠定了坚实的理论基础，使该领域从碎片化的启发式方法转向了原则性的优化框架。