VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

技术摘要：VIB-AVSR

问题陈述
视听语音识别（AVSR）利用视觉线索（唇动）来补充声学信号，这在噪声环境下尤为重要。虽然最近基于大语言模型（LLM）的 AVSR 范式通过将预训练的音视频编码器连接到 LLM 主干网络，实现了最先进的性能，但它们在噪声鲁棒性方面存在显著局限性。与从头开始训练的传统端到端模型不同，基于 LLM 的 AVSR 模型使用仅在纯文本上进行预训练的主干网络。因此，LLM 参数从未接触过带有噪声的音视频语音，且在微调期间只有极小比例的参数（通过 LoRA）会被更新。这种架构缺乏一种显式机制来在输入音频受损时生成稳定的表示，导致其在噪声条件下性能大幅下降。现有方法通常依赖于数据增强或仅针对编码器的修改，使得 LLM 主干本身仍难以应对由声学噪声引起的领域偏移。

方法论：VIB-AVSR
为了解决这一问题，作者提出了 VIB-AVSR，该框架直接将**变分信息瓶颈（Variational Information Bottleneck, VIB）**层集成到 LLM 主干网络中。其核心目标是正则化模型的内部表示，以丢弃噪声引起的方差，同时保留与任务相关的有效信息。

• 架构： 该系统构建于 Llama-AVSR 框架之上，该框架使用预训练的 Whisper-medium（音频）和 AV-HuBERT（视频）编码器，并将它们的输出投影到 L_3.2-1B 主干网络中。VIB 模块被插入到 LLM 内特定的 Transformer 层中。
• VIB 目标： 该方法专门针对音频隐藏状态 ($H_a$) 应用信息瓶颈原则。其目标是最大化压缩表示 ($Z$) 与转录目标 ($Y$) 之间的互信息，同时最小化 $Z$ 与噪声输入 ($H_a$) 之间的互信息。
  • 选择性应用： 瓶颈仅应用于音频 Token。视觉 ($H_v$) 和文本 ($H_t$) Token 保持不变，因为它们不受声学噪声干扰，并提供了必要的互补上下文。
  • 变分公式化： 由于互信息难以直接估计，作者使用了变分下界。后验分布 $p(Z|H_a)$ 由一个两层 MLP（预测均值和方差）参数化，并使用一个可学习的对角高斯分布作为先验。
  • 损失函数： 训练目标结合了标准的自回归转录似然项与一个由超参数 $\beta$ 加权的 KL 散度正则化项。
• 实现细节：
  • 插值： 为了防止采样后的表示对于 LLM 而言过于损失，使用系数 $\alpha$（设为 0.5）将瓶颈输出 ($\tilde{Z}$) 与瓶颈前的表示 ($H_a$) 进行插值：$\hat{Z} = \alpha H_a + (1-\alpha)\tilde{Z}$。
  • 推理： 在推理过程中，跳过重参数化技巧，仅使用后验分布的均值。
  • 训练： LLM 和视频编码器使用 LoRA 进行微调，而音频编码器保持冻结。VIB 模块与 LoRA 适配器共同进行训练。

核心贡献

1. 新颖框架： 引入了 VIB-AVSR，这是一种轻量级方法，通过在 LLM 主干中插入 VIB 层，在表示层面提高噪声鲁棒性，无需重新设计架构或增加额外的训练数据。
2. 泛化能力： 证明了变分压缩即使在模型仅在干净数据上训练的情况下，也能促进对噪声条件的泛化，这表明该机制不同于简单的数据增强。
3. 实证分析： 通过广泛的消融实验确定了最佳配置：在第 4 层和第 8 层 Transformer 层插入 VIB 层，正则化强度 $\beta = 0.1/H$，以及插值系数 $\alpha = 0.5$。
4. 性能提升： 在多种噪声类型（嘈杂声、语音）和信噪比（SNR）水平下，相比 Llama-AVSR 基线实现了字错率（WER）的降低，且在极端噪声条件下的增益更为显著。

实验结果
作者在 LRS2 数据集上评估了 VIB-AVSR，涵盖了“有噪训练”（训练期间添加噪声）和“干净训练”（训练期间无噪声）两种范式。

• 有噪训练： VIB-AVSR 始终降低了相对于基线的 WER，在低 SNR（例如 -10 dB）和嘈杂声噪声下观察到的改进最为显著。值得注意的是，它在无噪声评估（$\infty$）中也优于基线，这表明其具备对抗干扰变量的有效正则化能力。
• 干净训练： 即使在训练期间没有进行噪声增强，VIB-AVSR 在测试噪声数据时仍实现了显著的 WER 降低。这表明瓶颈迫使模型学习出本质上对未知噪声具有鲁棒性的表示。
• 消融研究发现：
  • 位置： 双重配置（第 4 层和第 8 层）优于单瓶颈或三瓶颈设置。将瓶颈放置得太早（在编码器输出处）或太晚效果较差。
  • 超参数： $\beta = 0.1$ 提供了最佳平衡；较高的值（$\beta = 1$）会导致过度压缩并引起性能下降。插值系数 $\alpha = 0.5$ 至关重要，因为当 $\alpha = 0$（完全替换）时，性能表现最差。

意义与主张
本文声称 VIB-AVSR 通过直接正则化 LLM 的内部表示，提供了一种处理噪声鲁棒性的原则性方法，解决了先前研究很大程度上忽视的一个漏洞。该方法的意义在于，它无需进行架构大改或需要海量的噪声数据集，即可实现鲁棒性，使其成为现有基于 LLM 的 AVSR 流水线的实用补充。结果表明，变分压缩可以作为一种强大的正则化器，使仅在干净数据上训练的模型能够有效地泛化到噪声环境，从而缩小了干净条件与噪声条件之间的性能差距。