技术摘要：语音与生物声学模型的适配研究

问题陈述

在人类语音（如 HuBERT）和动物鸣叫（如 AVES）上进行预训练的自监督学习（SSL）模型已展现出强大的对生物声学任务的迁移能力。然而，其冻结的表示层并不一定针对特定的下游数据集进行优化，而这些数据集通常具有物种特异性、规模有限且标注成本高昂。由于动物标注数据稀缺，对大型 SSL 编码器进行全量微调在计算上非常昂用且往往不切实际。尽管先前的研究比较了不同的预训练领域，但目前尚不清楚应如何针对生物声学任务来适配这些模型，特别是关于应更新哪些组件、修改多少层，以及语音预训练模型与生物声学预训练模型是否以相同的方式受益于适配策略。此外，现有文献表明，在使用冻结模型时，分类性能会随着编码器层数的加深而逐渐下降；目前尚不清楚直接在下游生物声学数据上进行适配是否会改变这一趋势。

研究方法

本研究探讨了使用低秩自适应（LoRA）进行参数高效微调（PEFT）在鸣叫类型识别（CTID）中的应用。作者采用了两个架构相同的 Transformer 模型：HuBERT（在人类语音上预训练）和 AVES-Bio（在生物声学数据上预训练）。研究围绕四项系统性的消融实验展开，旨在确定最佳适配策略：

1. 矩阵选择 (Q1)： 研究评估了哪些 Transformer 投影矩阵的子集能产生最佳性能。配置范围从仅适配前馈网络（[FC1, FC2]）到适配所有自注意力投影（Q, K, V）及输出/前馈层（[Q, K, V, FC0, FC1, FC2]）。
2. 适配范围 (Q2)： 作者考察了将 LoRA 适配器扩展到 Transformer 编码器之外是否能提升性能。他们对比了：
   • 仅编码器： 适配器位于 Transformer 层中。
   • 投影器 + 编码器： 适配器位于 Transformer 和特征投影层中。
   • 特征提取器 + 投影器 + 编码器： 对卷积特征提取器进行全量微调，并结合投影器和编码器中的适配器。
3. 层选择策略 (Q3)： 对比了两种策略，以确定应适配哪些编码器层：
   • 自底向上 (Bottoms-up)： 从第一层开始向上增量适配（从 $l_1$ 到 $l_k$）。
   • 自顶向下 (Top-down)： 从最后一层开始向下增量适配（从 $l_L$ 到 $l_{L-k}$）。
4. 微调策略 (Q4)： 研究对比了三种范式：
   • 线性探测 (Linear Probing)： 所有层均冻结，仅在顶层训练一个线性分类器。
   • LoRA + 冻结 (LoRA + Freezing)： 被选中的层接受 LoRA 适配器并进行微调，其他层保持冻结。
   • LoRA + 剪枝 (LoRA + Pruning)： 被选中的层通过 LoRA 进行微调，未被选中的层则从模型中完全移除。

实验在两个数据集上进行：InfantMarmosetsVox (IMV)（72,920 个样本，11 种鸣叫类型）和 Abzaliev（8,034 个样本，14 种鸣叫类型）。超参数通过网格搜索确定，最终确定的最优秩（$r$）为 60，缩放因子（$\alpha$）为 3，学习率为 $10^{-3}$。

关键结果

矩阵与范围选择

• 矩阵选择： 性能呈现单调递增趋势，即适配更广泛的投影矩阵会带来更强的结果。配置中适配所有自注意力及前馈投影（[Q, K, V, FC0, FC1, FC2]）的模型实现了最高的未加权平均召回率（UAR）。
• 特征提取器适配： 直接微调卷积特征提取器（而非使用 LoRA）一致且显著地降低了下游性能。适配特征投影器相比仅适配编码器仅带来了微小的收益。

层选择与趋势

• 策略对比： “自底向上”和“自顶向下”的层选择策略之间没有表现出谁优于谁的一致性。当适配器放置在相同的矩阵上时，两者产生了相当的结果。
• 层级性能：
  • 冻结模型： 与先前的文献一致，对冻结模型进行线性探测显示，随着层数加深，性能呈现渐进式下降。
  • LoRA 适配： 当应用 LoRA 时，AVES 中的深层 Transformer 层表现出整体上升的性能轨迹。这表明深层层编码了抽象特征，可以有效地对鸣叫进行分类，但前提是必须对这些层进行微调。

微调策略与数据集规模

• 大型数据集 (IMV)： 在几乎所有层中，LoRA 微调（无论采用冻结还是剪枝）都显著优于简单的线性探测。
• 小型数据集 (Abzaliev)： 简单的线性探测更为可靠，且在某些情况下超过了 LoRA 的性能，尽管差距较小。这表明 LoRA 的效能随数据集规模增加而提升，而线性探测在低数据场景下是更稳健的基准。
• 剪枝 vs. 冻结： 移除未使用层（剪枝）在性能方面相比于单纯冻结它们并没有显著优势，尽管它减少了模型大小。

分类器复杂度

• 在 Abzaliev 数据集上，深度为 4 层的 MLP 分类器优于 LoRA 实验中使用的单层线性分类器。
• 在 IMV 数据集上，单层线性层优于 MLP。这表明关于分类器非线性的必要性存在数据集特异性的行为。

意义与主张

本文主张，低秩自适应 (LoRA) 为将大型 SSL 表示适配到生物声学任务提供了一个实用且有效的框架，特别是在有充足标注数据的情况下。

• 适配优化： 研究强调，PEFT 在生物声学中的成功高度依赖于特定的设计选择：适配更广泛的 Transformer 投影是更优的选择，而适配卷积特征提取器则是适得其反的。
• 逆转层级趋势： 一个关键发现是，通过 LoRA 进行直接适配可以逆转冻结 SSL 模型中观察到的典型性能下降趋势，使深层能够对分类做出有意义的贡献。
• 数据依赖性： 作者谨慎地得出结论：虽然 LoRA 是在数据充足时进行生物声学分类的强大工具，但在低数据设置下，经典的线性探测可能仍是更强且更稳定的基准。
• 泛化性： 研究结果强调了在将大型 SSL 模型应用于生物声学任务时，仔细选择适配器位置、层策略和微调方法的重要性，而不是假设存在一种“一劳永逸”的方法。

这项工作并非声称解决了所有的生物声学挑战，而是建立了一种系统性的理解，阐明了参数高效方法如何与语音及生物声学预训练模型相互作用，从而为该领域的未来适配策略提供了指导。