🤖 machine learning

Phylogenetic signal in marine mammal and bird vocalizations captured by audio foundation models: the limited benefit of domain-specific pretraining

本研究表明，通用型预训练音频基础模型本质上编码了海洋哺乳动物和鸟类鸣叫声中的深层系统发育关系，其表现优于手工特征和特定领域的模型，且无需进行特定分类群的预训练。

原作者： Víctor Rincón Yepes

发布于 2026-07-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Víctor Rincón Yepes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

家族树的声音

想象你正走在一片巨大的、嘈杂的森林中，每种动物都有其独特的嗓音。有的啁啾，有的咆哮，有的则唱着复杂的歌。长期以来，科学家们一直在思考：如果你仔细聆听，能否仅凭声音就分辨出谁与谁亲缘关系更近？这个问题处于两个伟大科学概念的交汇点。第一个是进化（evolution），即物种在数百万年间如何变化并分化的故事，就像巨树上不断生长出的枝杈。第二个是生物声学（bioacoustics），即对动物声音的研究。

这个巨大的谜团在于，动物的“家族树”是否被写进了它们的嗓音之中。如果两个物种听起来非常相似，这是否意味着它们是近亲？还是说它们只是恰好住在邻近区域，从而学会了以同样的方式大声叫喊？为了回答这个问题，科学家过去使用简单的工具来测量声音，观察诸如音调或噪声“纹理”之类的基本特征。但近年来，计算机变得聪明得多。我们现在拥有了“基础模型”（foundation models）——这些庞大的 AI 程序是在数百万小时的人类语言、音乐和自然界声音上训练出来的。这些 AI 能以一种非常深刻且复杂的方式理解声音，几乎像人类听众一样。本文提出的核心问题是：这些从未被教导过关于动物家族知识的超级智能计算机，是否仅仅通过聆听声音，就“无意中”识别出了进化关系？

研究：聆听家族树

在这项研究中，研究人员决定测试这些现代 AI “耳朵”是否能听到动物家族隐藏的历史。他们观察了两组截然不同的动物：32 种海洋哺乳动物（如鲸鱼、海豚和海豹）以及 20 种鸟类。

可以将这些 AI 模型想象成不同类型的侦探。研究人员给它们提供了一个庞大的录音库，并要求它们测量不同物种之间声音的“相似度”。他们将这些声音相似度评分与实际的“家族树”距离（即两个物种在多少百万年前拥有共同祖先）进行了对比。

他们测试了四种不同的声音分析方法：

传统方法 (MFCC)： 这就像是用一把基础的尺子来测量声音。它观察的是简单的人工设计特征。
通用型 AI (AST & CLAP)： 这些是大型通用 AI 模型，训练数据涵盖了从汽车引擎到流行歌曲的一切内容。它们完全没有学习过关于动物的知识。
专家型 AI (BEATs-bio & BirdNET)： 这些是专门针对动物声音或鸟鸣进行训练的模型，人们曾希望它们能更好地发现家族联系。

大惊喜：通用型选手胜出

结果令人震惊。所谓的“传统方法”（那把基础的尺子）几乎没能发现动物声音与其亲缘关系之间的任何联系。这就像试图通过观察纸张的颜色来阅读一本书；这种方法根本行不通。

然而，通用型 AI 模型（那些在人类音乐和语言上训练的模型）却展现出了惊人的能力。它们发现了强烈的信号。当研究人员观察鲸鱼和海豚时，AI 能够辨别出：那些在较近期才发生分化的物种听起来更相似，而那些在很久以前就已分化的物种听起来则迥然不同。事实上，对于鲸鱼家族而言，这种联系极其紧密。

这里有一个转折：专家型 AI（那些专门针对鸟类或生物声学训练的模型）的表现并没有优于通用型模型。事实上，对于鸟类而言，通用型模型在寻找家族树方面甚至表现得略好一些。论文指出，专门针对动物进行训练可能会让模型在观察宏观进化图景时变得更差，这可能是因为它过于关注微小的细节或特定的物种标签，而非声音更深层的结构。

AI 究竟听到了什么

研究人员想要确保 AI 不仅仅是通过注意到一些简单的现象（例如“体型大的动物声音低沉，体型小的动物声音高亢”）来“作弊”。他们进行了专门的测试，以观察 AI 是否仅仅是在听音调。答案是否定的。即使在剔除了音调因素后，AI 仍然能发现家族间的联系。

这意味着 AI 捕捉到的是某种更为微妙的东西：呼叫的风格。这就像你可以通过一个人说话的方式（而非仅仅是音量大小）来辨别那是你的家人，因为你能感受到他们塑造语言的方式。AI 学习到了进化的“口音”。

混淆：当声音撒谎时

研究还发现了一些证明规则成立的有趣例外情况。

听起来相似的陌生人： 髯海豹（Bearded Seal）和北极露脊鲸（Northern Right Whale）是分化了 9000 万年的远亲。按理说它们应该听起来完全不同。但它们听起来几乎一模一样！AI 注意到了它们声音的相似性，尽管它们是古老的陌生人。这很可能是因为它们都生活在类似的寒冷环境中，需要发出低沉的轰鸣声以便在水中传播。
听起来迥异的近亲： 豹海豹（Leopard Seal）和威德尔海豹（Weddell Seal）是非常近的亲戚，分化时间仅为 1000 万年。你会预期它们的声音很相似。但它们听起来却截然不同！一个发出复杂的、具有音乐性的水下歌声，而另一个则发出低沉的咆哮。

这些例子表明，虽然进化会在声音上留下烙印，但环境有时会迫使动物改变其嗓音，使其听起来像是陌生人，或者听起来如此相似以至于像是家人。

总结

这篇论文告诉我们，我们并不需要构建专门的、仅针对动物的计算机来理解动物声音中的进化历史。那些在人类世界的声音上训练出来的通用型 AI 模型，已经能够极其出色地聆听隐藏在动物呼叫中的“家族树”。它们比旧的简单工具更强大，而且令人惊讶的是，它们甚至比那些专门为动物构建的模型还要优秀。

研究人员认为，秘诀不在于将 AI 训练在动物身上，而在于这些通用模型理解复杂声音模式的方式。他们提出，未来的实验应该测试这究竟是因为 AI 的大脑结构、它的学习方式，还是因为它所接受训练的广泛多样性。但就目前而言，信息很明确：如果你想通过声音去聆听生命的进化史，你可能只需要请一位通用型 AI 来为你倾听。

技术摘要：音频基础模型捕捉到的海洋哺乳动物与鸟类发声中的系统发育信号

问题陈述
比较生物声学学中的一个基本问题是，物种间的声学相似性是否反映了其进化历史（系统发育信号）。虽然以往使用手工设计的频谱特征（如 MFCCs、频谱熵）的研究在鸟类、青蛙和鱼类中检测到了适度的系统发育信号，但目前尚不清楚大规模预训练音频基础模型（其编码了更丰富、高维的声学表示）是否能恢复更强的系统发育结构。此外，目前尚不清楚与通用音频模型相比，领域特定预训练（例如专门针对生物声学或鸟类物种训练的模型）对于恢复这种信号是否必要。

研究方法
本研究采用 Mantel 检验来相关化两个独立辐射类群（海洋哺乳动物和鸟类）的声学距离矩阵与系统发育距离矩阵。

数据集：
- 海洋哺乳动物： 包含来自 Watkins 海洋哺乳动物声音数据库的 32 个物种（鲸目和鳍足类）的 1,754 条录音。系统发育距离源自已发表的分化时间（2–90 Myr）。
- 鸟类： 包含来自 xeno-canto 的 7 个目、20 个物种的 607 条录音。系统发育距离基于 Jetz 等人 (2012) 的时间校准系统发育树。
音频表示： 研究评估了四种表示形式：
1. MFCC 基准： 手工设计的特征（105 维），包括 MFCCs、色度（chroma）和频谱统计量。
2. AST (Audio Spectrogram Transformer)： 在 AudioSet 事件标签上训练的通用变换器 (768d)。
3. CLAP (Contrastive Language-Audio Pretraining)： 通过对比学习在音频-文本对上训练的通用模型 (512d)。
4. BEATs-bio： 在大规模生物声学语料库上进行微调的生物声学专用编码器 (768d)。
5. BirdNET： 用于区分约 6,000 种鸟类的鸟类专用分类器（仅在鸟类数据上进行评估）(1,024d)。
分析：
- 声学距离通过 L2 归一化物种质心之间的余弦距离计算得出。
- 使用 Mantel 检验（9,999 次置换）评估声学距离与系统发育距离之间的相关性。
- 控制变量：
  - 维度： 嵌入向量通过 PCA 被投影到 105 维的 MFCC 空间，以排除维度作为混淆变量。
  - 主频率： 通过偏 Mantel 检验控制了主频率距离。
  - 分类学划分： 分析在鲸目内（26 个物种）重复进行，以隔离细微的系统发育结构与深层的鲸目-鳍足类分化。
- 统计比较： 使用配对自助法（bootstrap）置信区间来比较模型之间的性能差异 ( $\Delta r$ )。

关键结果

基础模型 vs. MFCC： 通用基础模型（AST、CLAP、BEATs-bio）一致地恢复了显著的系统发育信号，而手工设计的 MFCCs 在完整的海洋哺乳动物数据集中未显示出显著相关性 ( $r = 0.040, p = 0.338$ $r = 0.040, p = 0.338$ )。
- 在海洋哺乳动物中，基础模型实现了 $r \approx 0.40$ ( $p < 0.001$ )。
- 在鸟类中，基础模型实现了 $r \approx 0.52–0.55$ ( $p < 0.001$ )。
领域特定预训练： 与“专门化训练能提高信号恢复能力”的假设相反，领域特定模型并未优于通用模型。
- 在鸟类中，BirdNET ( $r = 0.361$ ) 和 BEATs-bio ( $r = 0.318$ ) 的表现差于通用模型 AST ( $r = 0.549$ ) 和 CLAP ( $r = 0.521$ )，尽管这些差异在统计上并不显著。
- 所有基础模型都显著优于 MFCCs，但没有两个基础模型之间存在显著差异。
信号特征：
- 鲸目内部： 在鲸目类群内部，信号异常强大 ( $r \approx 0.74–0.82$ )，表明模型捕捉到了细粒度的进化结构。
- 频率无关性： 在控制了主频率后，相关性依然存在（在海洋哺乳动物中保留了 97% 的 $R^2$ ），这表明该信号并非仅仅是体型或音高的代理指标。
- 维度： 即使将嵌入向量投影到相同的维度，基础模型相对于 MFCCs 的优势依然存在，这证实了其优势并非高维度的产物。
趋同与趋异： 模型正确识别了极端的声学趋同（例如，须密封与北极露脊鲸，分化时间 90 Myr，声学距离低）和趋异（例如，豹海豹与南极海豹，分化时间 10 Myr，声学距离高），说明生态压力可以使声学相似性与系统发育脱节。

意义与主张
本文声称，预训练音频基础模型编码了跨越独立辐射类群的进化信息，捕捉到了手工特征所缺失的鸣叫结构（如呼叫结构和时间调制）等声学属性。

至关重要的是，作者得出结论：领域特定预训练对于恢复强系统发育信号既非必要也非充分。用于处理多样化非生物音频（AudioSet、网络音频-文本对）的通用模型，其表现至少与生物声学或鸟类分类专用模型相当，甚至在鸟类案例中表现更好。

作者认为，领域特定模型缺乏改进可能归因于以下原因：

训练目标： 监督式物种分类（如 BirdNET）可能会坍缩系统发育分析所需的渐进式相似性。
架构： 变换器（Transformers）可能比 CNN（如 BirdNET）能更好地捕捉长程时频谱结构。
数据广度： 狭窄且专门化的训练语料库可能缺乏广泛、通用的音频数据集所具备的表示丰富度。

作者明确指出，目前的模型无法区分这些因素，并提出通过受控的微调实验（采用通用编码器并在物种分类任务上进行微调）作为分离原因的必要下一步。其实际意义在于，对于比较生物声学而言，通用的音频嵌入是一个鲁棒的工具，且“领域特定”的标签并不自动意味着在系统发育分析中具有优势。