🧬 biology

YAPAT — An Open-Source Platform for Active and Weakly Supervised Annotation of Passive Acoustic Monitoring Data

YAPAT 是一个开源的基于 Web 的平台，它通过整合基于本体的标注、多标签主动学习以及双重冷启动机制，简化了被动声学监测数据的规模化标注流程，旨在减少专家工作量并生成高质量、具有互操作性的数据集。

原作者： Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thiago S. Gouvêa, Rida Saghir, Prathmesh P. Doddanawar, Novruz Mammadli, Pratik P. Sitapara, Hannes Kath, Daniel Sonntag

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，大自然是一个永不停歇、24小时不间断广播的巨型电台。它播放的不是音乐，而是青蛙、鸟类、昆虫和鲸鱼的歌声。科学家们使用一种被称为被动声学监测（PAM）单元的特殊麦克风，来录制这些声音，时长可以达数天、数周甚至数年。这对于理解自然而言是一种“超能力”，因为它让研究人员无需踏入自然环境，也不必惊扰动物，就能聆听整个生态系统。然而，这里存在一个巨大的问题：这些麦克风录制的音频量如此之大，以至于文件堆积成了一座人类无法听完并记录下来的大山。这就像是试图读完一座城市规模图书馆里的每一本书，只不过这些书是由声音组成的。

为了解决这个问题，科学家们使用计算机来协助“聆听”。但计算机只有在接受了示例教学后才会变得聪明。为了教会计算机识别某种特定的青蛙叫声，人类专家必须先聆听并标记数千条录音，说明“是的，这是青蛙”或者“不，这只是风声”。这个过程既缓慢、枯燥又昂贵。如果专家们忙于标记数据，计算机就无法学习，而那些音频数据大山也只能成为无用的堆积物。这个领域的核心问题是：我们如何让计算机从这些海量的音频档案中学习，而不需要人类先去聆听其中的每一秒钟？

这就是名为 YAPAT（又一个 PAM 注释工具，Yet Another PAM Annotation Tool）的新型工具登场的地方。把 YAPAT 想象成一个针对自然界声音的高科技、互动式侦探游戏。它并不强迫人类逐一聆听每一条录音，而是利用巧妙的计算机技巧来承担繁重的工作。它首先将长音频文件切分成微小的 3 秒片段。然后，它使用一个预训练的“大脑”（称为 BirdNET）将每个片段转化为一个独特的数字指纹。

YAPT 的魔力在于它如何帮助人类专家。想象一下，你正在观察一张由所有声音指纹组成的巨大地图。YAPAT 不仅仅是向你展示一个随机列表；它更像是一个智能向导。即使你最初没有任何已标记的数据，它也有三种主要方式可以带你入门：

“相似物”搜索： 如果你有一段特定动物的清晰录音，你可以上传它。YAPAT 会瞬间在你的海量档案中找到所有听起来相似的 3 秒片段，让你能够一次性标记一大批数据。
“文件级”猜测： 如果你有一个文件夹的录音，你只知道里面有哪种动物（但不知道具体在什么时候），YAPAT 可以使用一种称为“弱监督”的技术来猜测该动物在文件中的具体位置。这就像是在看一张派对的照片，根据人群的能量来猜测谁在跳舞，即使你并没有直接拍摄舞池的特写。
“智能分类”： 一旦计算机开始学习，它就不再展示随机的片段。相反，它会使用一种特殊的评分系统，向你展示它最困惑的片段，或者是那些与它已知知识最不相似的片段。这确保了人类专家只把时间花在那些能给计算机带来最多教益的片段上，而不是浪费在简单或乏味的例子上。

YAPAT 还将这些声音标签与官方科学词典（本体论）相连接，确保当科学家说“树蛙”时，全世界的人理解的意思都是完全一样的，从而使数据在未来的研究中具有可重用性。

论文将 YAPAT 描述为一个将所有这些功能整合在一起的网络平台。作者在名为 AnuraSet 的真实数据集上测试了该系统，该数据集包含超过 30,000 个青蛙的声音片段。他们发现该系统运行速度极快，具备交互性。例如，即使在拥有数千个片段的情况下，搜索相似声音也只需不到一秒钟。训练计算机识别新模式在标准计算机上仅需几秒钟，在功能强大的计算机上则更快。该系统设计为开源，这意味着任何人都可以下载它，在自己的服务器上进行设置，并开始组织自己的声音档案。

作者谨慎地指出，虽然 YAPAT 是一个强大的工具，但它并不是解决一切问题的“魔杖”。它依赖于“BirdNET”这个大脑，而 BirdNET 最初是针对鸟类训练的，因此在没有额外调整的情况下，它在处理其他类型的动物（如蝙蝠或鲸鱼）时可能并不完美。此外，该系统目前将声音切分为固定的 3 秒块，这意味着如果声音恰好落在切割边缘，它无法精确到毫秒级的起始或结束。然而，通过结合智能搜索、弱监督和主动学习，YAPAT 成功地架起了连接海量、难以管理的音频档案与高质量、已标记数据之间的桥梁，助力科学家理解生物多样性。它将“聆听一切”这一不可能完成的任务，变成了一个人类与计算机协同工作的、可管理的协作游戏，共同解码自然的旋律。

技术摘要：YAPAT —— 一个用于被动声学监测数据主动与弱监督标注的开源平台

1. 问题陈述

被动声学监测（PAM）能够实现对动物生物多样性的非侵入性、大规模评估，但其生成的音频档案超出了领域专家手动标注的能力范围。虽然机器学习（ML）可以实现物种检测的自动化，但它需要高质量的有标签训练数据，这造成了瓶颈，使得应用受限于现有的预训练模型或已标记数据集所在的分类群和生境。

现有的标注工具仅解决了这一挑战的部分环节：桌面软件（如 Raven Pro）提供频谱图可视化；自动化工具（如 BirdNET-Analyzer）提供推理；而 Web 平台（如 ARBIMON、Whombat）则支持协作工作流。然而，目前尚无工具能够支持生产高质量、具有互操作性的数据集所需的完整标注周期。具体而言，现有解决方案缺乏以下功能的协同集成：

基于本体论（Ontology-grounded）的标签空间。
针对冷启动场景的弱监督声音事件检测（WSSED）。
结合向量相似度搜索的主动学习（AL）。
用于探索性标注的交互式嵌入空间投影。

2. 方法论与系统架构

YAPAT（Yet Another PAM Annotation Tool）是一个基于 Web 的开源平台，旨在为 PAM 策展中的交互式机器学习工作流提供支持。该系统采用客户端-服务器架构构建：

后端： 使用 Python（FastAPI, SQLAlchemy），并配合通过 pgvector 扩展的 PostgreSQL 数据库，以实现高效的余弦相似度检索。长时运行任务（嵌入、推理、重训练）通过 Celery 和 Redis 进行异步管理。
前端： 使用 TypeScript（React 18, Vite, Tailwind CSS）在浏览器中运行，利用 WebGL 进行 2D 投影渲染，并使用客户端 JavaScript 进行梅尔频谱图（mel-spectrogram）计算。
嵌入模型： 系统利用冻结的 BirdNET 嵌入（来自 3 秒、48kHz 窗口的 1024 维向量）作为主要的特征表示。

核心工作流：

摄取（Ingestion）： 野外录音被分割成固定长度（默认为 3 秒）、无重叠的片段（snippets）。
嵌入（Embedding）： 片段使用 BirdNET 进行嵌入处理并存储于数据库中。
标注界面： 用户通过包含音频播放器、频谱图和多标签输入字段的分页信息流进行交互。
反馈循环： 标注会触发在冻结嵌入之上进行的线性分类器头的异步重训练。

3. 核心贡献

YAPAT 的独特之处在于集成了此前工具所不具备的四项能力：

A. 基于本体论的标签空间
标签在标注时与权威的生物学（GBIF）和环境（ENVO）分类法相关联。系统支持显式的本地概念作为后备方案，确保了数据集的互操作性和复用性。

B. 多标签主动学习 (AL)
YAPAT 采用一种复合获取评分机制来对未标记的片段进行排序，平衡了三个标准：

不确定性（Uncertainty）： 在主动标签范围内，计算每个标签的平均伯努利熵（Bernoulli entropy）。
多样性（Diversity）： 计算片段嵌入与其最近的有标签邻居之间的距离（以鼓励对未开发区域的覆盖）。
密度（Density）： 在未标记池内进行 k-最近邻密度估计（以降低孤立离群值的权重）。
片段根据该复合评分进行排序，从而引导专家精力投入到最具信息量的样本中。

C. 双重冷启动机制
为了解决“冷启动”问题（即在开始标注前需要有标签数据来训练分类器），YAPAT 提供了两种方法：

基于上传的向量相似度： 用户上传一个参考片段（例如来自声音库）。系统会对该片段进行嵌入，并通过余弦相似度在数据集中检索最近的邻居，从而允许在没有先验分类器的情况下开始标注。
弱监督声音事件检测 (WSSED)： 利用多实例学习（MIL），系统在源自文件级标记集合（如 Xeno-Canto, FNJV）的 3 秒片段“包”（bags）上训练一个线性分类器。这弥合了清晰焦点录音与嘈杂 PAM 数据之间的领域差距，为启动主动学习循环提供初始预测。

D. 交互式 2D 嵌入投影
平台使用用户可选的降维方法（PCA, t-SNE, UMAP, Isomap）渲染交互式 BirdNET 嵌入空间的散点图。点位通过标注状态进行着色。点击一个点会高亮显示标注信息流中对应的片段，将空间探索与标注工作流耦合在一起。

4. 结果与可扩展性基准

系统使用 AnuraSet（包含 1,612 条录音中的 30,687 个片段）进行了评估。

摄取与嵌入： 嵌入提取呈线性扩展（ $O(N)$ ）。在一台配备 AMD EPYC CPU 的工作站上，全量数据集的嵌入耗时约 150 秒；使用单块 NVIDIA RTX PRO 6000 GPU 时，耗时约 52 秒（约 3 倍加速）。
相似度搜索： 向量相似度查询在全量数据集范围内表现出近乎恒定的延迟（~0.56 秒），保持在交互响应时间内。
主动学习评分：
- 不确定性评分接近常数（~0.03–0.12 秒）。
- 密度评分按 $O(N \log N)$ 扩展，达到约 1.6 秒。
- 多样性评分（比较未标记集与有标签集）是主要成本，按 $O(N \cdot N_l)$ 扩展，在全量规模下达到约 4.1 秒。尽管如此，所有操作仍保持在现实会话的交互限制内。
重训练： 更新线性头随有标签片段数量呈线性扩展（ $O(N_l)$ ）。GPU 加速比 CPU 快 14–23 倍。对于典型的早期循环（ $N_l < 2,000$ ），CPU 重训练在 9 秒内即可完成，且不会阻塞界面。
前端性能： 无论数据集大小如何，WebGL 渲染嵌入投影的时间保持恒定（~0.11 秒）。全量数据集的初始页面加载时间约为 2.2 秒。

5. 重要性与声明

本文声称 YAPAT 是首个在协作式、基于浏览器的环境中，同时支持基于本体论的标签、弱监督、结合向量相似度的主动学习以及交互式嵌入投影的工具。

互操作性： 通过将标签锚定在 GBIF 和 ENVO 中，YAPAT 生成的数据集适用于提交至公共存储库及后续分析。
效率： 冷启动机制与多标准主动学习的结合显著减少了产生高质量标签数据集所需的专家工作量，特别是对于缺乏预训练模型的分类群。
可部署性： 系统是开源的、容器化的（Docker），且除了 Web 浏览器外无需安装任何客户端。

承认的局限性：

嵌入依赖性： 当前架构依赖于 BirdNET，该模型是针对鸟类鸣叫声训练的，可能无法同样泛化到其他分类群（尽管向无尾目/青蛙的迁移是成功的）。
标注粒度： 片段是固定长度且无重叠的，这导致无法对跨越窗口边界的事件或片段内的特定频率事件进行时间划分。
训练约束： 分类器是基于冻结嵌入的线性头；它不支持微调编码器或高级数据增强。
未标记数据： 未标记的片段不参与分类器训练（缺乏半监督学习），导致大量数据未被充分利用。
设置复杂度： 虽然是开源的，但初始服务器设置需要 IT 协助，并非面向非技术用户的“一键式”安装。

作者将 YAPAT 定位为并非要取代所有现有工具，而是一个全面的平台，通过集成的“人机回环”（human-in-the-loop）工作流，填补了大规模生产高质量、具有互操作性的 PAM 数据集的空白。