Millisecond-scale detection of mouse ultrasonic vocalizations enables closed-loop experiments

小鼠的叫声远比它们发出的吱吱声要丰富得多。当它们进行社交互动时，无论是与母亲、潜在配偶还是陌生人互动，它们都会发出快速的一连串声音，这些声音的频率极高，超出了人类耳朵的听觉范围。这些超声波呼叫，其频率远高于人类所能感知的范围，为它们的社交世界提供了一种丰富的语言。对于研究行为的科学家来说，这些声音是观察小鼠思维的直接窗口，能够揭示它们在求偶、求助或表现好奇时的瞬间。然而，几十年来，聆听这种对话一直是一个缓慢且具有滞后性的过程。研究人员会录制数小时的音频，然后花费数天或数周的时间利用计算机在寂静中搜寻隐藏其中的短暂而稍纵即逝的呼叫。等到这些呼叫被识别出来时，那一时刻早已过去，导致研究者无法在小鼠进行交流时做出实时反应。

这一局限性使得一种强大的工具无法被应用于实时科学研究。如果研究人员能在呼叫发出的瞬间听到它，他们就能立即通过光线、声音或刺激物做出反应，将小屑自身的嗓音转化为实验的触发器。挑战在于技术层面：这些呼叫极其短暂，通常仅持续几毫秒，并且以快速爆发的形式出现。现有的计算机程序处理速度太慢，无法捕捉正在发生的呼叫，通常需要录制一段较长的音频后才能开始进行分析。由波恩大学研究人员开发的一种新工具彻底改变了这一动态。他们创建了一个系统，能够监听小鼠声音的原始声波，并在几毫秒内判断是否正在发生呼叫，其速度足以在小鼠还在说话时触发即时反应。

由马丁·K·施瓦茨（Martin K. Schwarz）领导的研究团队构建了一个被称为 DeepFisFis 的系统。该系统并非试图先将声音转化为视觉图像（这是一个既耗时又耗计算资源的过程），而是直接观察声音波形的形状。想象一下，声波就像在屏幕上移动的锯齿状线条。该系统将这条线切割成微小的、五毫秒的切片。对于每一个切片，它都会问一个简单的问题：这一小块声音看起来像是小鼠呼叫的一部分吗？由于切片非常小，计算机几乎可以瞬间回答这个问题。事实上，该系统处理每个切片仅需约 2.5 毫秒，这比麦克风甚至录制该切片所需的时间还要快。这意味着计算机永远不会落后于音频流；它始终在实时倾听，准备在呼叫开始的瞬间采取行动。

为了证明其有效性，团队将该系统与多年来使用的成熟方法进行了对比测试。他们向系统输入了小鼠互动的录音，并要求它寻找呼叫。新系统找到了几乎所有由人类专家标记的呼叫，其准确率达到甚至超过了旧有的、较慢的工具。然而，准确性只是故事的一半，真正的考验在于速度。当研究人员测量分析一段音频块所需的时间时，发现新系统的速度比之前的最佳工具快了四到五倍。更重要的是，由于它是在如此微小的切片上进行工作，因此不需要等待整个呼叫结束才能做出决策。它可以在声音开始后的短短几毫秒内就识别出呼叫已经开始。

这种速度开启了一种全新的实验运行方式。团队建立了一个闭环系统，即计算机倾听小鼠并立即触发反应的设置。在他们的测试中，他们向系统回放录制的小鼠呼叫。一旦系统检测到呼叫，它就会触发一个音调通过扬声器播放。从声音到达麦克风到音调播放完毕，整个过程大约耗时 128 毫秒。虽然这种延迟主要是由硬件而非软件引起的，但关键的发现是，软件本身几乎没有增加额外的处理时间。该系统的速度足以跟上声音的流动，证明了计算机可以作为实验中的实时伙伴，而不仅仅是一个被动的记录器。

除了触发反应之外，这种速度还为现代科学中的一个巨大问题提供了实际的解决方案：数据存储。以捕捉这些呼叫所需的速率记录高质量音频会产生海量的数据。如果研究人员录制一小时，可能会得到数 GB 几乎全是寂静的数据，其中只有极小一部分包含实际的呼叫。新系统允许研究人员只记录重要的内容。通过使用检测器实时监测音频流，计算机可以决定仅保存检测到呼叫的时刻，以及前后一小段缓冲音。在测试中，这种方法在保留几乎所有实际发声的同时，减少了 75% 以上的数据存储量。这意味着科学家可以进行更长时间的实验或记录更复杂的行为，而不会被大量空洞的数据所淹没。

该系统还展示了卓越的灵活性。研究人员在特定速度下录制的音频上训练了计算机，然后测试了在另一种更快速度下录制的音频。无需收集新数据或从头开始重新训练系统，他们就能使工具适应新的条件并保持高准确度。这表明该系统学习的是小鼠声音的基本形态，而非仅仅是记忆特定的录音，使其足够稳健，能够在不同的实验室和使用不同设备的条件下工作。

这项工作代表了科学家与动物行为互动方式的一种转变。多年来，对小鼠交流的研究一直是一种回顾性的活动，即在事后分析已经发生的事情。这种新方法将小鼠的声音变成了一个实时信号，在产生的一瞬间即可获取。它并不取代随后的详细分析，但它开启了实验的大门，让动物自身的嗓音能够驱动研究进程。通过在眨眼之间进行倾听和反应，研究人员现在可以以一种此前无法实现的方式，去探究通信背后的神经回路，从而从单纯的观察一场对话转变为参与其中。