Millisecond-scale detection of mouse ultrasonic vocalizations enables closed-loop experiments

マウスは、その鳴き声が示唆するよりもはるかに雄弁です。母親、潜在的な交配相手、あるいは見知らぬ相手といった社会的相互作用を行う際、彼らは人間の耳には聞こえないほど高音域の音を、急速な流れとして放出します。これらの超音波による呼びかけは、人間の知覚をはるかに超える周波数に達することがあり、彼らの社会における豊かな言語として機能しています。行動を研究する科学者にとって、これらの音はマウスの精神を覗き見る直接的な窓となり、求愛、苦痛、あるいは好奇心の瞬間を明らかにします。しかし、数十年にわたり、この会話に耳を傾けることは、遅れてやってくる振り返りのプロセスでした。研究者は数時間のオーディオを録音した後、コンピューターを使用して、ノイズの中に隠された短く儚い呼びかけを探し出すために、何日も、あるいは何週間もかけて音の空白を精査しなければなりませんでした。呼びかけが特定される頃には、その瞬間はとうに過ぎ去っており、マウスのコミュニケーションが発生した瞬間に反応することは不可能でした。

この限界により、強力なツールがリアルタイムの科学から遠ざけられてきました。もし研究者が呼びかけが行われた瞬間にそれを聞くことができれば、光や音、あるいは刺激で即座に反応することができ、マウス自身の声を実験のトリガーに変えることができるのです。課題は技術的なことにありました。これらの呼びかけは非常に短く、しばしば数ミリ秒しか持続せず、急速なバーストとして発生します。既存のコンピュータープログラムは、これらが起きた瞬間に捉えるには遅すぎ、通常、解析を開始する前に長い音声区間を録音する必要がありました。ボン大学の研究者によって開発された新しいツールは、このダイナミクスを完全に変えます。彼らは、マウスの声の生の音波を聴き、呼びかけが発生しているかどうかを数ミリ秒以内に判断するシステムを作り上げました。これは、マウスがまだ話している間に即座に反応できるほど高速です。

マーティン・K・シュワルツ率いる研究チームは、「DeepFisFis」と名付けたシステムを構築しました。このシステムは、音をまず視覚的な画像に変換するという、時間と計算能力を要するステップを踏む代わりに、音波自体の形状を直接見ていきます。音波を、画面上を移動するギザギザの線だと想像してみてください。システムはこの線を、わずか5ミリ秒の小さなスライスに切り分けます。各スライスに対して、システムは単純な問いを投げかけます。「この小さな断片は、マウスの呼びかけの一部に見えるか？」と。スライスが非常に小さいため、コンピューターはこの問いにほぼ瞬時に答えることができます。実際、システムは各スライスを約2.5ミリ秒で処理しており、これはマイクロフォンがそのスライスを録音する時間よりも速いスピードです。この速度により、コンピューターはオーディオストリームから遅れることがなく、呼びかけが始まった瞬間に即座に行動できる準備が整っています。

これが機能することを証明するために、チームは長年使用されてきた確立された手法を用いてシステムをテストしました。彼らはマウスが相互作用している録音をシステムに読み込ませ、呼びかけを見つけ出すよう求めました。新しいシステムは、人間の専門家がマークしたほぼすべての呼びかけを見つけ出し、古い、より遅いツールと同等、あるいはそれを上回る精度を示しました。しかし、精度は物語の半分に過ぎません。真のテストは速度でした。研究者がオーディオの塊を分析するのにかかる時間を測定したところ、新しいシステムは従来の最良のツールよりも4〜5倍高速でした。より重要なことは、非常に小さなスライスで動作するため、呼びかけ全体が終わるのを待たずに決定を下せることです。音が発生してからわずか数ミリ秒で、呼びかけが始まったことを識別できるのです。

この速度が、新しい実験方法を切り開きました。チームは「クローズドループ・システム」、つまりコンピューターがマウスの声を聴いて即座に反応を誘発するセットアップを構築しました。テストでは、録音されたマウスの呼びかけをシステムに再生しました。システムが呼びかけを検知するとすぐに、スピーカーを通じてトーンを再生しました。マイクロフォンに音が届いてからトーンが流れるまでの全プロセスは約128ミリ秒でした。この遅延の大部分はハードウェアによるものですが、重要な発見は、ソフトウェア自体が追加の時間をほとんど必要としなかったことです。システムは音の流れに追いつくのに十分な速さであり、コンピューターが単なる受動的なレコーダーではなく、実験におけるリアルタイムのパートナーになれることを証明しました。

呼びかけを誘発することを超えて、この速度は現代科学における大きな問題への実用的な解決策を提供します。それは、膨大なデータストレージの問題です。これらの呼びかけを捉えるために必要な速度で高品質のオーディオを録音すると、膨大な量のデータが発生します。1時間の録音を行えば、呼びかけが含まれるのはごくわずかな部分だけで、ギガバイト単位の、ほとんどが沈黙であるデータを生成することになります。新しいシステムは、研究者が重要な部分のみを記録することを可能にします。デテクターを使用してオーディオストリームをライブで監視することで、コンピューターは呼びかけが検知された瞬間とその前後の小さなバッファのみを保存するかどうかを判断できます。テストにおいて、この手法は実際の発声のほとんどを保持しながら、保存するデータ量を75パーセント以上削減しました。これは、科学者が膨大な空のデータに圧倒されることなく、より長い実験を行ったり、より複雑な行動を記録したりできることを意味します。

このシステムは驚くべき柔軟性も示しました。研究者は特定の速度で行われた録音でコンピューターを訓練し、その後、異なる、より速い速度で行われた録音でテストを行いました。新しいデータを収集したり、システムを一から再学習させたりすることなく、彼らはツールを新しい条件に適応させ、高い精度を維持することができました。これは、システムが特定の録音を単に暗記しているのではなく、マウスの声の根本的な形状を学習していることを示唆しており、異なるラボや異なる機器を備えた環境でも動作する堅牢性を持っています。

この研究は、科学者が動物の行動とどのように関わるかという点における転換を象徴しています。長年、マウスのコミュニケーション研究は、事後に何が起こったかを分析する回顧的な活動でした。この新しいアプローチは、マウスの声を、それが生成された瞬間に利用可能なライブ信号へと変えます。これは、後で行われる詳細な分析に取って代わるものではありませんが、動物自身の声が研究の進行を左右する実験への扉を開きます。瞬きする間に聞き取り、反応することで、研究者は今や、コミュニケーションの背後にある神経回路について、以前は不可能であった方法で問いを投げかけることができるようになりました。それは、単なる会話の観察から、会話への参加へと進化しているのです。