Millisecond-scale detection of mouse ultrasonic vocalizations enables closed-loop experiments

쥐는 그들이 내는 찍찍거리는 소리보다 훨씬 더 수다스럽습니다. 어미와 상호작용할 때든, 잠재적인 짝과 상호작용할 때든, 혹은 낯선 이와 상호작용할 때든, 그들은 인간의 귀로는 들을 수 없는 매우 높은 음조의 소리를 빠르게 내뿜습니다. 인간이 인지할 수 있는 범위를 훨씬 넘어서는 주파수에 도달하는 이 초음파 호출은 그들의 사회적 세계를 위한 풍부한 언어 역할을 합니다. 행동을 연구하는 과학자들에게 이 소리들은 쥐의 마음을 들여다볼 수 있는 직접적인 창구가 되어, 구애, 고통, 혹은 호기심의 순간들을 드러내 줍니다. 그러나 수십 년 동안 이 대화를 듣는 것은 느리고 뒤를 돌아보는 과정이었습니다. 연구자들은 몇 시간 분량의 오디오를 녹음한 다음, 컴퓨터를 사용하여 소음 속에 숨겨진 짧고 찰나적인 호출을 찾기 위해 며칠 또는 몇 주 동안 침묵 속을 뒤져야 했습니다. 호출이 식별되었을 때쯤에는 이미 그 순간이 오래 지나버렸기에, 쥐의 의사소통이 일어나는 즉시 반응하는 것은 불가능했습니다.

이러한 한계는 강력한 도구를 실시간 과학의 영역에서 멀어지게 만들었습니다. 만약 연구자가 호출이 발생하는 즉시 그것을 들을 수 있다면, 그들은 빛, 소리, 혹은 자극을 통해 즉각적으로 반응할 수 있으며, 쥐의 목소리 자체를 실험의 트리거(방아쇠)로 바꿀 수 있을 것입니다. 문제는 기술적이었습니다. 이러한 호출은 매우 짧아서 종종 단 몇 밀리초 동안만 지속되며, 빠른 폭발 형태로 나타납니다. 기존의 컴퓨터 프로그램들은 이 호출들을 실시간으로 포착하기에는 너무 느렸으며, 대개 분석을 시작하기 전에 긴 구간의 오디오를 먼저 녹음해야만 했습니다. 본 대학의 연구진이 개발한 새로운 도구는 이러한 역학을 완전히 바꿉니다. 그들은 쥐의 목소리에서 나오는 가공되지 않은 음파를 듣고, 호출이 발생하는지 여부를 밀리초 단위 내에 결정하며, 이는 쥐가 여전히 말을 하고 있는 동안에도 즉각적인 반응을 유도할 수 있을 만큼 빠릅니다.

마틴 K. 슈바르츠(Martin K. Schwarz)가 이끄는 연구진은 DeepFisFis라고 부르는 시스템을 구축했습니다. 이 시스템은 소리를 시각적인 그림으로 먼저 변환하는—시간과 컴퓨팅 파워가 소모되는—단계 대신, 소리 파형의 형태를 직접 관찰합니다. 음파를 화면을 가로질러 움직이는 들쭉날쭉한 선이라고 상상해 보십시오. 이 시스템은 이 선을 아주 작은 5밀리초 단위의 조각들로 자릅니다. 그리고 각 조각에 대해 다음과 같은 단순한 질문을 던집니다. "이 작은 조각이 쥐의 호출의 일부처럼 보이는가?" 조각이 매우 작기 때문에 컴퓨터는 이 질문에 거의 즉각적으로 답할 수 있습니다. 실제로 이 시스템은 각 조각을 약 2.5밀리초 만에 처리하는데, 이는 마이크가 해당 조각의 소리를 녹음하는 데 걸리는 시간보다 빠릅습니다. 이 속도 덕분에 컴퓨터는 오디오 스트림보다 뒤처지지 않으며, 호출이 시작되는 순간 즉시 행동할 준비를 갖추고 실시간으로 경청할 수 있습니다.

이것이 작동함을 증证明하기 위해, 연구팀은 수년간 사용되어 온 기존 방식들과 이 시스템을 비교 테스트했습니다. 그들은 쥐들이 상호작용하는 녹음본을 시스템에 입력하고 호출을 찾아내도록 했습니다. 새로운 시스템은 인간 전문가들이 표시한 거의 모든 호출을 찾아냈으며, 기존의 느린 도구들과 대등하거나 심지어 그 이상의 정확도를 보여주었습니다. 하지만 정확도는 이야기의 절반에 불과했습니다. 진정한 시험대는 속도였습니다. 연구진이 오디오 덩어리를 분석하는 데 걸리는 시간을 측정했을 때, 새로운 시스템은 기존의 가장 뛰어난 도구들보다 4~5배 더 빨랐습니다. 더 중요한 점은, 이 시스템은 매우 작은 조각 단위로 작동하기 때문에 호출이 끝날 때까지 기다리지 않고도 결정을 내릴 수 있다는 것입니다. 소리가 시작된 지 단 몇 밀리초 만에 호출이 시작되었음을 식별할 수 있습니다.

이 속도는 새로운 방식의 실험을 가능하게 했습니다. 연구팀은 컴퓨터가 쥐의 소리를 듣고 즉시 반응을 유도하는 폐쇄 루프(closed-loop) 시스템을 설정했습니다. 테스트에서 그들은 녹음된 쥐의 호출을 시스템에 재생했습니다. 시스템이 호출을 감지하자마자 스피커를 통해 톤을 재생하도록 했습니다. 마이크에 소리가 도달한 시점부터 톤이 재생될 때까지의 전체 과정은 약 128밀리초가 걸렸습니다. 이 지연 시간은 주로 하드웨어 때문이며 소프트웨어 때문이 아니지만, 핵심적인 발견은 소프트웨어 자체가 추가적인 시간을 거의 소요하지 않았다는 점입니다. 이 시스템은 소리의 흐름을 따라잡을 수 있을 만큼 빨랐으며, 컴퓨터가 단순히 수동적인 기록 장치가 아니라 실험의 실시간 파트너로서 기능할 수 있음을 입증했습니다.

반응을 유도하는 것 외에도, 이 속도는 현대 과학의 거대한 문제인 데이터 저장 문제에 대한 실용적인 해결책을 제시합니다. 이러한 호출을 포착하는 데 필요한 속도로 고품질 오디오를 녹음하면 엄청난 양의 데이터가 생성됩니다. 만약 연구자가 한 시간 동안 녹음한다면, 실제 호출이 포함된 부분은 아주 적은 비율뿐인 기가바이트 단위의 대부분의 침묵 데이터를 얻게 될 것입니다. 새로운 시스템은 연구자들이 중요한 순간만을 기록할 수 있게 해줍니다. 라이브 오디오 스트림을 감시하도록 디텍터를 사용함으로써, 컴퓨터는 호출이 감지되는 순간만을 결정하여 해당 순간 전후의 짧은 버퍼 음성만 저장할 수 있습니다. 테스트 결과, 이 방식은 실제 발성을 거의 모두 유지하면서도 저장되는 데이터의 양을 75% 이상 줄였습니다. 이는 과학자들이 데이터 과잉에 허덕이지 않고도 더 긴 실험을 수행하거나 더 복잡한 행동을 기록할 수 있음을 의미합니다.

이 시스템은 놀라운 유연성도 보여주었습니다. 연구진은 특정 속도로 제작된 녹음본으로 컴퓨터를 훈련시킨 후, 더 빠른 속도로 제작된 녹음본을 대상으로 테스트했습니다. 새로운 데이터를 수집하거나 시스템을 처음부터 다시 훈련시킬 필요 없이, 그들은 도구를 새로운 조건에 적응시켜 높은 정확도를 유지할 수 있었습니다. 이는 시스템이 단순히 특정 녹음본을 암기하는 것이 아니라 쥐 목소리의 근본적인 형태를 학습한다는 것을 시사하며, 서로 다른 실험실과 서로 다른 장비에서도 작동할 수 있는 견고함을 갖추었음을 보여줍니다.

이 작업은 과학자들이 동물 행동과 상호작용하는 방식의 변화를 의미합니다. 수년 동안 쥐의 의사소통 연구는 일어난 일을 사후에 분석하는 회고적인 활동이었습니다. 이 새로운 접근 방식은 쥐의 목소리를 생성되는 즉시 사용할 수 있는 실시간 신호로 바꿉니다. 이것은 나중에 이루어지는 상세한 분석을 대체하는 것이 아니라, 동물의 목소리 자체가 연구의 과정을 주도하는 실험의 문을 열어줍니다. 눈 깜빡할 사이에 듣고 반응함으로써, 연구자들은 이제 이전에는 불가능했던 방식으로 의사소통 이면에 있는 신경 회로에 대한 질문을 던질 수 있게 되었으며, 단순히 대화를 관찰하는 것에서 대화에 참여하는 단계로 나아가고 있습니다.