Millisecond-scale detection of mouse ultrasonic vocalizations enables closed-loop experiments

Muisjes zijn veel vocaler dan hun piepjes doen vermoeden. Wanneer ze sociaal interageren, of het nu met een moeder, een potentiële partner of een vreemde is, zenden ze een snelle stroom van geluiden uit die veel te hoog zijn voor het menselijk oor om te kunnen horen. Deze ultrasone roepen, die frequenties kunnen bereiken die ver boven wat wij kunnen waarnemen liggen, dienen als een rijke taal voor hun sociale wereld. Voor wetenschappers die gedrag bestuderen, bieden deze geluiden een direct venster naar de geest van de muis, waarbij momenten van hofmakerij, stress of nieuwsgierigheid worden onthuld. Echter, decennialang was het luisteren naar dit gesprek een traag, achterwaarts gericht proces. Onderzoekers namen uren aan audio op en besteedden vervolgens dagen of weken aan het gebruik van computers om door de stilte te siefen, op zoek naar de korte, vluchtige roepen die verborgen lagen in het lawaai. Tegen de tijd dat de roepen waren geïdentificeerd, was het moment al lang gepasseerd, waardoor het onmogelijk was om te reageren op de communicatie van de muis terwijl deze plaatsvond.

Deze beperking heeft een krachtig instrument buiten bereik gehouden voor real-time wetenschap. Als een onderzoeker de roep zou kunnen horen op het moment dat deze wordt gemaakt, zou hij onmiddellijk kunnen reageren met een licht, een geluid of een stimulus, waardoor de eigen stem van de muis de trigger voor het experiment wordt. De uitdaging was technisch: deze roepen zijn ongelooflijk kort, vaak slechts enkele milliseconden lang, en komen in snelle bursts voor. Bestaande computerprogramma's waren te traag om ze op te vangen terwijl ze gebeurden, omdat ze meestal een lang stuk audio moesten opnemen voordat ze zelfs maar konden beginnen met analyseren. Een nieuw instrument, ontwikkeld door onderzoekers aan de Universiteit van Bonn, verandert deze dynamiek volledig. Zij hebben een systeem ontwikkeld dat naar de ruwe geluidsgolven van een muisstem luistert en binnen milliseconden beslist of er een roep plaatsvindt, snel genoeg om een onmiddellijke reactie uit te lokken terwijl de muis nog aan het spreken is.

De onderzoekers, onder leiding van Martin K. Schwarz, bouwden een systeem dat ze DeepFisFis noemen. In plaats van te proberen het geluid eerst te vertalen naar een visueel beeld, een stap die tijd en rekenkracht kost, kijkt hun systeem rechtstreeks naar de vorm van de geluidsgolf zelf. Stel je de geluidsgolf voor als een grillige lijn die over een scherm beweegt. Het systeem hakt deze lijn in kleine, vijf milliseconden durende stukjes. Voor elk stukje stelt het een eenvoudige vraag: ziet dit kleine fragment eruit als onderdeel van een muisroep? Omdat de stukjes zo klein zijn, kan de computer deze vraag bijna onmiddellijk beantwoorden. Sterker nog, het systeem verwerkt elk stukje in ongeveer 2,5 milliseconden, wat sneller is dan de tijd die de microfoon nodig heeft om dat stukje geluid zelfs maar op te nemen. Deze snelheid betekent dat de computer nooit achterloopt op de audiostroom; het luistert altijd in real time en is klaar om te handelen op het moment dat een roep begint.

Om te bewijzen dat dit werkte, testte het team hun systeem tegen gevestigde methoden die al jarenlang werden gebruikt. Ze voerden het systeem opnames van interagerende muizen en vroegen het om de roepen te vinden. Het nieuwe systeem vond bijna elke enkele roep die menselijke experts hadden gemarkeerd, waarbij het de nauwkeurigheid van de oudere, tragere tools evenaarde of zelfs overtrof. Maar nauwkeurigheid was slechts de helft van het verhaal. De echte test was snelheid. Wanneer de onderzoekers maten hoe lang het duurde om een brok audio te analyseren, was hun nieuwe systeem vier tot vijf keer sneller dan de voorheen beste tools. Belangrijker nog, omdat het werkt met zulke kleine stukjes, hoeft het niet te wachten tot een hele roep is voltooid voordat het een beslissing neemt. Het kan identificeren dat een roep is begonnen slechts enkele milliseconden nadat het geluid is begonnen.

Deze snelheid ontsloot een nieuwe manier om experimenten uit te voeren. Het team stelde een closed-loop systeem op, een opstelling waarbij de computer naar de muis luistert en onmiddellijk een reactie triggert. In hun test speelden ze opgenomen muisroepen af aan het systeem. Zodra het systeem een roep detecteerde, activeerde het een toon via een luidspreker. Het gehele proces, van het aankomen van het geluid bij de microfoon tot het afspelen van de toon, duurde ongeveer 128 milliseconden. Hoewel deze vertraging grotendeels te wijten is aan de hardware en niet aan de software, was de cruciale bevinding dat de software zelf bijna geen extra tijd toevoegde. Het systeem was snel genoeg om het tempo van de geluidsstroom bij te houden, wat bewees dat de computer kon fungeren als een real-time partner in het experiment in plaats van slechts een passieve recorder.

Naast het triggeren van reacties biedt deze snelheid een praktische oplossing voor een enorm probleem in de moderne wetenschap: gegevensopslag. Het opnemen van hoogwaardige audio op de snelheden die nodig zijn om deze roepen te vangen, genereert enorme hoeveelheden data. Als een onderzoeker een uur lang opneemt, kan hij eindigen met gigabytes aan voornamelijk stilte, waarbij slechts een fractie daadwerkelijke roepen bevat. Het nieuwe systeem stelt onderzoekers in staat om alleen op te nemen wat ertoe doet. Door de detector te gebruiken om de audiostroom live te bewaken, kan de computer besluiten om alleen de momenten op te slaan waarop een roep wordt gedetecteerd, samen met een kleine buffer van geluid ervoor en erna. In hun tests verminderde deze methode de hoeveelheid opgeslagen data met meer dan 75 procent, terwijl bijna alle werkelijke vocalisaties behouden bleven. Dit betekent dat wetenschappers langere experimenten kunnen uitvoeren of complexere gedragingen kunnen opnemen zonder overweldigd te worden door lege data.

Het systeem toonde ook een opmerkelijke flexibiliteit. De onderzoekers trainden de computer op opnames die gemaakt waren bij één specifieke snelheid en testten het vervolgens op opnames die gemaakt waren bij een andere, snellere snelheid. Zonder nieuwe gegevens te hoeven verzamelen of het systeem vanaf nul opnieuw te hoeven trainen, waren ze in staat om het instrument aan de nieuwe omstandigheden aan te passen en de hoge nauwkeurigheid te behouden. Dit suggereert dat het systeem de fundamentele vorm van de muisstem leert in plaats van alleen specifieke opnames te memoriseren, wat het robuust genoeg maakt om in verschillende laboratoria met verschillende apparatuur te werken.

Het werk vertegenwoordigt een verschuiving in hoe wetenschappers interageren met dierlijk gedrag. Jarenlang was de studie van muiscommunicatie een retrospectieve activiteit, waarbij werd geanalyseerd wat er achteraf was gebeurd. Deze nieuwe aanpak maakt van de stem van de muis een live signaal, dat direct beschikbaar is zodendat het wordt geproduceerd. Het vervangt de gedetailleerde analyse die later plaatsvindt niet, maar het opent de deur naar experimenten waarbij de stem van het dier het verloop van de studie stuurt. Door in een oogwenk te luisteren en te reageren, kunnen onderzoekers nu vragen stellen over de neurale circuits achter communicatie op een manier die voorheen onmogelijk was, waarbij ze overgaan van het observeren van een gesprek naar het deelnemen aan een gesprek.