Visualizing and sonifying neurodata (ViSoND) for enhanced observation

Dit paper introduceert ViSoND, een open-source methode die video en sonificatie combineert om complexe neurodata kwalitatief waarneembaar te maken, waardoor biologische patronen zoals ademhaling en oogknipperingen beter kunnen worden geïnterpreteerd en een breder publiek kan worden bereikt.

De kern

Titel: Het Brein in Muziek: Hoe ViSoND ons helpt om neurodata te 'horen' en te 'zien'

Stel je voor dat je een enorme, chaotische orkestrepetitie binnenstapt. Er zijn duizenden muzikanten (neuronen) die allemaal tegelijk spelen, terwijl er ook nog een danser (het dier) rondrent. Als je alleen naar de bladmuziek kijkt (de cijfers en grafieken), zie je misschien patronen, maar het voelt koud en afstandelijk. Je mist de sfeer.

Dat is precies het probleem waar neurobiologen mee worstelen. Ze hebben zo veel data over hoe dieren bewegen en hoe hun hersenen werken, dat het onmogelijk is om alles met het blote oog te checken. Computers kunnen helpen, maar ze maken vaak keuzes die belangrijke details weggooien.

De oplossing? ViSoND.

De auteurs van dit paper hebben een slimme tool bedacht: ViSoND (Visualisatie en Sonificatie van NeuroData). In het Nederlands kunnen we het zien als een "multisensorische bril" voor data.

Hoe werkt het? De Analogie van de Muziek

Stel je voor dat je een video van een muis hebt die rondloopt. Normaal gesproken kijken we alleen naar de video. Maar met ViSoND doen we iets magisch:

1. We vertalen de data naar muziek. Elke keer dat een neuron een signaal afgeeft (een "spike"), klinkt er een noot. Elke ademhaling van de muis wordt een drumbeat.
2. We spelen dit tegelijk met de video. Je ziet de muis bewegen en hoort tegelijkertijd het geluid van zijn hersenen en zijn ademhaling.
3. We gebruiken MIDI. Dit is een standaardformaat voor elektronische muziek. Het is alsof de data een "partituur" wordt die elke moderne muzieksoftware kan afspelen.

De auteurs vergelijken dit met een oude traditie. Al in de jaren '20 luisterden wetenschappers al naar hun apparatuur. Ze hoorden "klikjes" en "zoemgeluiden" van zenuwen. Maar toen luisterden ze maar naar één zenuw. ViSoND pakt dit op en maakt er een symfonie van, waarbij elke zenuw een ander instrument of een andere toonhoogte krijgt.

Twee Verhalen uit de Muziek

Het paper toont twee voorbeelden waar deze "muzikale observatie" iets nieuws onthulde dat computers eerst over het hoofd zagen:

1. De Grooming-Symfonie (De muis die zich poets)
Wetenschappers keken naar de ademhaling van vrije muizen. Een computermodel zag een vreemd ritme: een ademhalingstempo dat ze niet konden verklaren.

• Met ViSoND: Ze luisterden naar de data. Ze hoorden dat dit specifieke ritme (de drumbeat) perfect synchroon liep met de bewegingen van de muis.
• Het inzicht: Ze zagen op video dat de muis zich aan het poetsen was (tong, poten, hoofd). Het vreemde ritme was dus eigenlijk het ritme van het poetsen! De combinatie van zien en horen maakte de link direct duidelijk, terwijl de computer alleen maar naar getallen keek.

2. De Knipoog-Symfonie (De knipogen in de hersenen)
In een ander experiment keken ze naar de hersenen van muizen terwijl ze rondkeken. Ze hadden een regel: "Als de muis knippert, gooien we die data weg, want dan zien we de pupil niet goed."

• Met ViSoND: Ze luisterden gewoon door. Ze hoorden dat de hersenen (de piano) een specifiek patroon speelden precies op het moment dat de muis knipperde.
• Het inzicht: Het bleek dat knipperen een heel vergelijkbaar effect heeft op de hersenen als het snel kijken (een blikrichting veranderen). Omdat ze de data hadden weggegooid, hadden ze dit belangrijke patroon gemist. Door te luisteren, ontdekten ze een nieuw stukje van het brein-puzzel.

Waarom is dit geweldig?

• Menselijke intuïtie: Ons oor en onze ogen zijn samen sterker dan een computer. We horen patronen en ritmes die in een tabel van cijfers verborgen blijven.
• Geen dure software nodig: Je kunt dit doen met gratis programma's (zoals VLC of Ableton Live). Het is alsof je een muziekbestand en een videobestand in één speler gooit.
• Voor iedereen: Het maakt complexe wetenschap toegankelijk. Je hoeft geen wiskundig genie te zijn om te begrijpen wat er gebeurt als je het kunt horen.

Kortom:
ViSoND is een brug tussen de koude wereld van grote data en de warme wereld van menselijke waarneming. Het herinnert ons eraan dat wetenschap niet alleen gaat over het berekenen van antwoorden, maar ook over het waarnemen van de wereld op een nieuwe manier. Het is alsof we eindelijk de muziek van het leven kunnen horen, terwijl we naar de dansers kijken.

Technische samenvatting

Probleemstelling

De moderne neurowetenschap staat voor een uitdaging door de toenemende complexiteit en dimensionaliteit van gedrags- en neurale data. Hoewel computationele modellen en dimensionalisatie-reductie statistisch robuuste structuren kunnen blootleggen, hebben deze methoden twee belangrijke beperkingen:

1. Moeilijke biologische interpretatie: De resultaten van deze modellen zijn vaak abstract en lastig te relateren aan onderliggende biologische mechanismen.
2. Verlies van onverwachte kenmerken: De keuze van welke parameters gekwantificeerd worden, is vaak reductionistisch. Dit kan leiden tot het negeren van onverwacht relevante aspecten van de data die niet in het oorspronkelijke model waren voorzien.

Traditionele observatie (met het blote oog) wordt vaak overweldigd door de rijkdom aan dynamiek in moderne datasets. Er is behoefte aan een methode die kwantitatieve strengheid combineert met kwalitatieve, waarnemingsgestuurde inzichten.

Methodologie: ViSoND

De auteurs hebben ViSoND (Visualization and Sonification of NeuroData) ontwikkeld, een open-source aanpak om meerdere datastromen simultaan weer te geven via video en geluid (sonificatie). De kern van de methode is de vertaling van discrete neurale en gedragsgebeurtenissen naar MIDI-data (Musical Instrument Digital Interface).

Technische implementatie:

• Data-conversie: Discrete gebeurtenissen (zoals spike-tijden, inademingsmomenten of oogbewegingen) worden omgezet naar een MIDI-bestand.
• MIDI-structuur: Het bestand wordt behandeld als een vector met zes kolommen:
  1. Track: Duidt het type gebeurtenis aan (bijv. inhalatie vs. spikes).
  2. Channel: Een constante verzameling van tracks.
  3. Note (Toonhoogte): Gemapt op een specifieke waarde (bijv. een specifieke neuron of een logaritmische snuif-snelheid). De auteurs beperken de toonhoogtes vaak tot een pentatonische schaal om dissonantie te minimaliseren.
  4. Velocity: De intensiteit (vast ingesteld, maar potentieel variabel).
  5. Note Onset: Het tijdstip van de gebeurtenis (in seconden, met hoge precisie).
  6. Note Offset: De duur van de toon (standaard 10 ms).
• Mapping: Net zoals anatomisten pseudokleuren gebruiken om verschillende cellen te onderscheiden, gebruiken ze verschillende tonen (pitch) om verschillende neurale kanalen of gedragsgebeurtenissen te identificeren.
• Visualisatie en Afspelen:
  • De MIDI-bestanden worden gesynchroniseerd met videobeelden van het dier.
  • Software: Data kan gratis worden afgespeeld via VLC (met een audio-codec en SoundFont) of diepgaander worden geanalyseerd in Ableton Live (een Digital Audio Workstation). Ableton Live biedt voordelen zoals in- en uitzoomen, variabele afspeelsnelheden en visuele navigatie door de data.
• Data-voorbeelden: De pipeline is getest op spiking-data (na spike-sorting met KiloSort/Phy), ademhalingssignalen (thermistor), pupiloriëntatie en IMU-data (hoofdbeweging).

Belangrijkste Bijdragen

1. Ontwikkeling van ViSoND: Een open-source pipeline die neurale data direct converteert naar MIDI, waardoor wetenschappers bestaande professionele muzieksoftware kunnen gebruiken voor data-analyse zonder zelf complexe tools te hoeven bouwen.
2. Integratie van zintuigen: Het koppelen van auditieve waarneming (sonificatie) aan visuele waarneming (video) om patronen te detecteren die door één zintuig alleen moeilijk te zien zijn.
3. Toegang voor een breder publiek: Het gebruik van muziek en video maakt complexe neurodata toegankelijker voor educatieve doeleinden en publieke communicatie.

Resultaten (Gebruiksgeschiedenissen)

De auteurs demonstreren ViSoND met twee cases uit eerder gepubliceerde datasets:

1. Ademhaling en Grooming (Video 1):

   • Context: Een computationeel model op basis van ademhaling en pose-tracking had een "intermediaire frequentie" ademhalingstoestand geïdentificeerd, maar de biologische betekenis was onduidelijk.
   • ViSoND Inzicht: Door de ademhaling te sonificeren (waarbij de toonhoogte correspondeerde met de snuifsnelheid) en dit te synchroniseren met video, konden de auteurs direct navigeren naar momenten met deze specifieke ademhaling.
   • Vinding: Ze ontdekten dat deze ademhalingstoestand consistent gepaard ging met grooming-gedrag (tong- en pootbewegingen die synchroon liepen met het ademhalingstempo). Dit patroon was ook gekoppeld aan een specifiek patroon van spontane activiteit in de olfactorische bulbus.

2. Blink-Respons in Primaire Visuele Cortex (Video 2):

   • Context: In eerdere analyses van vrije beweging bij muizen werden periodes waarin de pupil niet zichtbaar was (bijv. tijdens knipperen) uitgesloten van de analyse omdat pupil-tracking faalde.
   • ViSoND Inzicht: Door de data te sonificeren en te visualiseren zonder deze filtering, konden de auteurs periodes van knipperen (blinks) direct observeren.
   • Vinding: Ze ontdekten dat knipperen een sequentiële vuurrespons in de primaire visuele cortex (V1) opwekte die qua timing en patroon sterk leek op de respons bij oogbewegingen (gaze shifts). Dit was een nieuw inzicht dat door de oorspronkelijke kwantitatieve filtering was gemist.

Significantie en Toekomstperspectief

• Complementaire Analyse: ViSoND vult computationele modellen aan door waarnemingsgestuurde inzichten te bieden die leiden tot nieuwe hypothesen. Het helpt bij het valideren van modellen en het ontdekken van artefacten of nieuwe patronen.
• Schaalbaarheid: De methode is toepasbaar op diverse data-types (calcium-imaging, fMRI, gedragsyllaben) zolang deze als discrete tijdsreeksen kunnen worden gemodelleerd.
• Toekomstige toepassingen: De auteurs zien potentie voor het sonificeren van dimensiereductie van grote neuronale datasets (waar te veel neuronen zijn om elk apart te horen) en het gebruik van ViSoND in onderwijs en outreach om de barrière voor het begrijpen van complexe neurale data te verlagen.

Kortom, ViSoND herintroduceert de kracht van menselijke waarneming in de era van big data in de neurowetenschap, waarbij het luisteren naar data net zo waardevol is als het kijken ernaar.