🔬 applied physics

Event Topology-based Visual Microphone for Amplitude and Frequency Reconstruction

Deze paper introduceert een op gebeurtenistopologie gebaseerde visuele microfoon die trillingen nauwkeurig reconstrueert in zowel amplitude als frequentie uit ruwe eventstreams zonder externe verlichting, door de Mapper-algoritme en hiërarchische clustering te integreren.

Oorspronkelijke auteurs: Ryogo Niwa, Yoichi Ochiai, Tatsuki Fushimi

Gepubliceerd 2026-02-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ryogo Niwa, Yoichi Ochiai, Tatsuki Fushimi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een camera hebt die niet werkt zoals een gewone camera. Een gewone camera maakt foto's, net als een filmrol: hij neemt een beeld op, wacht even, en neemt dan de volgende. Maar deze nieuwe camera, een gebeurtenis-camera (event camera), werkt als een heel snel en slim jachthond.

In plaats van hele foto's te maken, kijkt deze camera alleen naar veranderingen. Als er iets beweegt of als het licht verandert, schreeuwt de camera: "Hier is iets gebeurd!" en noteert hij precies waar en wanneer dat was. Hij doet dit zo snel dat hij duizenden veranderingen per seconde kan opvangen, zonder dat je fel licht nodig hebt.

De onderzoekers van dit papier hebben een manier bedacht om met zo'n camera niet alleen te zien wat er beweegt, maar ook om geluid te "horen" door naar de trillingen van een object te kijken. Ze noemen dit een "visuele microfoon".

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: Waarom is dit moeilijk?

Stel je voor dat je een trillende luidspreker wilt meten.

De oude manier (Laser): Je kunt een laser erop richten. Dat werkt heel goed, maar het is duur, gevaarlijk en je kunt maar op één punt tegelijk meten. Alsof je met een vergrootglas maar één stofje in een kamer kunt zien.
De "dumpe" manier (Gewone video): Je kunt een super-snelle camera gebruiken. Maar die heeft heel veel licht nodig en maakt vaak wazige beelden. Alsof je probeert een raket te filmen met een oude smartphone in het donker.
De nieuwe manier (Gebeurtenis-camera): Deze camera ziet de trillingen als een stroom van kleine vonkjes (gebeurtenissen). Het probleem was alleen: hoe maak je van die chaotische vonkjes een duidelijk geluid? De vonkjes vertellen je dat er iets beweegt, maar niet precies hoe ver (amplitude) of hoe snel (frequentie) het precies beweegt.

2. De oplossing: De "Topologische Kaart"

De onderzoekers gebruiken een slimme wiskundige truc die ze "Topologische Data Analyse" noemen. Laten we dit vergelijken met het maken van een kaart van een drukke stad.

Stel je voor dat de vonkjes van de camera een enorme hoop losse stippen zijn op een vel papier.

Het Net (Covering): Ze gooien een groot net over die stippen. Ze verdelen het papier in verschillende vakjes (zoals een ruitjespatroon).
De Groepering (Clustering): In elk vakje kijken ze: "Welke stippen horen bij elkaar?" Ze gebruiken een slimme techniek (HDBSCAN) die automatisch ziet welke stippen dicht bij elkaar zitten en welke alleen maar ruis zijn. Het is alsof je in een drukke menigte automatisch groepjes vrienden ziet die bij elkaar staan, terwijl je de losse voorbijgangers negeert.
Het Spoor (Traject): Voor elke groep stippen berekenen ze het middelpunt. Als je die middelpunten in de tijd met elkaar verbindt, krijg je een lijn. Die lijn is precies het pad dat het object heeft afgelegd tijdens het trillen.

Het mooie aan deze methode is dat ze niet eerst de stippen omzetten in een foto. Ze kijken direct naar de vorm en structuur van de stippen. Het is alsof je de vorm van een wolk kunt herkennen zonder de wolken te hoeven "tekenen", je kijkt gewoon naar hoe de waterdruppels zich verhouden tot elkaar.

3. Wat levert dit op?

Met deze methode kunnen ze twee dingen doen die voorheen bijna onmogelijk waren:

Hoe hard trilt het? Ze kunnen precies meten hoe ver het object heen en weer beweegt (de amplitude).
Hoe snel trilt het? Ze kunnen de toonhoogte van het geluid aflezen (de frequentie).

4. Het tovertrukje: Meerdere geluiden tegelijk

Het allercoolste deel van dit onderzoek is dat ze meerdere geluidsbronnen tegelijk kunnen onderscheiden.
Stel je voor dat je twee luidsprekers hebt: de ene speelt een lage toon (100 Hz) en de andere een hoge toon (120 Hz).

Een gewone microfoon hoort alleen een rommelig geluid van beide samen.
Deze visuele microfoon kijkt naar de trillingen van de luidsprekers. Omdat de onderzoekers automatisch het juiste stukje van de camera beelden kunnen vinden (waar de stippen het dichtst bij elkaar zitten), kunnen ze de trilling van de linker luidspreker scheiden van die van de rechter.

Het is alsof je in een drukke kamer met honderd mensen die allemaal praten, plotseling twee specifieke gesprekken kunt volgen zonder dat je naar de mensen hoeft te kijken, alleen door naar de trillingen in de lucht te luisteren.

Samenvatting

Dit papier beschrijft een nieuwe manier om geluid te "zien". Door slimme wiskunde toe te passen op de snelle, chaotische data van een gebeurtenis-camera, kunnen ze precies meten hoe objecten trillen. Ze hoeven geen dure lasers te gebruiken, geen fel licht nodig, en ze kunnen zelfs meerdere geluiden uit elkaar halen. Het is een grote stap vooruit in het maken van "slimme" sensoren die de wereld kunnen horen zonder dat ze er fysiek bij hoeven te zijn.

Titel: Event Topologie-gebaseerde Visuele Microfoon voor Amplitud- en Frequentiereconstructie

Auteurs: Ryogo Niwa, Yoichi Ochiai, en Tatsuki Fushimi
Datum: 19 februari 2026

1. Het Probleem

Bij het analyseren van dynamische systemen in wetenschap en engineering is nauwkeurige trillingsmeting essentieel. Bestaande niet-contactmethoden hebben echter beperkingen:

Laser Doppler Vibrometers (LDV): Hoewel zeer nauwkeurig, zijn ze duur en vaak beperkt tot laboratoria.
Hoog-snelheidscamera's: Vereisen vaak korte belichtingstijden en sterke extra verlichting, wat de ruimtelijke resolutie kan verminderen.
Bestaande Event Camera-methoden: Hoewel event cameras (die asynchroon pixel-brightness changes registreren met microseconde precisie) veelbelovend zijn voor trillingsmeting, falen bestaande passieve methoden vaak om zowel de trillingsamplitude als de frequentie met voldoende nauwkeurigheid te herstellen.
- Actieve methoden (met lasers) hebben beperkingen bij het gelijktijdig meten van meerdere bronnen.
- Passieve methoden die eerder zijn ontwikkeld (bijv. gebaseerd op Gabor-filters of speculaire reflecties) kunnen wel de hoofdfrequentie vastleggen, maar missen de nauwkeurigheid in het herstel van de amplitude.

2. Methodologie

De auteurs stellen een nieuwe methode voor: een event-topologie-gebaseerde visuele microfoon. In plaats van events om te zetten naar frames of andere representaties, reconstrueert deze methode de trillingsbaan direct uit de geometrische structuur van de event-stroom.

Kernstappen van het proces:

Data Voorbereiding:
- Er wordt een Region of Interest (ROI) gedefinieerd rond het trillende object.
- Alleen positieve events (toename van helderheid) worden gebruikt om redundantie te verminderen; negatieve events worden verworpen.
- Ruis wordt verwijderd met een achtergrondactiviteitsfilter.
Topologische Data Analyse (TDA) met de Mapper-algoritme:
- De spatiotemporale event-data ( $x, y, t$ ) wordt gepartitioneerd in overlappende subsets.
- Een filterfunctie (in dit geval de verticale positie $y$ ) wordt toegepast om de data op een 1D-ruimte te projecteren.
- Het bereik van deze functie wordt bedekt met overlappende intervallen.
Clustering (HDBSCAN):
- Binnen elk interval wordt HDBSCAN (Hierarchical Density-Based Spatial Clustering of Applications with Noise) toegepast.
- In tegenstelling tot DBSCAN, past HDBSCAN zich automatisch aan variërende event-dichtheden aan, wat cruciaal is voor trillingen met veranderende amplitude en frequentie.
Trajectherstel en Projectie:
- In plaats van een graaf te construeren (zoals bij standaard Mapper), wordt het zwaartepunt (centroid) van elke cluster berekend.
- Deze zwaartepunten worden chronologisch verbonden om een 3D spatiotemporale traject te vormen.
- Dit 3D-traject wordt geprojecteerd op het $y-t$ vlak (tijd vs. verticale verplaatsing) om de uiteindelijke trillingsgolfvorm te verkrijgen.
- Het signaal wordt vervolgens hersampled naar 16 kHz.

3. Belangrijkste Bijdragen

Directe Topologische Reconstructie: De eerste methode die de Mapper-algoritme uit TDA combineert met HDBSCAN om trillingsamplitude en frequentie direct uit ruwe event-data te reconstrueren zonder externe verlichting.
Nauwkeurige Amplitudherstel: Het overwinnen van de beperking van eerdere passieve methoden die amplitude niet correct konden vastleggen.
Gelijktijdige Bronherkenning: De mogelijkheid om meerdere, ruimtelijk gescheiden geluidsbronnen tegelijkertijd te reconstrueren uit één enkele event-stroom, dankzij de hoge ruimtelijke resolutie van de event camera.
Robuustheid: De methode werkt effectief op diffuus reflecterende oppervlakken (geen speculaire reflectie vereist) en is robuust tegen variaties in event-dichtheid.

4. Resultaten

De methode werd getest op een aluminiumplaat onder drie condities:

Een sinusgolf met toenemende amplitude.
Een sinusgolf met afnemende amplitude.
Een menselijke spraakopname ("Mary had a little lamb").

Vergelijking:
De resultaten werden vergeleken met een LDV (ground truth), een frame-based methode (Davis et al.) en een eerdere event-based methode (Niwa et al.).

Kwalitatief: De gereconstrueerde golfvormen van de voorgestelde methode volgen de LDV-metingen nauwkeurig, inclusief de enveloppe, terwijl de baselines significant afwijken.
Kwantitatief:
- Genormaliseerde kruiscorrelatie: De nieuwe methode behaalde de hoogste scores (bijv. 0,97 voor toenemende amplitude vs. 0,23 voor baselines).
- MVA-fout (Median Vector Angle): De nieuwe methode had de laagste fouten (0,22–0,53 rad), wat aangeeft een veel hogere spectrale gelijkenis dan de baselines (die fouten van 1,13–1,54 rad hadden).
Meerdere Bronnen: In een experiment met twee luidsprekers (100 Hz en 120 Hz) slaagde de methode erin om twee duidelijke pieken in het frequentiespectrum te onderscheiden, wat een conventionele microfoon niet kan doen.

5. Betekenis en Toekomst

Deze studie markeert een doorbraak in passieve, verlichtingsvrije trillingsmeting. Door de intrinsieke structuur van event-data te benutten via topologische data-analyse, wordt een nieuwe standaard gezet voor het herstel van zowel amplitude als frequentie.

Beperkingen en Toekomstig Werk:

De huidige methode is beperkt tot trillingen in het beeldvlak (in-plane). Trillingen langs de optische as (out-of-plane) genereren weinig verplaatsing in de 2D-projectie en zijn daardoor moeilijk te detecteren.
Toekomstig werk richt zich op het integreren van stereo event-based imaging om ook out-of-plane bewegingen te kunnen meten, en op het testen in bredere real-world toepassingen.

Conclusie:
De voorgestelde "Event Topology-based Visual Microphone" biedt een superieure, nauwkeurige en praktische oplossing voor het monitoren van dynamische systemen, met name in scenario's waar contactmeting onmogelijk is en waar meerdere geluidsbronnen gelijktijdig moeten worden geanalyseerd.