🔬 applied physics

Event Topology-based Visual Microphone for Amplitude and Frequency Reconstruction

Este artículo presenta un micrófono visual basado en topología de eventos que utiliza el algoritmo Mapper y el agrupamiento jerárquico para reconstruir con alta fidelidad la amplitud y frecuencia de vibraciones a partir de flujos de eventos crudos, permitiendo la detección pasiva de múltiples fuentes sonoras sin necesidad de iluminación externa.

Autores originales: Ryogo Niwa, Yoichi Ochiai, Tatsuki Fushimi

Publicado 2026-02-19

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ryogo Niwa, Yoichi Ochiai, Tatsuki Fushimi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un superpoder: puedes escuchar lo que dicen las cosas solo mirándolas, sin tocarlas y sin necesidad de que te griten. Eso es básicamente lo que hace este nuevo invento llamado "Micrófono Visual basado en Topología".

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: Ver el movimiento invisible

Imagina que tienes un vaso de agua en una mesa. Si alguien habla cerca, el agua vibra. Pero esas vibraciones son tan rápidas y pequeñas que nuestros ojos (y hasta las cámaras normales) no pueden verlas. Las cámaras normales toman "fotos" a un ritmo fijo (como un flipbook), y si el movimiento es muy rápido, la foto sale borrosa o se pierde.

Para ver esas vibraciones, antes necesitábamos láseres caros y complicados (como un puntero láser que rebota en el objeto). Pero eso solo funciona en un punto y requiere equipo costoso.

2. La Herramienta: La Cámara de "Eventos"

Los autores usaron un tipo especial de cámara llamada Cámara de Eventos.

La analogía: Imagina una cámara normal como un músico que toca una canción entera sin parar, grabando cada nota aunque no haya sonido.
La cámara de eventos: Es como un bailarín que solo se mueve cuando la música cambia. Si la luz en un píxel no cambia, el píxel se queda quieto. Pero si la luz parpadea (porque el objeto se mueve), el píxel grita: "¡Hey! ¡Aquí pasó algo!" con una precisión de microsegundos.
El resultado: En lugar de tomar fotos completas, esta cámara genera un río de "eventos" (notas de cambio de luz) que fluyen a toda velocidad.

3. El Truco: El "Mapa de la Ciudad" (Topología)

Aquí es donde entra la parte genial. Tienen un montón de puntos de luz (eventos) que parecen un caos. ¿Cómo conviertes ese caos en un sonido?

Usaron una técnica matemática llamada Topología (el estudio de las formas y estructuras).

La analogía: Imagina que los eventos son gotas de lluvia cayendo sobre una ciudad. Si miras las gotas sueltas, no ves nada. Pero si usas un mapa (el algoritmo "Mapper") para agrupar las gotas que caen en el mismo barrio y en el mismo momento, empiezas a ver las calles y los edificios.
El proceso:
1. Agrupar: El sistema agrupa los eventos que ocurren juntos en el tiempo y el espacio (como agrupar a los vecinos que bailan al mismo ritmo).
2. Encontrar el centro: Para cada grupo, calculan el "centro de gravedad" (el punto medio de la danza).
3. Conectar los puntos: Unen esos centros con una línea. ¡Y de repente! Esa línea es el trazado exacto de la vibración del objeto. Es como si pudieras ver la forma de la onda sonora dibujada en el aire.

4. ¿Qué logran con esto?

Gracias a este método, pueden hacer cosas que antes eran imposibles:

Escuchar sin láser: No necesitan proyectar luz extra. Solo usan la luz ambiental que ya hay en la habitación.
Ver el volumen (Amplitud) y el tono (Frecuencia): Antes, las cámaras solo podían adivinar el tono (si es agudo o grave), pero no podían decir qué tan fuerte era el sonido. Este sistema reconstruye la forma de la onda completa, como si fuera una grabación de audio real.
Escuchar varias voces a la vez: En el experimento, pusieron dos altavoces (uno a la izquierda y otro a la derecha) tocando notas diferentes. La cámara vio el movimiento de ambos y el sistema logró separar las dos voces, como si tuviera dos oídos independientes en una sola cámara. ¡Una cámara normal solo escucharía un ruido mezclado!

En resumen

Este equipo creó un "ojo que oye".
En lugar de usar un micrófono que captura ondas de sonido en el aire, usan una cámara especial que captura las pequeñas vibraciones de los objetos (como una pared o un altavoz) cuando el sonido los golpea. Luego, usan matemáticas avanzadas (como un mapa inteligente) para traducir esos movimientos invisibles en ondas de sonido que podemos escuchar y analizar.

Es como si pudieras poner tu mano sobre la pared y escuchar lo que dice la gente en la otra habitación, pero usando solo una cámara y un poco de magia matemática. ¡Es el futuro de la ingeniería sin contacto!

Resumen Técnico: Micrófono Visual Basado en Topología de Eventos

1. Planteamiento del Problema

La medición precisa de vibraciones es fundamental en campos como la monitorización de salud estructural, el diseño de productos y la ciencia de materiales. Aunque los métodos no invasivos son ideales para evitar cargas mecánicas en las estructuras estudiadas, existen limitaciones significativas en las tecnologías actuales:

Vibrometros Láser (LDV): Ofrecen alta precisión pero son costosos y poco prácticos fuera de laboratorios equipados.
Cámaras de Alta Velocidad: Requieren exposiciones cortas y luz suplementaria intensa, lo que a menudo sacrifica la resolución espacial y la portabilidad.
Cámaras de Eventos (Event Cameras): Aunque ofrecen alta resolución temporal y espacial con poca luz, los métodos existentes para reconstruir vibraciones a partir de sus datos (stream de eventos) presentan fallos críticos:
- Métodos Activos: Requieren proyección de luz láser (patrones de speckle), lo que dificulta la medición simultánea de múltiples fuentes y limita el uso de la resolución espacial de la cámara.
- Métodos Pasivos: Pueden recuperar frecuencias principales, pero fallan sistemáticamente en recuperar la amplitud de la vibración con precisión. Además, muchos dependen de convertir los eventos en "fotogramas" (frames), perdiendo la ventaja temporal microsegundo de los sensores de eventos.

2. Metodología Propuesta

Los autores presentan un "Micrófono Visual Basado en Topología de Eventos" que reconstruye directamente la trayectoria de vibración a partir del flujo de eventos crudos, sin necesidad de iluminación externa ni conversión a fotogramas.

El Pipeline de Reconstrucción:
El método se basa en la Análisis de Datos Topológicos (TDA), específicamente adaptando el algoritmo Mapper, combinado con clustering jerárquico. El proceso se divide en las siguientes etapas:

Definición de la Región de Interés (ROI): Se selecciona un área alrededor del objeto vibrante. Se identifican los eventos positivos (aumento de brillo) y se filtran para reducir el ruido (usando un filtro de actividad de fondo con umbral $T = 200 \mu s$ ).
Mapeo y Cobertura (Covering):
- Los datos espaciotemporales ( $x, y, t$ ) se proyectan en una dimensión utilizando una función de filtro $f(x, y, t) = y$ (la coordenada vertical, eje principal de vibración).
- El rango de esta función se divide en múltiples intervalos superpuestos.
Clustering (HDBSCAN):
- Dentro de cada intervalo, se aplica el algoritmo HDBSCAN (Clustering Espacial Jerárquico Basado en Densidad).
- A diferencia de DBSCAN, HDBSCAN no requiere un umbral de distancia fijo, lo que permite adaptarse a variaciones en la densidad de eventos causadas por cambios en la amplitud o frecuencia de la vibración.
Reconstrucción de la Trayectoria:
- En lugar de construir un grafo (como hace el Mapper estándar), se calcula el centroide de cada cluster identificado.
- Estos centroides se conectan cronológicamente para formar una trayectoria 3D discreta.
Proyección y Señal Final:
- La trayectoria 3D se proyecta sobre el plano $y-t$ (descartando la información horizontal $x$ ).
- El resultado es una forma de onda unidimensional que representa el desplazamiento ( $y$ ) en función del tiempo ( $t$ ).
- La señal se re-muestrea a 16 kHz mediante interpolación lineal.

3. Contribuciones Clave

Reconstrucción de Amplitud y Frecuencia: Es el primer método pasivo basado en eventos capaz de recuperar con alta fidelidad tanto la amplitud como la frecuencia de la vibración, superando la limitación principal de trabajos anteriores.
Enfoque Topológico Directo: Al utilizar la estructura geométrica intrínseca del flujo de eventos mediante TDA, evita la pérdida de información inherente a la conversión de eventos a fotogramas o a la extracción de fase de filtros (como Gabor).
Análisis Simultáneo de Múltiples Fuentes: La capacidad de definir múltiples ROIs independientes dentro de un solo stream de eventos permite aislar y reconstruir vibraciones de fuentes espacialmente distintas simultáneamente.
Robustez ante Densidad Variable: El uso de HDBSCAN permite manejar vibraciones complejas donde la densidad de eventos cambia dinámicamente sin necesidad de ajustar parámetros manualmente.

4. Resultados Experimentales

Los experimentos se realizaron sobre una placa de aluminio vibrante bajo tres condiciones: señal sinusoidal de amplitud creciente, amplitud decreciente y señal de voz humana ("Mary had a little lamb"). Se comparó el método propuesto contra un vibrometro láser (LDV) como referencia de verdad fundamental (ground truth).

Métricas de Evaluación:
- Correlación Cruzada Normalizada (NCC): Para evaluar la fidelidad de la forma de onda.
- Error del Ángulo Vectorial Mediano (MVA): Para evaluar la fidelidad espectral (frecuencia).
Comparación con Baselines:
- Método Propuesto: Logró las puntuaciones más altas en NCC (ej. 0.97 para amplitud creciente) y los errores MVA más bajos (0.22 - 0.53 rad).
- Métodos Baselines (Abe et al. y Niwa et al.): Mostraron correlaciones muy bajas (0.08 - 0.34) y errores MVA significativamente mayores (1.13 - 1.54 rad).
Análisis de ROI: Se determinó que un ROI de al menos 3 píxeles de ancho y 25 de alto es necesario para una reconstrucción estable; tamaños menores fallan por falta de datos para el clustering.
Prueba de Múltiples Fuentes: En un experimento con dos altavoces (100 Hz y 120 Hz), el sistema logró aislar y reconstruir ambas frecuencias simultáneamente desde un único flujo de eventos, demostrando una capacidad que un micrófono convencional no posee.

5. Significado y Limitaciones

Significado:
Este trabajo avanza la frontera de la detección de vibraciones pasiva e independiente de la iluminación. Al demostrar que es posible recuperar la amplitud física real sin luz láser, abre nuevas posibilidades para la monitorización industrial, diagnósticos médicos no invasivos y análisis de audio en entornos donde la iluminación es escasa o no deseada.

Limitaciones:

Movimiento Fuera del Plano (Out-of-plane): El método actual no puede medir vibraciones a lo largo del eje óptico (hacia/desde la cámara), ya que estas no generan un desplazamiento significativo en la proyección 2D de la imagen.
Dependencia de la Superficie: Aunque funciona en superficies difusas, la calidad de los eventos depende de la reflectividad del objeto.

Trabajo Futuro:
Los autores proponen abordar la limitación del movimiento fuera del plano mediante la incorporación de imagen estereoscópica basada en eventos, lo que permitiría medir componentes 3D completos de la vibración.