⚡ electrical engineering

Reverberation-based Features for Sound Event Localization and Detection with Distance Estimation

Este artículo presenta dos nuevas características basadas en la reverberación, que utilizan la relación directo-reverberante y la autocorrelación de la señal, logrando un estado del arte en la estimación de distancia y mejorando el rendimiento general de la localización y detección de eventos sonoros en 3D (SELD 3D) en el conjunto de datos STARSS23.

Autores originales: Davide Berghi, Philip J. B. Jackson

Publicado 2026-04-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Davide Berghi, Philip J. B. Jackson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este artículo es como una receta secreta para enseñarle a una computadora a no solo escuchar qué está pasando en una habitación, sino también a saber exactamente dónde está la fuente del sonido y a qué distancia.

Aquí tienes la explicación, traducida al español y con algunas analogías divertidas:

🎧 El Problema: El "Oído" que ve, pero no mide la profundidad

Imagina que tienes un robot con superpoderes auditivos. Este robot puede decirte: "¡Oye, alguien está tocando la guitarra!" o "¡Ahí hay un perro ladrando!". Eso es lo que ya sabían hacer los sistemas antiguos.

Pero, el robot tenía un gran defecto: era miope para las distancias.

Podía decirte que el perro estaba a tu izquierda (ángulo).
Pero no podía decirte si el perro estaba a 1 metro de tu nariz o a 10 metros al fondo de la sala.

Para aplicaciones reales (como un robot que te ayuda en casa o un sistema de seguridad), saber la distancia es vital. Si el perro está cerca, el robot debe acercarse; si está lejos, puede quedarse quieto.

🔍 La Solución: Usar los "Ecos" como pistas

Los autores del paper (Davide y Philip) se dieron cuenta de que los sistemas anteriores ignoraban algo obvio: la reverberación (los ecos).

Piensa en esto:

Si gritas en una habitación vacía y pequeña, el eco vuelve rápido y suena "seco".
Si gritas en una catedral gigante, el eco tarda más y suena "lleno".

El sonido que llega a tus oídos (o al micrófono) es una mezcla de dos cosas:

El sonido directo: La voz que viaja en línea recta desde la fuente hasta ti.
El sonido reverberante: Los ecos que rebotaron en las paredes, el suelo y el techo antes de llegar a ti.

La clave de este paper es que la relación entre el sonido directo y los ecos nos dice la distancia.

🛠️ Las Dos Nuevas "Lentes" (Características)

Para que la computadora entienda esto, los autores crearon dos nuevas formas de "ver" el sonido, como si le dieran unas gafas especiales al robot:

1. La Lente de la "Proporción de Eco" (DRR)

Imagina que tienes una balanza. En un lado pones el sonido directo y en el otro los ecos.

Si la fuente está muy cerca: La balanza se inclina mucho hacia el sonido directo (pocos ecos).
Si la fuente está lejos: La balanza se inclina hacia los ecos (el sonido directo se debilita y los ecos dominan).

El sistema calcula esta proporción (llamada Direct-to-Reverberant Ratio o DRR) y se la da al robot como un dato numérico. Es como decirle: "Oye, hay muchos ecos, así que la fuente debe estar lejos".

2. La Lente del "Primer Rebote" (Autocorrelación)

Esta es la más ingeniosa. Imagina que lanzas una pelota contra una pared.

Si estás cerca de la pared, la pelota choca y vuelve casi instantáneamente.
Si estás lejos, tardas más en verla volver.

Los autores se fijan en el primer rebote importante (generalmente el que viene del suelo). Miden el tiempo exacto entre el sonido original y ese primer rebote.

Tiempo corto: La fuente está cerca.
Tiempo largo: La fuente está lejos.

Usan una técnica matemática (autocorrelación) para encontrar ese "primer golpe" en la señal de audio, incluso si hay mucho ruido de fondo. Es como si el robot tuviera un radar que mide el tiempo de vuelo del primer eco.

🏆 Los Resultados: ¡El Robot ahora tiene sentido de la profundidad!

Los autores probaron estas nuevas "lentes" con un conjunto de datos real (llamado STARSS23) que tiene grabaciones de muchos sonidos en 3D.

El resultado: Al añadir estas pistas de eco al sistema, la computadora aprendió a estimar la distancia mucho mejor que antes.
La ventaja: Funciona tanto si usas micrófonos normales como si usas sistemas de audio avanzados (como los que usan los robots).
El impacto: Ahora, cuando el sistema detecta un sonido, no solo sabe "qué es" y "hacia dónde mira", sino que también sabe "qué tan lejos está".

💡 En resumen

Este paper es como enseñarle a un ciego a estimar la distancia de un objeto no tocándolo, sino escuchando cómo rebota su voz en las paredes.

Antes, los sistemas de sonido eran como cámaras que solo tomaban fotos en 2D (plano). Con estas nuevas características, les han dado profundidad 3D, permitiéndoles entender el mundo sonoro tal como lo hacemos nosotros: viendo no solo dónde está algo, sino a qué distancia. ¡Y todo gracias a entender mejor los ecos!

Resumen Técnico: Características Basadas en Reverberación para Localización y Detección de Eventos Sonoros con Estimación de Distancia

1. Problema

La Localización y Detección de Eventos Sonoros (SELD, por sus siglas en inglés) integra la detección de eventos (SED) y la estimación de la dirección de llegada (DOA). Tradicionalmente, la tarea de localización se ha centrado en predecir la azimut y elevación, ignorando la distancia de la fuente. Aunque recientemente se ha extendido a la estimación 3D (3D SELD) para incluir la distancia, los métodos existentes carecen de características de entrada específicamente diseñadas para estimar la distancia. La mayoría de los enfoques actuales se centran en modificar la arquitectura de la red neuronal, a veces degradando el rendimiento general, sin explotar adecuadamente la información contenida en la reverberación acústica, que es crucial para inferir la distancia.

2. Metodología

Los autores proponen la introducción de dos nuevas características de entrada basadas en la reverberación, diseñadas para complementar las características estándar de SELD (como espectrogramas log-mel y vectores de intensidad). Estas características son aplicables tanto a formatos de audio de primer orden ambisónico (FOA) como a arreglos de micrófonos (MIC).

Características de Relación Directo-Reverberante (DRR):
- Se utiliza el algoritmo de desreverberación WPE (Weighted Prediction Error) para separar la componente de sonido directo ( $d(t)$ ) de la reverberante ( $r(t)$ ) en el canal omnidireccional de FOA.
- Se calcula la relación de potencia espectral entre ambos componentes en el dominio tiempo-frecuencia y se mapea al espacio log-mel.
- Se define la característica DRRmel y una variante llamada D+R, donde los componentes directo y reverberante se procesan por separado para dar mayor flexibilidad a la red.
Potencia de Corto Plazo de la Autocorrelación (stpACC):
- Se basa en el Intervalo de Retardo del Primer Eco (ITDG), que es una pista clave para la percepción de distancia. La premisa es que, en entornos típicos, la primera reflexión fuerte proviene del suelo, y su retardo disminuye a medida que aumenta la distancia entre la fuente y el micrófono.
- Se analiza la función de autocorrelación del señal. Se observa que el segundo pico de la autocorrelación (correspondiente a la primera reflexión) se acerca al pico principal (sonido directo) a medida que la distancia aumenta.
- Se extrae la potencia de corto plazo de la autocorrelación (stpACC) aplicando una ventana Hann a los coeficientes de autocorrelación al cuadrado. Esto captura tanto el nivel como el tiempo de la primera reflexión.
- Se implementa calculando la autocorrelación de corto plazo en el dominio de la frecuencia para generar una entrada 2D compatible con las redes convolucionales.

Evaluación:

Datos: Se utilizó el conjunto de datos STARSS23, que proporciona etiquetas 3D SELD.
Arquitectura: Se evaluaron las características utilizando una arquitectura CNN-Conformer (y en algunos casos ResNet-Conformer).
Entrenamiento: Se empleó una estrategia de pre-entrenamiento en datos sintéticos (DCASE 2024) seguida de ajuste fino (fine-tuning) en grabaciones reales para mitigar sesgos y mejorar la estimación de distancia.
Métricas: Se evaluó el puntaje F1 dependiente de clase y ubicación ( $F_{\le 20^\circ/1}$ ), el error de DOA (DOAE), el error relativo de distancia (RDE) y el puntaje global SELD.

3. Contribuciones Clave

Nuevas Características de Entrada: Propuesta de dos métodos novedosos para extraer características basadas en la reverberación (DRR y stpACC) específicamente para la estimación de distancia en 3D SELD.
Estudio Preliminar de ITDG: Demostración empírica de que las características basadas en la autocorrelación capturan información de distancia al analizar cómo los clips de audio interactúan con las respuestas al impulso de la habitación (RIR) a diferentes distancias.
Evaluación Exhaustiva: Benchmarking extensivo en datos reales, combinando las nuevas características con las existentes para SED y DOAE, probando en diferentes arquitecturas y comparando contra el estado del arte (CDPD).
Versatilidad: A diferencia de características previas como CDPD (limitadas a MIC), las propuestas funcionan eficazmente tanto en formatos FOA como MIC.

4. Resultados

Los experimentos en el conjunto de datos STARSS23 mostraron lo siguiente:

Mejora en Estimación de Distancia: Todas las características propuestas redujeron el Error Relativo de Distancia (RDE). La combinación de stpACC con características log-mel y vectores de intensidad logró el mejor RDE (0.262) y el puntuaje SELD global más alto (0.341).
Comparación con el Estado del Arte: Las características propuestas superaron a las características CDPD (Coherence and Direct-Path Dominance) de trabajos recientes, especialmente en formatos FOA.
Impacto en Otras Métricas: La inclusión de estas características mejoró la estimación de distancia sin degradar significativamente la detección (SED) o la localización angular (DOA). De hecho, el uso de características D+R (separadas) mejoró la precisión de la distancia, aunque la combinación de stpACC sola ofreció el mejor equilibrio global.
Robustez: El enfoque demostró ser robusto tanto en datos sintéticos como reales, validando la utilidad de las pistas de reverberación para la estimación de distancia.

5. Significado

Este trabajo es significativo porque aborda una brecha crítica en el campo del SELD 3D: la falta de características de entrada dedicadas a la distancia. En lugar de depender únicamente de arquitecturas más complejas, los autores demuestran que enriquecer la entrada con información física sobre la reverberación (DRR y reflexiones tempranas) es una estrategia más efectiva para mejorar la estimación de distancia.

El hallazgo de que la potencia de corto plazo de la autocorrelación (stpACC) logra un rendimiento de estimación de distancia de vanguardia (state-of-the-art) sugiere que las redes neuronales pueden aprender a interpretar eficazmente las pistas temporales de las reflexiones tempranas para inferir la distancia. Esto establece un nuevo estándar para el diseño de características en sistemas de audio espacial y tiene implicaciones directas para aplicaciones prácticas como la interacción humano-robot, la seguridad y la accesibilidad, donde conocer la distancia de una fuente sonora es tan vital como su dirección.