ToS: A Team of Specialists ensemble framework for Stereo Sound Event Localization and Detection with distance estimation in Video

Resumen Técnico: Marco de Ensamble de Equipo de Especialistas (ToS) para 3D SELD

Definición del Problema
El artículo aborda la Localización y Detección de Eventos Sonoros con estimación de distancia (3D SELD) en video. Esta tarea multimodal requiere la identificación simultánea de eventos sonoros activos de un conjunto predefinido, el seguimiento de su actividad temporal y la estimación de sus coordenadas espaciales (Dirección de Llegada - DOA, y distancia). El desafío específico abordado es la Tarea 3 de DCASE2025 Stereo SELD, que utiliza video de perspectiva frontal y audio estéreo. Esta configuración reemplaza formatos anteriores (FOA/MIC y video de 360°) pero introduce restricciones, como la estimación de DOA solo en azimut dentro de [-90°, 90°] y la necesidad de predecir la actividad en pantalla frente a fuera de pantalla. La dificultad central radica en el requisito de un razonamiento conjunto a través de tres dimensiones distintas: pistas espaciales para la localización, patrones temporales para el seguimiento de la actividad y comprensión semántica para la clasificación de sonido. Los modelos únicos suelen tener dificultades para integrar eficazmente estas dimensiones de forma simultánea.

Metodología: El Equipo de Especialistas (ToS)
Los autores proponen el Equipo de Especialistas (ToS), un marco de ensamble diseñado para navegar la complejidad multidimensional mediante la descomposición de la tarea en tres subredes complementarias. Cada subred es un modelo audio-visual especializado entrenado para la misma tarea de 3D SELD, pero optimizado para enfocarse en un par distinto de dimensiones.

1. Base Arquitectónica:

   • Rama Visual: A diferencia de trabajos previos que utilizan ResNet50 con pooling de promedio global (que degrada la resolución espacial), ToS emplea OWL-ViT, un codificador visual alineado con el lenguaje. OWL-ViT produce una cuadrícula fina de embeddings visuales.
   • Rama de Audio: Los modelos utilizan espectrogramas log-mel y características espaciales. Para audio estéreo, la principal característica espacial es la Diferencia de Nivel entre Canales (ILD), calculada a partir de las transformadas de Fourier de tiempo corto (STFT) de los canales izquierdo y derecho.
   • Mecanismo de Fusión: Los modelos utilizan un Conformer Cross-Modal (CMC) para fusionar los embeddings de diferentes modalidades, adaptando la arquitectura estándar de Conformer para la atención cruzada entre modalidades genéricas.

2. Los Tres Especialistas:

   • Especialista Espacio-Lingüístico: Se enfoca en las dimensiones espacial y semántica. Integra un codificador SELD ResNet-Conformer con CLAP (un codificador de audio alineado con el lenguaje) a través de un CMC. La rama visual utiliza OWL-ViT con pooling de promedio temporal para preservar la riqueza espacial y semántica. Este modelo prioriza la comprensión semántica y la localización.
   • Especialista Espacio-Temporal: Se enfoca en las dimensiones espacial y temporal. Omite el codificador CLAP y el CMC inicial para desestimar el razonamiento semántico. La rama visual extrae embeddings de OWL-ViT por cuadro y realiza el pooling a través de la dimensión de canales para preservar la estructura espacial en el tiempo. La rama de audio utiliza características específicas de SELD (espectrogramas e ILD) para asociar eventos sonoros con la DOA.
   • Especialista Tempo-Lingüístico: Se enfoca en las dimensiones temporal y semántica. Es un espejo de la arquitectura Espacio-Lingüística, pero omite las características espaciales explícitas (ILD) de la entrada del codificador SELD, confiando en su lugar en pistas direccionales implícitas en los espectrogramas. La rama visual procesa los cuadros de forma independiente con OWL-ViT, promediando los embeddings a través de la dimensión espacial para obtener una secuencia ordenada temporalmente de representaciones semánticas.

3. Estrategia de Ensamble:
   Las predicciones finales se generan mediante un mecanismo de votación por mayoría. Un evento sonoro se considera activo en un cuadro de tiempo específico solo si es detectado por al menos dos especialistas, y sus predicciones de DOA caen dentro de un umbral angular de 20°. La DOA y la distancia finales se computan como la media de las estimaciones de los especialistas contribuyentes. Para la actividad en/fuera de pantalla, una sola predicción positiva de cualquier especialista es suficiente para clasificar el evento como en pantalla.

Contribuciones Clave

1. Propuesta de Marco: Introducción del marco de Equipo de Especialistas (ToS), que integra subredes audio-visuales especializadas para combinar el conocimiento espacial, temporal y lingüístico en un sistema de comprensión unificado.
2. Benchmarking: Evaluación de los especialistas individuales y del ensamble completo ToS en el conjunto de desarrollo de la Tarea 3 de DCASE2025 utilizando audio estéreo y video frontal.
3. Demostración de Rendimiento: Evidencia empírica que muestra ganancias significativas sobre los métodos de estado del arte (SOTA) y las líneas base de referencia.

Resultados Experimentales
El marco fue evaluado en el conjunto de desarrollo de la Tarea 3 de DCASE2025 (30,000 clips) utilizando métricas que incluyen la puntuación F1 ($F_{\le20^\circ/1}$), F1 de en/fuera de pantalla ($F_{\le20^\circ/1/on}$), Error de Dirección de Llegada (DOAE), Error de Distancia Relativa (RDE) y Precisión de On/Off.

• Rendimiento Individual: El Especialista Espacio-Lingüístico emergió como el modelo individual con mejor desempeño (F1: 36.9%), lo que sugiere que la comprensión semántica y la localización espacial son las dimensiones más críticas para esta tarea. Los especialistas Espacio-Temporal y Tempo-Lingüístico mostraron un rendimiento ligeramente inferior en métricas específicas, reflejando su enfoque reducido en la tercera dimensión.
• Rendimiento del Ensamble: El ensamble completo ToS logró una puntuación F1 de 40.2% y un F1 de en/fuera de pantalla de 30.7%. Esto representa una ganancia de 3.3 puntos (un aumento relativo del 12%) sobre el mejor especialista individual.
• Comparación con SOTA: ToS superó a los modelos audio-visuales existentes, incluyendo AV-Conf, MVANet y el trabajo previo de los autores (Berghi [10]). Específicamente, ToS logró una puntuación F1 casi 5 puntos porcentuales superior al mejor anterior (Berghi [10]) y el DOAE más bajo (16.7°).
• Compromisos (Trade-offs): Los autores señalan que esta mejora de rendimiento conlleva una mayor carga computacional debido a la agregación de tres modelos independientes.

Significancia y Reivindicaciones
El artículo afirma que el marco ToS aborda eficazmente el desafío del razonamiento conjunto a través de las dimensiones semántica, espacial y temporal mediante el aprovechamiento de un enfoque modular basado en ensambles, en lugar de sobrecargar una única arquitectura. Los resultados demuestran que las redes especializadas, cuando se combinan, pueden producir predicciones de SELD más robustas y precisas que los modelos monolíticos.

Los autores mantienen una postura modesta respecto al trabajo futuro, señalando que los resultados actuales sirven como una prueba de concepto. Sugieren que se podrían lograr mejoras futuras fortaleciendo a los especialistas con tareas, entrenamiento y currículos de pre-entrenamiento apropiados, y mediante la investigación del pre-entrenamiento de especialistas para explotar plenamente su complementariedad. Este trabajo es financiado por la asociación EPSRC-BBC 'AI4ME'.