Improving multichannel speech enhancement through accurate room-acoustic simulations

Resumen Técnico: Mejora de la mejora del habla multicanal mediante simulaciones acústicas de sala precisas

Planteamiento del problema
La mejora del habla multicanal basada en aprendizaje profundo es crítica para las interfaces de lenguaje natural de usuario (NLUI) que operan en entornos acústicamente complejos. Aunque el aumento de datos utilizando respuestas al impulso de la sala (RIR) es una práctica estándar, la mayoría de los procesos de vanguardia dependen de una acústica geométrica (GA) simplificada, como el método de la fuente de imagen (ISM) con geometrías de caja de zapatos y absorción independiente de la frecuencia. Estos modelos simplificados suelen fallar al capturar la complejidad acústica de los entornos reales, particularmente los fenómenos ondulatorios como la difracción, los modos de la sala y las condiciones de contorno dependientes de la frecuencia. Aunque estudios previos han investigado el realismo de la fuente/receptor y los materiales de las paredes, existe una falta de investigación que examine cómo la fidelidad de la simulación afecta específicamente el rendimiento de la mejora del habla multicanal utilizando arreglos de micrófonos rígidos.

Metodología
Los autores investigan la relación entre la fidelidad de la simulación acústica de la sala y el rendimiento de las redes neuronales aplicadas mediante el entrenamiento y la evaluación de la arquitectura SpatialNet.

• Configuración de la red: El estudio utiliza un modelo SpatialNet-pequeño (tasa de muestreo de 16 kHz) diseñado para la mejora multicanal de extremo a extremo en el dominio STFT. La red integra capas convolucionales con atención de múltiples cabezales para modelar tanto la estructura espectral local como las dependencias contextuales globales. Los experimentos se centran en un subconjunto de seis canales del arreglo rígido em32 Eigenmike para aproximar los efectos de dispersión de los altavoces inteligentes.
• Conjuntos de datos de entrenamiento: Se generaron tres conjuntos de datos de entrenamiento distintos para comparar los paradigmas de simulación:
  1. ISM-U (No informado): Un conjunto de datos de baja fidelidad utilizando la herramienta gpuRIR con ISM. Las dimensiones de la sala y los tiempos de reverberación ($T_{20}$) se muestrearon aleatoriamente de rangos predefinidos sin conocimiento previo de materiales o volúmenes típicos. El arreglo se modeló como un arreglo de micrófonos abierto.
  2. ISM-M (Emparejado): Un conjunto de datos de baja fidelidad utilizando gpuRIR pero "informado" al emparejar las dimensiones específicas de la sala, las posiciones de la fuente/receptor y los valores de $T_{20}$ objetivo del conjunto de datos de alta fidelidad. Esto aisla el efecto de la física de la simulación (GA frente a Onda) de los parámetros de diseño del conjunto de datos.
  3. Híbrido (Alta fidelidad): Un conjunto de datos generado utilizando el Treble SDK. Este enfoque emplea un paradigma de simulación híbrido: se utiliza un resolvedor basado en ondas (resolviendo la ecuación de onda acústica) por debajo de una frecuencia de cruce (1–2 kHz) para capturar la difracción y el comportamiento modal, mientras que un resolvedor de GA (ISM + radiación de rayos) gestiona las frecuencias por encima de la frecuencia de cruce. Crucialmente, este conjunto de datos incluye impedancias superficiales complejas dependientes de la frecuencia, materiales de mobiliario realistas y una función de transferencia relacionada con el dispositivo (DRTF) de campo libre de onda completa para modelar los efectos de dispersión del Eigenmike.
• Evaluación: Los modelos se evaluaron utilizando LibriCSS-EM6, un conjunto de datos medido que comprende 60 sesiones de grabaciones del mundo real del Eigenmike de los conjuntos de datos Motus y Arni6DoF. La evaluación cubrió diversas condiciones de solapamiento de locutores (0% a 40%) y fue procesada a través de un flujo de trabajo estándar de ASR basado en Kaldi para medir la Tasa de Error de Palabra (WER).

Resultados Clave
El estudio demuestra que el entrenamiento con datos aumentados de alta fidelidad basados en ondas produce mejoras significativas en el rendimiento respecto a los baselines de acústica geométrica:

• Rendimiento General: El modelo entrenado con el conjunto de datos Híbrido superó consistentemente a los entrenados con conjuntos de datos basados en ISM en todas las condiciones de solapamiento.
• Reducción de WER: En comparación con el conjunto de datos ISM no informado (ISM-U), el modelo Híbrido logró una reducción relativa del 30.0% en la mediana de WER general. En comparación con el conjunto de datos ISM informado (ISM-M), la reducción fue del 16.3%.
• Impacto del Solapamiento: La brecha de rendimiento se amplió a medida que aumentaba el solapamiento de los locutores. En la condición más desafiante (40% de solapamiento, OV40), el modelo Híbrido logró una reducción relativa del 38.3% en el WER en comparación con ISM-U y una reducción del 23.5% en comparación con ISM-M.
• Significancia Estadística: Los intervalos de confianza del 95% mediante bootstrapping indicaron que las mejoras fueron estadísticamente significativas para casi todas las comparaciones, con todos los intervalos excepto uno situándose completamente por encima de cero.
• Diseño de Conjunto de Datos vs. Física: El conjunto de datos ISM-M (parámetros informados pero física simplificada) funcionó mejor que el ISM-U, pero el conjunto de datos Híbrido (física avanzada) superó significativamente a ambos, lo que sugiere que la precisión física en la simulación es un motor primario de las ganancias de rendimiento.

Significancia y Reivindicaciones
El artículo afirma que el aumento con simulaciones de acústica de sala de alta fidelidad se traduce directamente en una mejora del rendimiento de la mejora del habla multicanal. Los autores enfatizan que estas ganancias se logran sin alterar la arquitectura de la red ni la estrategia de entrenamiento; la mejora proviene únicamente del aumento de la precisión física de los datos de entrenamiento.

El estudio concluye que, si bien los métodos de GA simplificados son computacionalmente eficientes, introducen discrepancias en el comportamiento modal de baja frecuencia, la difracción y la caída dependiente de la frecuencia que degradan la robustez del modelo en condiciones del mundo real. Al utilizar simulaciones híbridas que capturan fenómenos ondulatorios, los desarrolladores pueden lograr reducciones sustanciales en las tasas de error de palabra, particularmente en escenarios de habla compleja y solapada. Los autores posicionan este trabajo como un cierre de la brecha en la comprensión de la fidelidad de la simulación para sistemas multicanal con arreglos rígidos, abogando por la adopción de modelado acústico avanzado en los procesos de aumento de datos.