Resumen Técnico: SE-AGCNet

1. Planteamiento del Problema

Los canales de audio convencionales para escenarios de reuniones suelen tratar la Mejora de la Voz (SE, por sus siglas en inglés) y el Control Automático de Ganancia (AGC) como módulos discretos y en cascada. Esta separación introduce limitaciones significativas de rendimiento:

• Problemas de orden en cascada: Aplicar el AGC antes de la SE amplifica indiscriminadamente tanto la voz como el ruido de fondo, degradando la relación señal-ruido (SNR) y complicando la posterior eliminación de ruido. Por el contrario, aplicar el AGC después de la SE hace que su rendimiento dependa altamente de la calidad de la salida de la SE; el ruido residual suele ser amplificado involuntariamente.
• Sobre-supresión: Los modelos de SE tienden a sobre-suprimir el habla de bajo volumen (por ejemplo, de campo lejano o hablantes con voz baja), clasificándola erróneamente como ruido.
• Falta de optimización conjunta: Los marcos unificados existentes suelen tratar el AGC como un paso de post-procesamiento desvinculado o dependen de una generación de objetivos propietaria y no reproducible, lo que limita la capacidad del modelo para aprender la sinergia entre la supresión de ruido y la normalización del volumen.

2. Metodología: SE-AGCNet

Los autores proponen SE-AGCNet, un marco de aprendizaje profundo de extremo a extremo que optimiza conjuntamente la SE y el AGC dentro de un único proceso de entrenamiento. El sistema opera en el dominio tiempo-frecuencia para transformar una onda de entrada ruidosa y con volumen desequilibrado en una salida limpia y con volumen equilibrado.

Arquitectura

El marco emplea una arquitectura de dos etapas:

1. Módulo de Mejora de la Voz (SE):

   • Backbone: Utiliza MP-SENet como arquitectura base.
   • Entrada/Salida: Procesa los espectros de magnitud y fase de la entrada ruidosa.
   • Estrategia de entrenamiento: El objetivo es una voz limpia pero con volumen desequilibrado. Esto obliga al módulo de SE a aprender la supresión de ruido mientras preserva las variaciones de sonoridad para el módulo de AGC subsiguiente.
   • Reponderación Asimétrica: Para evitar que el modelo sobre-suprima el habla de bajo volumen, se aplica una estrategia de pérdida asimétrica. Si la magnitud predicha es inferior a la magnitud objetivo, la contribución de la pérdida se multiplica por un factor de $\alpha = 10.0$.

2. Módulo de Control Automático de Ganancia (AGC):

   • Entrada: Toma el espectro de magnitud mejorado y normalizado por RMS del módulo de SE.
   • Arquitectura: Consta de tres componentes:
     • Procesamiento en el dominio de la frecuencia: Dos capas convolucionales 2D para extraer características conscientes de la frecuencia.
     • Procesamiento temporal: Una BiLSTM (Long Short-Term Memory bidireccional) de 2 capas para manejar secuencias temporales.
     • Reconstrucción espectral: Convoluciones transpuestas para reconstruir el espectro de magnitud.
   • Normalización: El módulo aplica una normalización de pico a 0.4 para lograr un volumen objetivo de -23 LUFS. Utiliza una normalización RMS independiente para la entrada y el objetivo para aprender el control de amplitud relativa.
   • Estrategia de pérdida: Un mecanismo de ponderación condicional penaliza al modelo 10 veces si predice energía positiva en regiones de silencio del objetivo, evitando la amplificación del ruido.

Objetivo de Entrenamiento Conjunto

La función de pérdida total combina la pérdida de SE y la pérdida de AGC:
$$L_{total} = L_{MP-SENet} + \lambda_{AGC} \times L_{AGC}$$
donde $\lambda_{AGC} = 0.9$. Se emplea una estrategia de aprendizaje por currículo, pre-entrenando el módulo de SE durante 5 épocas antes de optimizar conjuntamente todo el marco.

3. Contribuciones Clave

A. Marco SE-AGCNet

Un marco flexible de extremo a end-to-end que permite el entrenamiento conjunto de SE y AGC. Soporta la integración de diversas arquitecturas de SE existentes y aborda los desafíos específicos de la acústica de salas de reuniones, incluyendo la reverberación, el ruido de fondo y las diferencias significativas de volumen causadas por la distancia y el movimiento de los hablantes.

B. Pipeline SE-AGC-DataGen

Reconociendo la falta de conjuntos de datos públicos de AGC, los autores desarrollaron un pipeline de simulación de datos exhaustivo para generar el conjunto de datos LibriAGC.

• Fuente: Basado en LibriTTS.
• Etapas de simulación:
  1. Concatenación de 2 a 5 hablantes.
  2. Procesamiento de volumen que involucra un ajuste básico y cuatro modos de aumentación (picos repentinos, cambios graduales, fluctuaciones) para simular la dinámica real de las reuniones.
  3. Mezcla de ruido utilizando 35 clips del desafío DNS Challenge con un SNR de 5 a 25 dB para imitar la acústica de una sala de reuniones.
• Objetivos: Genera objetivos distintos para el entrenamiento de SE (limpio, volumen desequilibrado) y de AGC (limpio, volumen equilibrado).

C. Evaluación de Sonoridad Estandarizada

El artículo introduce métricas de sonoridad estandarizadas basadas en ITU-R BS.1770 y EBU R128 para proporcionar una evaluación objetiva y perceptualmente significativa:

• Sonoridad Integrada (LUFS): Establecida en un objetivo de -23 LUFS.
• Sonoridad de Corto Plazo (St LUFS): Utiliza una ventana deslizante de 3 segundos para evitar sesgos de compuerta comunes en escenarios de reuniones donde coexisten el habla de campo cercano y campo lejano.
• Rango de Sonoridad (LRA): Cuantifica el rango dinámico, identificando de 3 a 6 LU como óptimo para un habla equilibrada.

4. Resultados Experimentales

Conjuntos de Datos

Los experimentos se realizaron en:

• LibriAGC: El conjunto de datos simulado (9,487 locuciones de entrenamiento, 1,406 locuciones de prueba).
• Conjuntos de datos del mundo real: MMCSG (desafío CHiME-8) y AliMeeting-far (porción de campo lejano).

Métricas de Rendimiento

• Calidad de la Voz: PESQ, SIGMOS (incluyendo MOS de sonoridad) y DNSMOS.
• Rendimiento de AGC: LUFS, St LUFS y LRA.
• ASR (Reconocimiento Automático del Habla) de flujo descendente: Tasa de Error de Palabra (WER) y Tasa de Error de Carácter (CER).

Hallazgos Clave

• Control de Sonoridad: SE-AGCNet logra consistentemente el volumen objetivo de -23 LUFS con un St LUFS cercano al objetivo y un LRA dentro del rango óptimo de 3–6 LU. En contraste, los enfoques en cascada convencionales (SE + pyagc) o los modelos de SE independientes no logran mantener un volumen constante o presentan un LRA excesivo.
• Calidad de la Voz y ASR:
  • En el conjunto de prueba LibriAGC, SE-AGCNet supera al MP-SENet original y a las líneas base en cascada en las puntuaciones de PESQ, SIGMOS y DNSMOS.
  • Logra el WER/CER más bajo entre todos los sistemas probados en conjuntos de datos del mundo real.
  • La mejora es particularmente pronunciada para modelos de ASR entrenados con datos limitados (por ejemplo, stt_en_conformer_ctc_large), lo que sugiere que el marco es altamente beneficioso para sistemas sensibles a las variaciones de calidad de audio.
• Comparación: SE-AGCNet demuestra que la optimización conjunta es superior a tratar el AGC como un paso de post-procesamiento separado, mitigando eficazmente el riesgo de que la SE clasifique erróneamente el habla de bajo volumen como ruido y evitando que el AGC amplifique el ruido residual.

5. Significado

El artículo afirma que SE-AGCNet proporciona una solución fundamentada a las limitaciones de los canales de audio en cascada. Al aprovechar la sinergia entre la SE y el AGC, el marco asegura que el módulo de SE preserve el contenido de habla de bajo volumen mientras el módulo de AGC gestiona la normalización del volumen. Esto resulta en:

1. Mejor Calidad de Audio: Mejor supresión de ruido sin sobre-silenciar a los hablantes de bajo volumen.
2. Sonoridad Óptima: Logro consistente de niveles de sonoridad adecuados para escenarios de reuniones.
3. Mejora de la Utilidad de Flujo Descendente: Reducciones significativas en los errores de reconocimiento para los sistemas de Reconocimiento Automático del Habla (ASR).

Los autores enfatizan la reproducibilidad de su trabajo a través del código de código abierto y el novedoso pipeline SE-AGC-DataGen, que aborda la brecha crítica de la falta de conjuntos de datos públicos de AGC. Se señala como trabajo futuro la extensión del marco a condiciones acústicas más complejas y la exploración de modelos ligeros en tiempo real.