Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement

Resumen Técnico: Pérdidas Ponderadas en el Dominio Tiempo–Frecuencia para la Reconstrucción de Fonemas en el Mejora de la Voz Basada en DNN

Planteamiento del Problema
Las pérdidas de entrenamiento convencionales para la Mejora de la Voz Multicanal (MCSE) basada en Redes Neuronales Profundas (DNN), particularmente aquellas basadas en la Relación Señal-a-Distorsión (SDR), tratan de manera uniforme todas las regiones de Tiempo–Frecuencia (TF). Este enfoque ignora las claves espectrales finas que son críticas para la inteligibilidad de fonemas específicos. Desde una perspectiva fonética, la inteligibilidad depende en gran medida de claves acústicas localizadas —como transiciones consonánticas, estallidos de oclusivas y bandas de ruido de fricativas— que poseen una información lingüística desproporcionadamente mayor en comparación con las regiones de vocales de estado estacionario. Además, los efectos de enmascaramiento son más severos cuando las magnitudes de la voz y el ruido son comparables, degradando la transmisión de estas claves. Las formulaciones de SDR con ponderación de frecuencia existentes han mejorado el comportamiento a nivel de fonema, pero no han unificado explícitamente la presencia de la voz, la competencia voz–ruido y la dinámica transitoria dentro de un único marco de ponderación diferenciable.

Metodología
Los autores proponen un marco de SDR ponderado en TF que modula la función objetivo basándose en la interacción local voz–ruido. La función de pérdida central se define como:
$$L_w = -10 \log_{10} \frac{\sum_{f,t} w(f, t) |S_{proj}(f, t)|^2}{\sum_{f,t} w(f, t) |E_{dist}(f, t)|^2}$$
donde $w(f, t)$ es un peso no negativo que controla la contribución de cada celda TF. El artículo investiga tres esquemas de ponderación específicos:

1. SIR–Presencia de Voz ($L_{SIR \cdot SP}$): Este esquema modela explícitamente la competencia voz–ruido. Combina una función de compuerta basada en la Relación Señal-a-Interferencia (SIR) local y una función de compuerta basada en la magnitud de la voz ($|S(f, t)|$). Los pesos enfatizan las celdas TF donde la voz permanece activa a pesar de un SIR bajo, penalizando las regiones dominadas por el ruido o con energía insignificante.
2. SIR–Presencia de Voz–Flujo Espectral ($L_{SIR \cdot SP \cdot SF}$): Para abordar las claves fonéticas transitorias (p. ej., oclusivas) que pueden tener una magnitud débil pero una relevancia perceptual alta, este esquema incorpora una métrica de flujo espectral por cuadro. El flujo espectral mide el aumento relativo de la energía espectral entre cuadros consecutivos. La función de ponderación multiplica las compuertas de SIR y de presencia de voz por un término dependiente del flujo espectral, aumentando la sensibilidad a las estructuras que varían rápidamente.
3. Pesos Aprendibles ($L_{learn}$): Como alternativa basada en datos, este esquema utiliza parámetros espectrales independientes del tiempo inicializados con pesos de importancia de banda ANSI 1997 y aprendidos durante el entrenamiento.

El marco propuesto se implementó utilizando el formador de haces adaptativo en el dominio del tiempo end-to-end FaSNet, entrenado con un conjunto de datos derivado de LibriSpeech mezclado con Ruido Blanco (WN) y Ruido con Forma de Voz (SSN), simulado con respuestas al impulso de sala para una configuración de audífono binaural de 4 canales.

Resultos Clave
Las evaluaciones experimentales se realizaron utilizando métricas objetivas (SDR, SIR, SAR, variantes ponderadas por frecuencia, STOI) y métricas de reconocimiento a nivel de fonema (Tasa de Error de Palabra - WER, Precisión de Fonema - PA).

• Desempeño a Nivel de Enunciado: Bajo Ruido Blanco, la pérdida $L_{SIR \cdot SP \cdot SF}$ logró la mayor mejora general en SIR y SIR ponderado por frecuencia. Si bien las pérdidas ponderadas mantuvieron un desempeño comparable a la línea base en términos de distorsión (SDR) y artefactos (SAR), mostraron una supresión de interferencia más consistente a través de distintos tipos de ruido en comparación con las pérdidas que dependen únicamente de la modulación de SIR local (p. ej., $L_{logSIR}$).
• Reconocimiento de Voz: Para el Ruido Blanco, todas las pérdidas ponderadas propuestas arrojaron un WER menor que la línea base en la mayoría de los niveles de Relación Señal-a-Interferencia (SIR). Bajo Ruido con Forma de Voz, los resultados fueron menos consistentes; sin embargo, $L_{SIR \cdot SP \cdot SF}$ demostró una ligera ventaja sobre la línea base en niveles de SIR de medio a alto.
• Análisis a Nivel de Fonema: La pérdida propuesta $L_{SIR \cdot SP \cdot SF}$ mejoró significativamente la Precisión de Fonema (PA) tanto para consonantes como para vocales, particularmente bajo Ruido Blanco. Para las consonantes, el método mejoró la supresión de interferencia (mayor SIR) manteniendo un SDR ponderado por frecuencia comparable.
• Reconstrucción de Transitorios: El análisis del reconocimiento de oclusivas a través de los niveles de SIR reveló que $L_{SIR \cdot SP \cdot SF}$ superó significativamente a la línea base en niveles de SIR de medio a alto (0 dB y superiores). El análisis espectral indicó que esta pérdida reconstruye mejor las estructuras de media frecuencia de las oclusivas en niveles de SIR de entrada moderados y altos, siguiendo más de cerca la forma espectral limpia que la línea base en las bandas 6–13.

Significancia y Reivindicaciones
El artículo afirma que el marco de ponderación TF propuesto logra reconfigurar la contribución de las celdas TF de acuerdo con la competencia voz–ruido sin desestabilizar la optimización de la SDR. La contribución principal es la demostración de que el modelado explícito de la presencia de voz, el SIR local y la dinámica transitoria (vía flujo espectral) conduce a una mejor supresión de interferencias y a una mejor reconstrucción fonética.

Los autores sostienen que su enfoque refleja mejor las prioridades perceptivas que las pérdidas globalmente uniformes, particularmente para consonantes y claves transitorias. Los resultados sugieren que la incorporación de la modulación sensible al SIR y al flujo espectral es más robusta que depender únicamente de perfiles espectrales aprendidos o de SIR local, especialmente en condiciones relevantes para escenarios de asistencia auditiva donde preservar las estructuras de voz transitorias y de media frecuencia es crítico. El trabajo no pretende reemplazar las pruebas de escucha, sino proporcionar proxies objetivos reproducibles para la inteligibilidad y la reconstrucción fonética.