From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks

Resumen Técnico: Estimación de Propiedades de Señales Auxiliares Mediante Máscaras de Poda Dinámica en Redes de Mejora de Voz

Planteamiento del Problema
Los sistemas de Mejora de Voz (SE) en dispositivos de audio embebidos (por ejemplo, audífonos) dependen cada vez más del aprendizaje profundo. Para garantizar la robustez y una experiencia de usuario fluida, estos sistemas suelen requerir módulos auxiliares para tareas como la Detección de Actividad de Voz (VAD), la estimación de la Relación Señal-Ruido (SNR), la Clasificación de Escenas Acústicas y la Predicción de Calidad de Voz (SQP). Sin embargo, desplegar modelos de aprendizaje profundo separados para estas tareas auxiliares es computacionalmente prohibitivo para dispositivos de borde, mientras que la inferencia basada en la nube introduce latencia y preocupaciones de privacidad. Aunque la Poda Dinámica de Canales (DynCP) se ha propuesto para reducir el cómputo de SE desactivando adaptativamente canales, sigue sin estar claro si los mecanismos internos que impulsan esta poda contienen información suficiente para realizar estas tareas auxiliares sin modelos dedicados.

Metodología
Los autores proponen un marco para estimar propiedades de señales auxiliares directamente a partir de las máscaras de poda binarias generadas por un modelo de SE basado en DynCP, específicamente la arquitectura Conv-FSENet.

• Pipeline de Datos: El sistema trata los datos de entrenamiento y prueba como flujos continuos. Fragmentos de voz limpia y ruido se mezclan para formar entradas ruidosas ($x$), que son procesadas por el modelo de SE para producir voz mejorada ($\hat{s}$). Las etiquetas de referencia para diversas tareas (VAD, género, acento, categoría de ruido, SNR, SI-SDR, PESQ, F0) se extraen de metadatos o se calculan utilizando bibliotecas estándar (por ejemplo, librosa, pyworld) y se alinean con la tasa de cuadros de la Transformada de Fourier de Tiempo Corto (STFT).
• Extracción de Características: El modelo de SE genera un tensor de máscaras de poda binarias ($G$) que indican qué canales de convolución están activos en cada bloque de procesamiento. Para reducir la dimensionalidad y eliminar máscaras constantes no informativas, los autores filtran $G$ basándose en un umbral mínimo de desviación estándar ($\tau$), resultando en un subconjunto de características dinámicas ($\tilde{G}$).
• Modelos de Predicción: Los autores emplean modelos lineales simples e interpretables (regresión logística para clasificación, regresión lineal para regresión) para predecir objetivos a partir de $\tilde{G}$. El uso de entradas binarias permite que las predicciones se calculen como sumas ponderadas, minimizando la sobrecarga computacional.
• Líneas Base y Comparaciones: El rendimiento se compara con líneas base que utilizan magnitudes logarítmicas crudas de STFT y máscaras de supresión predichas. El estudio también evalúa el impacto de utilizar características de bloques específicos de la red, las $N$ características más informativas y las puntuaciones de activación (gating scores) crudas (no binarizadas).
• Verificación de Hablante (SV): Como experimento adicional, los autores agregan las máscaras de poda sobre cuadros con actividad vocal para crear incrustaciones a nivel de enunciado, las cuales se evalúan utilizando un backend lineal estándar (WCCN y LDA) para la verificación de hablante.

Contribuciones Clave

1. Análisis de Comportamiento Emergente: El artículo investiga las representaciones latentes aprendidas por las subredes de activación (gating subnets) de DynCP, demostrando que codifican implícitamente características acústicas y de voz relevantes a pesar de haber sido entrenadas únicamente para eficiencia computacional.
2. Solución Holística: Los autores reutilizan las máscaras de DynCP como una fuente unificada de información para múltiples tareas auxiliares (VAD, clasificación de ruido, SNR, métricas de calidad, etc.), eliminando la necesidad de modelos predictores separados y pesados computacionalmente.
3. Eficiencia e Interpretabilidad: Al utilizar predictores lineales simples sobre máscaras binarias, el enfoque logra un alto rendimiento con una sobrecarga computacional negligible. Los coeficientes lineales proporcionan un grado de interpretabilidad sobre qué partes de la red contribuyen a propiedades específicas de la señal.

Resultados

• Clasificación: Los predictores simples alcanzaron hasta un 93% de precisión en VAD, 84% en clasificación de ruido y 59% en clasificación de ruido (utilizando las 64 características principales). La clasificación de género fue exitosa, mientras que la clasificación de acento se desempeñó cerca de niveles aleatorios, probablemente porque el comportamiento de SE no está fuertemente influenciado por el acento.
• Regresión: El modelo alcanzó un $R^2$ de 0.86 en la estimación de F0. Para las métricas de calidad, alcanzó un Error Absoluto Medio (MAE) de 0.2 para PESQ y 3.2 dB para SI-SDR.
• Eficiencia de Características: Utilizar solo las 64 características más informativas mantuvo un rendimiento comparable al uso del conjunto completo de ~202 características, lo que sugiere que los modelos auxiliares pueden ser altamente compactos.
• Puntuaciones Crudas vs. Máscaras Binarias: Las puntuaciones de activación crudas (pre-binarización) generalmente superaron a las máscaras binarias, particularmente para la clasificación de ruido y la estimación de F0, ya que retienen más información del estado interno. Sin embargo, las máscaras binarias ofrecieron el menor costo computacional.
• Verificación de Hablante: Las máscaras de poda arrojaron resultados modestos de Tasa de Error Igual (EER), desempeñándose peor que las líneas base de STFT. Los autores sugieren que esto puede deberse al agrupamiento temporal o a que el modelo de SE aprende representaciones ajenas al hablante.
• Costo Computacional: La sobrecarga para predecir 21 objetivos utilizando el conjunto completo de características es aproximadamente del 0.6% al 0.93% del cómputo total por cuadro, dependiendo de los canales activos.

Significado y Limitaciones
El artículo afirma que los modelos DynCP exhiben un "comportamiento emergente" donde las subredes de activación aprenden a asignar recursos basándose en características de la señal como los niveles de ruido y la actividad vocal. Esto sugiere que DynCP puede servir como un mecanismo de doble propósito: optimizar la eficiencia de SE mientras proporciona simultáneamente datos auxiliares para un comportamiento robusto del sistema y retroalimentación al usuario.

Los autores mantienen modestia respecto a la madurez de estos hallazgos. Reconocen varias limitaciones:

• Los modelos lineales asumen contribuciones aditivas y pueden tener dificultades con entradas correlacionadas.
• La colinealidad de las características complica la interpretación de la importancia de los coeficientes.
• El suavizado temporal dentro de las subredes de activación puede obstaculizar la estimación de objetivos que cambian rápidamente.
• Las referencias de ventana (por ejemplo, PESQ) pueden no representar completamente la calidad instantánea de la señal.

El trabajo se posiciona como un paso preliminar hacia pipelines de modelo único que puedan mejorar la voz, ahorrar cómputo y generar datos auxiliares simultáneamente, fomentando más investigación en modelos dinámicos y entrenamiento multi-tarea en el procesamiento de audio.