Resumen Técnico: Mejora de Voz Multicanal con Bajo Consumo de Cómputo Potenciada por la Nube

1. Planteamiento del Problema

El despliegue de dispositivos vestibles (por ejemplo, gafas inteligentes, dispositivos auditivos) requiere una mejora de la voz de alta fidelidad y en tiempo real bajo estrictas restricciones de computación y latencia. Si bien los modelos ligeros en el dispositivo (por ejemplo, TinyGRU) ofrecen eficiencia, su reducción en el número de parámetros y profundidad superficial limita su capacidad para modelar escenas acústicas complejas, lo que resulta en un rendimiento significativamente inferior al de las soluciones del lado del servidor. Por el contrario, los modelos de vanguardia en el servidor (por ejemplo, SpatialNet de gran escala) logran robustez en condiciones de baja relación señal-ruido (SNR), pero son computacionalmente prohibitivos para el despliegue en el borde (edge).

Los enfoques híbridos existentes que combinan el filtrado espacial con redes neuronales siguen limitados por la precisión del estimador ligero en el borde; si el modelo del borde falla al identificar el objetivo en una escena compleja, el conformador de haces (beamformer) colapsa. Además, los marcos previos de "Knowledge Boosting", que condicionan los modelos de borde basándose en salidas retrasadas del servidor, solo han producido mejoras modestas para la mejora de voz general. Esto sugiere que el simple hecho de condicionar sobre salidas retrasadas es insuficiente para capturar las variaciones espectrales rápidas del ruido no estacionario cuando existe latencia de comunicación.

2. Metodología

Los autores proponen un marco colaborativo que cierra la brecha de rendimiento entre los modelos de borde y de servidor, explotando la observación de que, mientras los detalles espectrales cambian rápidamente, las estadísticas espaciales (por ejemplo, la dirección de llegada) evolucionan más lentamente y son robustas a los retrasos de comunicación. El sistema consta de un modelo de alta capacidad en el servidor (SpatialNet), preentrenado y congelado, y un modelo ligero en el borde (TinyGRU).

El marco integra tres técnicas principales:

2.1. Salida del Servidor Retrasada como Entrada Adicional

El servidor procesa la entrada multicanal y transmite un espectrograma mejorado al dispositivo de borde. Para compensar la latencia de red ($\tau$), esta salida mejorada se trata como un conocimiento previo (prior) retrasado. Se concatena con la entrada de micrófonos multicanal bruta antes del módulo de convolución espacial del modelo de borde. Esto proporciona al modelo de borde una señal de referencia directa que captura la estimación del servidor sobre la voz de la meta, ayudando a la reducción de la entrada multicanal a una representación de un solo canal.

2.2. Potenciación de Características por Capas (Layerwise Feature Boosting)

En lugar de depender únicamente de la salida final del servidor, el marco transfiere representaciones intermedias desde el modelo del servidor para guiar los estados internos del modelo de borde.

• Extracción: Las características se muestrean de cuatro profundidades específicas del SpatialNet del servidor (codificación de entrada, y las capas 4, 8 y 12).
• Compresión y Modulación: Estas características se comprimen mediante convoluciones $1 \times 1$ aprendidas y se retrasan temporalmente. Luego se inyectan en las capas del modelo de borde (TinyGRU) utilizando Modulación Lineal por Características (FiLM).
• Mecanismo: Las características comprimidas generan parámetros de escala ($\gamma$) y desplazamiento ($\beta$) para cada fotograma, modulando los estados ocultos del modelo de borde. Esto permite que las características tempras del servidor proporcionen un condicionamiento espectral de bajo nivel, mientras que las características más profundas ofrecen pistas refinadas de separación de voz y ruido en etapas de procesamiento posteriores.

2.3. Filtro de Wiener Multicanal Colaborativo (MCWF)

La etapa final de mejora emplea una estrategia de fusión novedosa para el conformador de haces MCWF.

• Fusión de Covarianza: El sistema calcula vectores de co-varianza cruzada entre la entrada y la voz estimada de la meta de forma independiente tanto para el servidor como para el modelo de borde.
• Ponderación Adaptativa: Debido a la latencia, las estadísticas del servidor reflejan la escena acústica pasada, mientras que las estadísticas del borde reflejan la escena actual. El marco fusiona estos vectores utilizando un peso adaptativo $\alpha(t)$, predicho por la capa lineal final del modelo de borde.
  • En entornos estacionarios, el sistema favorece las estadísticas del servidor, que aunque están retrasadas, son de mayor calidad (bajo $\alpha$).
  • En entornos de cambios rápidos (por ejemplo, inicios repentinos de ruido), el sistema favorece las estadísticas actuales del borde, aunque sean de menor calidad (alto $\alpha$).
• Suavizado y Conformación de Haz: Las estadísticas fusionadas se someten a un suavizado recursivo dependiente del tiempo antes de calcular los coeficientes del MCWF, los cuales se aplican a la entrada multicanal para producir la señal final mejorada.

3. Contribuciones Clave

1. Marco Colaborativo: Una arquitectura novedosa que mantiene el modelo del servidor congelado y fijo, introduciendo guía a nivel de representación intermedia y fusión de estadísticas espaciales para potenciar la inferencia en el borde sin el entrenamiento conjunto del servidor.
2. Técnica de Tres Vertientes: La integración de (1) concatenación de entrada retrasada, (2) potenciación de características por capas mediante FiLM, y (3) MCWF colaborativo con fusión adaptativa.
3. Eficiencia: El enfoque logra mejoras significativas de rendimiento con un sobrecosto computacional mínimo en el dispositivo de borde (<5% de aumento en parámetros y operaciones).

4. Resultados Experimentales

Los experimentos se realizaron con el conjunto de datos DNS-Challenge utilizando un arreglo de micrófonos circulares de 8 canales, simulando condiciones estándar y desafiantes (baja SNR) con un retraso de comunicación servidor-borde de 64 ms.

• Ganancias de Rendimiento: El marco colaborativo completo superó significativamente a la línea base de solo borde (TinyGRU+MCWF).
  • Condiciones Estándar: El SI-SDR mejoró de 1.97 dB (línea base) a 5.74 dB.
  • Condiciones Desafiantes: El SI-SDR mejoró de -1.16 dB (línea base) a 2.33 dB.
• Estudio de Ablación:
  • La adición de la salida retrasada del servidor por sí sola mejoró el SI-SDR en aproximadamente ~1.1 dB.
  • La adición de la potenciación de características por capas proporcionó ganancias adicionales (~1.4 dB).
  • El MCWF colaborativo proporcionó el impulso final, demostrando el valor de fusionar las estadísticas espaciales.
• Comparación con Modelos Escalados: Un modelo "TinyGRU-Large" con un 198% más de parámetros y un 109% más de operaciones logró solo 2.75 dB de SI-SDR en condiciones estándar, rindiendo significativamente por debajo del método propuesto (5.74 dB), el cual solo añadió un 1.5% de parámetros. Esto confirma que las ganancias provienen de la colaboración servidor-borde y no de un mero escalado del modelo.
• Sensibilidad a la Latencia: El sistema mostró una degradación gradual a medida que la latencia aumentó de 64 ms a 128 ms, manteniendo un rendimiento sustancialmente por encima de la línea base.

5. Significado y Reivindicaciones

El artículo afirma que este marco colaborativo ofrece un camino prometedor hacia la mejora de la voz de alta calidad y en tiempo real en dispositivos vestibles con recursos limitados. Al aprovechar las estadísticas espaciales tolerantes al retraso y las representaciones intermedias del servidor, el sistema cierra eficazmente la brecha de rendimiento entre los modelos ligeros de borde y las soluciones de alta capacidad del servidor. Los autores enfatizan que su enfoque logra mejoras de rendimiento de nivel de servidor incurriendo en un sobrecosto computacional insignificante en el borde, abordando el compromiso crítico entre latencia, restricciones de cómputo y fidelidad de audio en el procesamiento de audio para dispositivos vestibles.