BASENet: Band-Adapted Speech Enhancement Network with Cross-Band Attention

Resumen Técnico de BASENet: Red de Mejora de Voz con Adaptación de Banda y Atención entre Bandas

1. Planteamiento del Problema

Los modelos de mejora de la voz aplican tradicionalmente una capacidad computacional uniforme en todo el espectro de frecuencias. Este enfoque ignora la resolución espectral no uniforme del sistema auditivo humano, donde las bandas críticas de baja frecuencia son estrechas y perceptualmente densas (codificando la frecuencia fundamental y los armónicos), mientras que las bandas de alta frecuencia son más anchas y con menor agudeza perceptiva. Los modelos actuales de vanguardia (SOTA) suelen depender de una atención de banda completa o de operaciones bidireccionales costosas que dificultan el despliegue en tiempo real. Además, muchos enfoques de sub-bandas aplican una capacidad uniforme en todas las bandas o dependen de capas recurrentes compartidas sin modular la profundidad del codificador basándose en la importancia perceptiva. Existe la necesidad de una arquitectura que derive sistemáticamente la capacidad de los principios auditivos, manteniendo la coherencia entre bandas y permitiendo la inferencia causal en tiempo real.

2. Metodología

La propuesta BASENet (Red de Mejora de Voz con Adaptación de Banda) es una arquitectura adaptada a la frecuencia diseñada para alinear la capacidad del codificador con la percepción auditiva humana.

• Descomposición de Frecuencia Motivada por la Percepción:
  El espectrograma de entrada se particiona en $B$ bandas de frecuencia no superpuestas basadas en la escala Bark. Los límites se determinan mediante transiciones entre regiones perceptualmente distintas (fundamental/armónico, formante, fricativo). Para cada banda $b$, se calcula una densidad de banda crítica ($\rho_b$), que representa el número de unidades Bark abarcadas por Hertz. Esta métrica cuantifica la densidad perceptiva de la banda.

• Asignación de Capacidad Basada en la Densidad:
  A diferencia de las arquitecturas uniformes, BASENet asigna la profundidad del codificador ($L_b$) como una función de forma cerrada de la densidad de la banda crítica:
  $$L_b = \left\lfloor L_{\max} \cdot \frac{\rho_b}{\max_{b'} \rho_{b'}} \right\rceil$$
  Esta regla asegura que las bandas de baja frecuencia, perceptualmente más densas, reciban ramas más profundas y anchas para modelar estructuras armónicas detalladas, mientras que las bandas de alta frecuencia, más amplias, son procesadas por ramas más superficiales y ligeras. Esto elimina la necesidad de un ajuste de hiperparámetros por banda.

• Procesamiento de Bandas con Capacidad Escalada:
  Cada banda es procesada por una rama de codificador dedicada con profundidad $L_b$. La arquitectura utiliza bloques residuales invertidos con conectividad densa y convoluciones de dilatación exponencial a lo largo del eje de la frecuencia. Las ramas más profundas desarrollan campos receptivos más grandes para capturar detalles de tono y armónicos en las bajas frecuencias, mientras que las ramas más superficiales manejan el contenido espectral más suave de las altas frecuencias de manera eficiente.

• Atención entre Bandas (Cross-Band Attention):
  Para restaurar la coherencia entre las bandas procesadas de forma independiente, se introduce un módulo de Atención entre Bandas. En lugar de atender a rejillas completas de tiempo-frecuencia (lo que incurre en una complejidad de $O(N^2F^2)$), el módulo computa contextos globales compactos promediando las claves (keys) y valores (values) a través de los contenedores de frecuencia dentro de cada banda. Estos resúmenes a nivel de banda se concatenan, y cada banda atiende a este contexto compartido. Este mecanismo opera con una complejidad lineal de $O(NF_bB)$ y soporta la inferencia causal cuadro a cuadro.

• Modelado Temporal y Decodificadores:
  Tras la fusión entre bandas, las características son procesadas por una Red Recurrente Convolucional (CRN) utilizando una GRU unidireccional o bidireccional para el modelado temporal. La red sigue el paradigma de estimación de máscara y fase, prediciendo una máscara de magnitud tiempo-frecuencia y un espectrograma de fase mejorado para reconstruir la señal limpia.

3. Contribuciones Clave

1. Codificador Escalado Perceptualmente: Una regla de diseño novedosa que deriva la capacidad por banda directamente de la densidad de la banda crítica de la escala Bark mediante una única ecuación de forma cerrada, eliminando la necesidad de un ajuste manual por banda.
2. Atención entre Bandas Eficiente: Un módulo que modela las dependencias armónicas y de formantes entre bandas utilizando representaciones de agrupación de frecuencia compactas, logrando una complejidad lineal y permitiendo el procesamiento causal en tiempo real.
3. Arquitectura Ligera y Lista para Streaming: Un modelo con solo 0.83 M de parámetros y 7.3 G MACs que logra una mejora de alta calidad. Soporta nativamente la inferencia causal simplemente reemplazando la GRU bidireccional por una variante unidireccional, sin requerir un rediseño arquitectónico.

4. Resultados Experimentales

El modelo fue evaluado con el conjunto de datos VoiceBank+DEMAND.

• Rendimiento: BASENet-3 (usando 3 bandas) logró un PESQ de 3.55 y un STOI de 96%.
• Comparación de Eficiencia: Entre todos los métodos que alcanzan un PESQ $\ge$ 3.50, BASENet tiene la menor cantidad de parámetros (0.83 M). Iguala el rendimiento de SE-Mamba (PESQ 3.55) con 4.5$\times$ menos MACs y 2.7$\times$ menos parámetros. También supera a MP-SENet (PESQ 3.50) con un costo computacional significativamente menor.
• Variante Causal: La versión causal de BASENet (0.81 M de parámetros) alcanzó un PESQ de 3.44, superando a varios baselines no causales (por ejemplo, CMGAN con 3.41, DPT-FSNet con 3.33), demostrando su idoneidad para el streaming en tiempo real en dispositivos con recursos limitados.
• Estudios de Ablación: Eliminar la atención entre bandas causó la mayor caída de rendimiento (-0.13 PESQ), confirmando su papel crítico en el modelado de las relaciones armónicas. Reemplazar la asignación de profundidad basada en la densidad con una profundidad uniforme también resultó en una caída significativa (-0.11 PESQ). Las particiones de banda más finas (8 o 12 bandas) degradaron el rendimiento, lo que sugiere que 3 bandas proporcionan el equilibrio óptimo de contexto espectral.

5. Significado

El artículo sostiene que BASENet demuestra que la capacidad escalada perceptualmente es un sesgo inductivo altamente efectivo para la mejora de la voz. Al alinear sistemáticamente la profundidad del modelo con la resolución auditiva, la arquitectura logra un compromiso calidad-eficiencia superior. El trabajo aborda la tensión entre el alto rendimiento y las restricciones computacionales, ofreciendo una solución que es tanto ligera como capaz de streaming causal nativo, lo que la hace adecuada para aplicaciones como audífonos y comunicación de voz en vivo donde la inferencia en tiempo real es crítica. Se sugiere como trabajo futuro explorar máscaras de atención de triángulo inferior para explotar aún más la estructura armónica ascendente del habla.