Position-invariant Fine-tuning of Speech Enhancement Models with Self-supervised Speech Representations

Resumen Técnico: Ajuste Fino de Invariancia Posicional de Modelos de Mejora de la Voz con Representaciones de Voz Auto-Supervisadas

Planteamiento del Problema
La integración de modelos de mejora de la voz (SE, por sus siglas en inglés) de front-end con representaciones de aprendizaje auto-supervisado (SSL, por sus siglas en inglés) (p. ej., wav2vec 2.0, HuBERT) ha demostrado ser eficaz para tareas downstream en entornos ruidosos. El enfoque estándar consiste en realizar un ajuste fino (fine-tuning) del modelo SE utilizando una pérdida de Error Cuadrático Medio (MSE) entre las representaciones SSL de la voz mejorada y la voz limpia (SSL-MSE). Sin embargo, este artículo identifica una limitación crítica: el objetivo MSE es propenso a explotar las incrustaciones posicionales (positional embeddings) inherentes a los modelos SSL. En lugar de aprender una similitud de contenido significativa, el proceso de optimización minimiza la pérdida a través de correlaciones posicionales. Este fenómeno, análogo al "colapso posicional" observado en el pre-entrenamiento SSL, reduce la generalización y la robustez del front-end de SE, particularmente en condiciones de ruido no vistas.

Metodología
El estudio investiga este problema a través de un marco de SE guiado por representaciones, donde un modelo SE pre-entrenado se ajusta para alinearse con las representaciones de un codificador SSL congelado. Para mitigar la explotación de las incrustaciones posicionales, se proponen y evalúan dos estrategias:

1. Perturbación Posicional mediante Relleno de Ceros Aleatorio (SSL-MSE-PAD):
   Adaptado del marco SPIRAL utilizado en el pre-entrenamiento SSL, este método introduce un relleno de ceros aleatorio a la forma de onda de referencia limpia antes de que pase por el codificador SSL. La longitud del relleno se muestrea aleatoriamente (2–5% de la duración de la señal) y se alinea con el tamaño de salto de fotogramas (frame hop size) del modelo SSL. Para mantener la alineación con la señal mejorada sin rellenar, se recorta un número equivalente de fotogramas de las representaciones SSL rellenadas antes de calcular el MSE. Esto interrumpe la alineación posicional absoluta, obligando al modelo a depender más del contenido.

2. Perturbación de Velocidad con Pérdida Soft-DTW (SSL-SoftDTW):
   Este enfoque combina la perturbación de velocidad (variar la velocidad de reproducción de la señal limpia) con una pérdida de Dynamic Time Warping suave (soft-DTW). A diferencia del relleno de ceros, la perturbación de velocidad introduce distorsiones temporales locales y continuas que simulan la variabilidad realista del tiempo del habla. Dado que las señales mejorada y la limpia perturbada difieren en longitud, el MSE estándar por fotograma es inaplicable. En su lugar, el soft-DTW —una extensión diferenciable de DTW utilizando un operador soft-min— alinea las secuencias basándose en el contenido en lugar de la posición absoluta. La pérdida se normaliza por la longitud de la secuencia para garantizar la estabilidad.

Configuración Experimental
Los experimentos utilizan el modelo de SE master64 (una red convolucional profunda en el dominio del tiempo) ajustado sobre un subconjunto de LibriSpeech (train-clean-100) aumentado con ruido y mezclado con ruido de interiores DEMAND. El backbone SSL es HuBERT-BASE. Los modelos SE ajustados son evaluados posteriormente integrándolos como front-ends para tareas downstream: Reconocimiento Automático del Habla (ASR) y Reconocimiento de Fonemas (PR), siguiendo el protocolo de referencia SUPERB. La evaluación incluye condiciones de ruido limpio, ruido visto (interiores) y ruido no visto (exteriores).

Resultados Clave

• Rendimiento Downstream: El enfoque SSL-SoftDTW superó consistentemente al baseline SSL-MSE y a la variante SSL-MSE-PAD. En las tareas de ASR, SSL-SoftDTW logró la menor Tasa de Error de Palabras (WER) en condiciones de ruido no visto (9.06% frente a 9.19% para SSL-MSE). Del mismo modo, para el Reconocimiento de Fonemas, SSL-SoftDTW produjo la mejor Tasa de Error de Fonemas (PER) (5.11% frente a 5.17% para SSL-MSE).
• Velocidad de Convergencia: Un hallazgo significativo es la tasa de convergencia. El enfoque SSL-SoftDTW convergió al nivel de rendimiento final del baseline SSL-MSE en aproximadamente 60k pasos, mientras que el baseline SSL-MSE requirió alrededor de 200k pasos.
• Limitaciones del Relleno de Ceros: Aunque SSL-MSE-PAD mostró una convergencia más rápida que el baseline, ofreció solo mejoras marginales de rendimiento. Los autores atribuyen esto a las discontinuidades artificiales introducidas por el relleno de ceros, que pueden interferir con la extracción de características SSL.

Significancia y Reivindicaciones
El artículo sostiene que la explotación de las incrustaciones posicionales es una limitación general en el ajuste fino basado en SSL que afecta negativamente la robustez de los front-ends de SE. La contribución principal es la demostración de que las estrategias de ajuste fino de invariancia posicional, específicamente aquellas que utilizan la alineación soft-DTW, pueden mejorar significativamente el rendimiento de las tareas downstream y la eficiencia del entrenamiento.

Crucialmente, los autores enfatizan que estas mejoras se lograron ajustando únicamente el módulo SE, sin modificar el codificador SSL ni las cabezas de las tareas downstream. Esto sugiere que mitigar la dependencia posicional a nivel de componente es suficiente para obtener ganancias medibles. El trabajo subraya la importancia de ir más allá de la simple alineación MSE en favor de objetivos basados en el contenido e invariantes a la posición cuando se integran modelos de SE con representaciones SSL. Se sugiere como trabajo futuro explorar la aplicación de estas técnicas durante la etapa de pre-entrenamiento SSL, que es computacionalmente costosa.