Contrastive Regularization for Accent-Robust ASR

Resumen Técnico: Regularización Contrastiva para ASR Robusta a Acentos

Enunciado del Problema
Aunque los sistemas modernos de Reconocimiento Automático del Habla (ASR) que utilizan preentrenamiento acústico auto-supervisado y ajuste fino con Clasificación Temporal Conectiva (CTC) logran un rendimiento sólido en habla nativa, siguen siendo altamente sensibles a la variabilidad de acentos. Esta sensibilidad provoca una degradación sustancial del rendimiento en escenarios de habla no nativa, particularmente en entornos de recursos limitados o desplegados globalmente donde ocurren desviaciones sistemáticas de pronunciación respecto a las normas nativas. Las soluciones existentes a menudo dependen de una supervisión explícita de acento (por ejemplo, incrustaciones o clasificadores de acento) o de aumento de datos, lo cual puede no generalizarse bien a acentos no vistos o requerir modificaciones arquitectónicas.

Metodología
Los autores proponen integrar Aprendizaje Contrastivo Supervisado (SupCon) como un objetivo auxiliar ligero e independiente del modelo durante el ajuste fino CTC de codificadores acústicos auto-supervisados. El marco funciona de la siguiente manera:

1. Arquitectura: Un codificador acústico preentrenado auto-supervisado estándar (por ejemplo, wav2vec 2.0 o WavLM) procesa las formas de onda de entrada para producir representaciones a nivel de frame. Estas representaciones se comparten entre la tarea principal de ASR y la tarea contrastiva auxiliar.
2. Objetivo Principal: El modelo se entrena utilizando la pérdida CTC estándar ($L_{CTC}$) para mapear el habla a transcripciones.
3. Objetivo Auxiliar (SupCon):
   • Agregación de Representaciones: Las salidas del codificador a nivel de frame se agregan en representaciones a nivel de enunciado de dimensión fija ($u_i$) utilizando agrupación media enmascarada para excluir los frames rellenos.
   • Proyección: Estas representaciones se pasan a través de una cabeza de proyección ligera para producir incrustaciones normalizadas ($z_i$).
   • Pares Contrastivos: Los pares positivos se definen basándose en la identidad de la transcripción ($c_i$). Los enunciados que comparten la misma transcripción pero son hablados por diferentes locutores (y por lo tanto potencialmente con diferentes acentos) se tratan como positivos. No se requieren etiquetas explícitas de acento ni anotaciones adicionales; la propia transcripción sirve como señal de supervisión.
   • Función de Pérdida: Se aplica una pérdida contrastiva supervisada ($L_{SupCon}$) para minimizar la distancia entre las incrustaciones de la misma transcripción mientras se maximiza la distancia entre transcripciones diferentes.
4. Entrenamiento Combinado: La pérdida total es una suma ponderada: $L = L_{CTC} + \lambda_t L_{SupCon}$. Se emplea una estrategia de programación de pérdida donde el peso contrastivo $\lambda_t$ se incrementa gradualmente durante las primeras etapas del ajuste fino para estabilizar la optimización.
5. Inferencia: La cabeza de proyección y la pérdida contrastiva se descartan durante la inferencia; el sistema depende exclusivamente de la rama CTC para la decodificación.

Contribuciones Clave

1. Estrategia de Regularización Novel: La introducción de SupCon como una pérdida auxiliar para el ajuste fino de ASR basado en CTC, proporcionando un método independiente del modelo para mejorar la robustez a acentos sin modificar la arquitectura del codificador subyacente ni requerir supervisión explícita de acento.
2. Rendimiento de Vanguardia: Demostración de que una tubería CTC estándar mejorada con SupCon logra resultados de vanguardia en el benchmark L2-ARCTIC para reconocimiento de habla multi-acento.
3. Análisis Geométrico: Un análisis sistemático utilizando la dispersión coseno dentro de la transcripción para revelar cómo la regularización contrastiva remodela la geometría de las representaciones del codificador. El estudio muestra que SupCon promueve clusters de representación más compactos y estables para contenido lingüístico idéntico a través de diferentes locutores y acentos.

Resultados Experimentales
Los experimentos se realizaron en el benchmark L2-ARCTIC, que presenta habla en inglés de locutores no nativos de seis orígenes L1 (árabe, mandarín, hindi, coreano, español, vietnamita). La evaluación se realizó bajo dos configuraciones: Transcripción No Vista (UT) y Acento No Vista (UA).

• Mejoras de Rendimiento: El método propuesto redujo consistentemente la Tasa de Error de Palabras (WER) en múltiples codificadores preentrenados (wav2vec 2.0 y WavLM, en variantes base y grande).
  • Bajo la configuración de Acento No Vista (UA), se observaron las mejoras más significativas. Para el modelo wav2vec 2.0 Large, la WER disminuyó de 9.98% (solo CTC) a 7.41% (con SupCon), lo que representa una reducción relativa del 25.8%.
  • Bajo la configuración de Transcripción No Vista (UT), el modelo wav2vec 2.0 Large vio una reducción de 10.47% a 9.14% (mejora relativa del 12.7%).
• Estudios de Ablación: Los beneficios de SupCon fueron consistentes a través de diferentes escalas de modelos y estrategias de decodificación (codicia vs. decodificación con LM de 4-gramas). Las ganancias fueron generalmente más pronunciadas para wav2vec 2.0 que para WavLM, lo que sugiere que los objetivos de preentrenamiento más fuertes de WavLM pueden proporcionar ya una regularización implícita.
• Análisis de Representación: El análisis cuantitativo de la dispersión dentro de la transcripción mostró una reducción relativa del 17% en la dispersión coseno media (de 0.0518 a 0.0430) al utilizar SupCon. Esto indica que el modelo aprende representaciones más invariantes al contenido, agrupando los enunciados de la misma transcripción más estrechamente independientemente del acento del locutor.

Significado y Afirmaciones
El artículo afirma que SupCon ofrece una estrategia de regularización efectiva e independiente del modelo para mejorar la robustez a acentos en ASR. A diferencia de los métodos de adaptación específicos de acento que se degradan al encontrar acentos no vistos, el enfoque propuesto, invariante al acento, produce sus mayores ganancias en la configuración de Acento No Vista. Los autores enfatizan que estas mejoras se logran sin cambios arquitectónicos ni etiquetas explícitas de acento, confiando en cambio en la regularización geométrica de las representaciones del codificador. El trabajo sugiere que fomentar una geometría de representación compacta para transcripciones idénticas es un camino viable hacia sistemas de ASR multi-acento robustos y generalizables.