Resumen Técnico: Transferencia de Robustez Cross-Modal (CMRT)

Planteamiento del Problema

Los modelos de Traducción de Voz de Extremo a Extremo (E2E-ST) han logrado un rendimiento significativo, superando a menudo a los procesos en cascada de Reconocimiento Automático del Habla (ASR) y Traducción Automática (MT). Sin embargo, los modelos actuales se evalúan principalmente en conjuntos de datos curados y "limpios" (por ejemplo, MuST-C, CoVoST 2), los cuales no logran capturar la complejidad del habla no nativa y dialectal del mundo real. Específicamente, estos modelos carecen de robustez ante las variaciones morfológicas inflexionales (por ejemplo, conjugaciones verbales o declinaciones nominales incorrectas) comunes en el habla espontánea de hablantes no nativos.

Aunque el entrenamiento adversarial utilizando datos de texto sintéticos ha mejorado la robustez en la Traducción Automática Neuronal (NMT), la aplicación de técnicas similares a E2E-ST se ve obstaculizada por el costo computacional prohibitivo y la dificultad técnica de generar datos de habla adversariales de alta calidad. La síntesis de audio adversarial mediante Text-to-Speech (TTS) introduce artefactos acústicos y requiere modelos de TTS de alta fidelidad para cada idioma de origen, lo que crea una barrera significativa para entrenar sistemas de habla robustos.

Metodología

Los autores proponen la Transferencia de Robustez Cross-Modal (CMRT), un marco diseñado para transferir la robustez adversarial del modo de texto al modo de habla, eliminando la necesidad de datos de habla adversariales durante el entrenamiento. El método opera bajo la hipótesis de que si las representaciones de habla y texto están suficientemente alineadas en un espacio semántico compartido, la sensibilidad del modelo a las perturbaciones en una modalidad puede mitigarse utilizando la otra.

El enfoque consta de dos etapas primarias:

1. Alineación Semántica (CMRT-TR)

La primera etapa se centra en cerrar la brecha de modalidad para crear un espacio latente compartido donde las incrustaciones (embeddings) de habla y texto estén altamente correlacionadas. Esto implica:

• Arquitectura: Un modelo E2E-ST estándar que comprende un codificador de habla (HuBERT o mHuBERT), una capa de incrustación de texto y un codificador-decodificador de traducción.
• Aprendizaje Contrastivo con Alineación de Palabras (WACO): Utilizando la alineación forzada entre el habla y el texto, el modelo maximiza la similitud de coseno entre las incrustaciones de palabra a nivel de palabra de habla y texto correspondientes.
• Entrenamiento de Mixup: El modelo se entrena en una mezcla de incrustaciones de habla y texto para palabras individuales. Esto familiariza al codificador-decodificador de traducción con la recepción de entradas de modalidad mixta, un prerrequisito para la subsecuente transferencia de robustez.
• Funciones de Pérdida: El objetivo de entrenamiento combina la pérdida de Traducción de Voz (ST), la pérdida de Traducción Automática (MT), la Pérdida Contrastiva (WACO) y la Entropía Cruzada sobre entradas de mixup, regularizada por la divergencia de Kullback-Leibler (KL) simétrica para alinear las distribuciones de salida.

2. Ajuste Fino de Robustez (CMRT-FN)

En la segunda etapa, el modelo se ajusta para manejar perturbaciones adversariales sin generar nuevo audio.

• Speech-MORPHEUS: Los autores adaptan el marco MORPHEUS (originalmente para texto) para generar ejemplos adversariales de inflexión. Esta herramienta reemplaza palabras con alternativas morfológicamente incorrectas pero semánticamente plausibles (por ejemplo, cambiar "felicidad" por "feliz" en un contexto que requiere un sustantivo).
• Adversarial Mixup: En lugar de sintetizar habla adversarial, el método inyecta incrustaciones de texto adversariales directamente en el espacio de variedades (manifold) del habla. El codificador de habla se congela para preservar la alineación aprendida en la Etapa 1.
• Estrategia de Entrenamiento: Durante el ajuste fino, el modelo recibe entradas de habla limpias, pero se le obliga a procesar incrustaciones de texto adversariales para palabras específicas identificadas por el ataque. El modelo aprende a mapear estas representaciones de texto adversariales a la traducción correcta.
• Divergencia KL Asimétrica: La función de pérdida utiliza la divergencia KL asimétrica para minimizar la diferencia entre la distribución de salida de la mezcla adversarial y las distribuciones de entrada limpia (tanto de habla como de texto), entrenando efectivamente al modelo para ser invariante al ruido.

Contribuciones Clave

1. Speech-MORPHEUS: Una adaptación de la técnica adversarial MORPHEUS al dominio del habla. Los autores demuestran que los modelos E2E-ST de última generación son altamente vulnerables a las variaciones inflexionales, con una caída significativa en el rendimiento cuando se prueban en estos ejemplos adversariales.
2. Transferencia de Robustez Cross-Modal (CMRT): Un nuevo paradigma de ajuste fino que transfiere la robustez del texto al habla. Al inyectar perturbaciones de texto adversariales en un espacio latente compartido, el método mejora significativamente el rendimiento de E2E-ST en entradas no estándar sin requerir datos de habla adversariales.
3. Alineación de Modalidad para la Robustez: El trabajo establece que la combinación de aprendizaje contrastivo (WACO) y entrenamiento de mixup crea la alineación semántica más fuerte entre el habla y el texto, lo cual es un prerrequisito crítico para una exitosa transferencia de robustez cross-modal.

Resultados Experimentales

Los autores evaluaron CMRT en cuatro pares de idiomas: Inglés-Alemán (En-De), Inglés-Catalán (En-Ca), Inglés-Árabe (En-Ar) y Francés-Inglés (Fr-En) utilizando el conjunto de datos CoVoST 2.

• Mejora de la Robustez: CMRT-FN mejoró la robustez adversarial en un promedio de 3.4 puntos BLEU comparado con el baseline HuBERT-Transformer, y 3.1 puntos BLEU comparado con el modelo alineado CMRT-TR.
• Comparación con el Habla Sintética: Aunque el ajuste fino con 50k ejemplos de habla adversarial sintética (TTS-Morpheus-FN) produjo una robustez ligeramente mayor (aprox. 1.4 puntos BLEU mejor que CMRT-FN), resultó en una caída significativa de rendimiento (aprox. 3.6 puntos BLEU) en el conjunto de prueba limpio original. En contraste, CMRT-FN mantuvo un rendimiento competitivo en el conjunto de prueba limpio, con solo una caída marginal (0.6 puntos BLEU) respecto a su baseline alineado.
• Eficiencia: El enfoque CMRT evita la carga computacional de generar audio adversarial a gran escala. La etapa de ajuste fino (CMRT-FN) requirió solo 1/8 del tiempo de la etapa de entrenamiento inicial, mientras que generar los datos equivalentes de TTS era significativamente más lento.
• Análisis de Representación: El análisis de Alineación de Núcleo Centrado (CKA) reveló que las representaciones internas del modelo CMRT-FN convergen hacia las de los modelos entrenados con habla adversarial real, confirmando que la robustez se transfiere efectivamente a través del espacio latente compartido.

Significado y Reivindicaciones

El artículo afirma que CMRT establece un nuevo estándar para la robustez de E2E-ST al superar el compromiso "robustez-precisión" que se observa a menudo al entrenar con datos sintéticos. Los autores aseguran que su método aborda eficazmente la vulnerabilidad de los modelos de traducción de voz ante errores morfológicos sin los costos prohibitivos asociados con la generación de audio adversarial.

La importancia radica en demostrar que la robustez adversarial puede transferirse entre modalidades a través de espacios latentes compartidos. Al aprovechar la relativa facilidad de generar texto adversarial y el poder de la alineación semántica, el método proporciona una solución escalable para mejorar la fiabilidad en el mundo real de los sistemas de traducción de voz, particularmente para hablantes no nativos.

Limitaciones

Los autores reconocen dos limitaciones principales:

1. Complejidad de Entrenamiento: El método requiere un proceso de entrenamiento de dos etapas (alineación seguida de ajuste fino), lo que aumenta la complejidad del flujo de entrenamiento en comparación con los enfoques de una sola etapa.
2. Compromiso de Alineación: En algunas direcciones lingüísticas (En-X), la etapa de alineación inicial (CMRT-TR) resultó en un rendimiento ligeramente inferior en el conjunto de prueba limpio de CoVoST 2 en comparación con el baseline estándar de HuBERT-Transformer. Los autores planean investigar este efecto negativo en trabajos futuros.