Resumen Técnico: Hacia la Traducción de Voz con Cambio de Código de Alta Granularidad con Alineación del Espacio Semántico

Enunciado del Problema

La traducción de voz con cambio de código (CS) implica traducir voz que alterna entre múltiples idiomas a un texto en un idioma objetivo. Esta tarea enfrenta dos desafíos principales:

1. Complejidad del Modelado Semántico: La alternancia de idiomas introduce requisitos complejos de modelado semántico, lo que dificulta que los modelos capturen representaciones efectivas a partir de la voz con cambio de código.
2. Escasez de Datos: Los conjuntos de datos de traducción de voz con cambio de código de alta calidad y a gran escala son limitados y difíciles de construir. Los enfoques anteriores a menudo dependen de anotaciones manuales costosas o datos sintéticos, que adolecen de cambios de código poco naturales e inconsistencias gramaticales.

Si bien los Modelos de Lenguaje Grandes (LLM) han demostrado ser prometedores en tareas multimodales, estudios existentes indican que exhiben capacidades multilingües limitadas en datos con cambio de código en comparación con datos monolingües. Además, la investigación actual sobre LLM en contextos de cambio de código se centra principalmente en la traducción automática (MT), dejando su potencial en la traducción de voz con cambio de código en gran parte inexplorado.

Metodología

Los autores proponen un marco que mejora los LLM con un proyector de voz de Mezcla de Expertos (MoE) y un paradigma de entrenamiento multi-etapa para abordar las brechas semánticas y la escasez de datos.

1. Arquitectura del Modelo

El marco consta de tres componentes principales:

• Codificador de Voz: Extrae características de la voz de entrada (por ejemplo, utilizando Whisper-large-v3).
• Proyector de Voz MoE: Conecta el codificador de voz con el LLM. A diferencia de un proyector compartido único, este módulo organiza a los expertos en grupos conscientes del idioma. Para un escenario que involucra $m$ idiomas, hay $m$ grupos de expertos, cada uno conteniendo $n$ expertos. Un enrutador disperso asigna dinámicamente los tokens de voz a expertos específicos dentro del grupo de idioma apropiado.
• Modelo de Lenguaje Grande (LLM): Procesa el prompt concatenado y las representaciones de voz alineadas para generar la traducción (por ejemplo, Llama-3-8B-Instruct).

2. Paradigma de Entrenamiento Multi-Etapa

Para mitigar la escasez de datos y asegurar una adaptación de dominio fluida, los autores introducen un proceso de entrenamiento de cuatro etapas:

• Etapa 1 (Pre-entrenamiento de ASR): Los proyectores individuales basados en MLP se pre-entrenan para cada idioma utilizando datos de Reconocimiento Automático de Voz (ASR) de alto recurso para alinear las modalidades de voz y texto.
• Etapa 2 (Construcción y Especialización de MoE): Los proyectores pre-entrenados inicializan los grupos de expertos. Se inserta un enrutador y el modelo se entrena utilizando:
  • Pérdida de Entropía Cruzada ($L_{ce}$): Objetivo estándar de traducción/reconocimiento.
  • Pérdida Específica del Idioma ($L_{lang}$): Supervisa explícitamente el enrutamiento de tokens al grupo de expertos del idioma correcto (utilizando etiquetas oráculo disponibles en datos de ASR monolingües).
  • Pérdida de Equilibrio de Carga Intragrupo ($L_{balance}$): Fomenta una distribución equilibrada de tokens entre los expertos dentro del mismo grupo de idioma para evitar la sobredependencia de un subconjunto de expertos.
• Etapa 3 (Transición a ST Monolingüe): El modelo transita de ASR a datos de Traducción de Voz (ST) monolingüe. Se utiliza una Pérdida de Transición ($L_{transition}$) para mezclar suavemente los datos de ASR y ST, cerrando la brecha de tarea entre reconocimiento y traducción.
• Etapa 4 (Adaptación a CS): El modelo se adapta a datos de traducción de voz con cambio de código. La pérdida de transición se aplica nuevamente para mezclar datos de ST monolingüe y datos de ST con cambio de código. En esta etapa, se excluyen $L_{lang}$ y $L_{balance}$, ya que las etiquetas de idioma oráculo para tokens individuales no están disponibles en los datos con cambio de código.

Contribuciones Clave

1. Primera Exploración de LLM en CS-ST de Extremo a Extremo: El trabajo representa la primera exploración de Modelos de Lenguaje Grandes para la traducción de voz con cambio de código de extremo a extremo, proporcionando resultados de referencia para investigaciones futuras.
2. Proyector de Voz MoE: Una arquitectura novedosa que permite el modelado de alta granularidad de características de voz de diferentes idiomas al organizar a los expertos en grupos específicos del idioma, mejorando la captura de distinciones semánticas en la voz con cambio de código.
3. Paradigma de Entrenamiento Multi-Etapa: Una estrategia novedosa que aprovecha los datos de ASR y ST monolingüe disponibles para guiar al modelo a través de la alineación voz-texto y la adaptación gradual a escenarios con cambio de código, mitigando eficazmente la escasez de datos de cambio de código de alta calidad.
4. Validación Empírica: Experimentos extensos validan la efectividad del modelo, con análisis en profundidad que proporcionan información sobre las contribuciones de la arquitectura MoE, las funciones de pérdida y las etapas de entrenamiento.

Resultados Experimentales

El enfoque se evaluó en los conjuntos de datos Fisher (inglés-español) y NTUML2021 (chino-inglés), comparando contra líneas base como Whisper, SeamlessM4T y pipelines en cascada Whisper+LLaMA.

• Mejoras de Rendimiento: El modelo propuesto logró resultados del estado del arte, superando la sólida línea base SeamlessM4T.
  • Mejoras Promedio: +0.86 BLEU y +0.93 COMET en los conjuntos de prueba.
  • Mejoras Máximas: +1.49 BLEU y +1.41 COMET en conjuntos de prueba específicos.
  • Puntuaciones Específicas: En el conjunto de prueba CS de NTUML2021, el modelo logró 39.52 BLEU y 81.33 COMET, superando a la siguiente mejor línea base (SeamlessM4T con 38.03 BLEU / 79.93 COMET).
• Generalización: El modelo también demostró un rendimiento competitivo o superior en datos de ST monolingüe, indicando robustez tanto en escenarios monolingües como con cambio de código.
• Estudios de Ablación: Eliminar el proyector MoE, la pérdida específica del idioma, la pérdida de equilibrio de carga o las etapas de transición resultó en caídas significativas del rendimiento, confirmando la necesidad de cada componente.
• Análisis de Enrutamiento: Los experimentos mostraron que el enrutador dirige con éxito más del 95% de los tokens en inglés y español (y >80% de los tokens en chino) a sus grupos de expertos de idioma correspondientes, validando la alineación del espacio semántico.

Significado y Afirmaciones

El artículo afirma que al abordar explícitamente la brecha del espacio semántico entre idiomas mediante un proyector MoE consciente del idioma y superar la escasez de datos a través de un paradigma de entrenamiento multi-etapa estructurado, es posible mejorar significativamente la calidad de la traducción de voz con cambio de código. El trabajo establece una nueva línea base para CS-ST de extremo a extremo basada en LLM y demuestra que un diseño arquitectónico cuidadoso y estrategias de utilización de datos pueden superar las limitaciones del aprendizaje implícito y la escasez de datos en este dominio desafiante. El trabajo futuro tiene como objetivo extender el modelo a más pares de idiomas y tareas relacionadas como ASR y MT.