Resumen Técnico: Sistemas de Traducción Automática de Voz de KIT para IWSLT2025

Planteamiento del Problema

El artículo aborda los desafíos de construir sistemas de Traducción Automática de Voz (ST, por sus siglas en inglés) para lenguas de bajos recursos, centrándose específicamente en tres pares de lenguas: Bemba, Árabe Levantino del Norte y Árabe Tunecino hacia el inglés. Un obstáculo primordial en este dominio es la escasez de datos de entrenamiento de ST end-to-end (E2E) paralelos. Si bien los recursos de Reconocimiento Automático del Habla (ASR) y Traducción Automática (MT) son más accesibles, la falta de datos directos de ST dificulta el entrenamiento de modelos E2E robustos. Además, el artículo señala que los sistemas de ST de bajos recursos suelen sufrir de un uso desequilibrado de parámetros, lo que requiere estrategias de regularización efectivas para mejorar la generalización sin depender de recursos externos adicionales.

Metodología

Los autores proponen un marco integral que combina la aumentación de datos sintéticos, la regularización de modelos y estrategias de combinación de sistemas, construido sobre modelos preentrenados multilingües.

1. Aumentación de Datos Sintéticos

Para mitigar la escasez de datos, los autores exploran dos modalidades de aumentación distintas:

• ST aumentada mediante MT: Las traducciones se generan a partir de conjuntos de datos de ASR existentes utilizando modelos de MT entrenados para crear pares de ST sintéticos. Este enfoque se aplicó particularmente al Árabe Levantino del Norte, que carece de datos de entrenamiento de ST paralelos.
• ST aumentada mediante TTS: Los modelos de Texto a Voz (TTS) (específicamente E2TTS y VITS) se entrenan con datos de ASR para sintetizar voz a partir de conjuntos de datos de MT. Esto genera pares de habla-texto sintéticos para aumentar los datos de entrenamiento de ST, probándose principalmente en Bemba.

2. Regularización de Modelos (Intra-Destilación)

El estudio extiende la aplicación de la Intra-Destilación (ID), una técnica que ha tenido éxito previo en MT de bajos recursos, a las tareas de ASR, MT y ST. A diferencia de trabajos anteriores que combinan objetivos de tarea y pérdida de ID durante una única etapa de ajuste fino (fine-tuning), los autores emplean un enfoque de dos etapas:

1. Ajuste Fino Vanilla: Adaptar el modelo preentrenado a la tarea específica.
2. Ajuste Fino de ID: Regularizar el modelo adaptado utilizando sus propias predicciones intermedias.
   Esta estrategia tiene como objetivo retener los beneficios de la adaptación específica de la tarea mientras se desbloquea la robustez mediante la regularización.

3. Combinación de Sistemas

Los autores combinan sistemas en cascada (ASR + MT) y sistemas de ST end-to-end utilizando la decodificación de Riesgo Bayesiano Mínimo (MBR). Al tratar las hipótesis de ambos tipos de sistemas como pseudo-referencias y utilizar BLEU como función de utilidad, buscan aprovechar las fortalezas de ambas arquitecturas.

4. Modelos Preentrenados y Recursos

Los experimentos utilizan varios modelos preentrenados de última generación:

• SeamlessM4T: Un modelo multimodal y altamente multilingüe (v2 large).
• NLLB: Un modelo de MT multilingüe (1.3B de parámetros).
• MMS y XEUS: Modelos de ASR multilingües.
  Los autores aprovechan tanto los datos del conjunto de desarrollo como extensos recursos externos (incluyendo conjuntos de datos de LDC, Tatoeba, UFAL y datos conversacionales desarrollados internamente) bajo las condiciones de la pista sin restricciones (unconstrained track).

Resultados Clave

Los resultados experimentales a través de los tres pares de lenguas arrojan varios hallazjes significativos:

• Eficacia de los Datos Sintéticos:
  • Para el Árabe Levantino del Norte, un sistema entrenado únicamente con datos sintéticos (generados mediante aumentación de MT) superó ligeramente al sistema en cascada entrenado con datos reales, logrando una mejora de aproximadamente 1 punto BLEU.
  • Para el Bemba, los datos aumentados mediante TTS mejoraron el rendimiento de ST hasta en 1 punto BLEU. Sin embargo, para el Árabe Levantino del Norte, depender exclusivamente de datos generados por TTS resultó en un rendimiento inferior comparado con el sistema en cascada, debido al estado subdesarrollado del modelo TTS para ese dialecto específico.
• Regularización de Modelos: La intra-destilación (ID) mejoró consistentemente el rendimiento en las tareas de ASR, MT y ST para la mayoría de los modelos, produciendo una reducción de aproximadamente 1 punto en la Tasa de Error de Palabra (WER) para ASR y una ganancia de 1 punto BLEU para MT y ST. Se observó una excepción donde la ID afectó negativamente el rendimiento de ASR para los dialectos árabes.
• Combinación de Sistemas: Aplicar la decodificación MBR a sistemas individuales produjo mejoras mínimas o nulas. Sin embargo, combinar los sistemas en cascada y E2E mediante decodificación MBR resultó consistentemente en una mejora de aproximadamente 1.5 puntos BLEU.
• Varianza Específica de la Lengua: La efectividad de los modelos preentrenados y las estrategias de entrenamiento varió significamente entre lenguas. Por ejemplo, NLLB superó a SeamlessM4T en Bemba, mientras que lo contrario no fue necesariamente cierto para los dialectos árabes sin estrategias de ajuste fino específicas.

Significado y Reivindicaciones

El artículo afirma que su principal significancia radica en demostrar que la aumentación de datos sintéticos y la regularización de modelos son estrategias efectivas para mejorar la traducción automática de voz de bajos recursos sin requerir recursos del mundo real adicionales.

Específicamente, los autores concluyen:

1. Los datos sintéticos son prometedores para mejorar el rendimiento del modelo, siempre que los datos generados sean de una calidad razonable.
2. La regularización de modelos (específicamente la Intra-Destilación) es un enfoque generalizable que mejora el rendimiento en diferentes tareas (ASR, MT, ST) y modelos preentrenados.
3. Los enfoques específicos de cada lengua son críticos. Los hallazgos divergentes entre el Bemba y los dialectos árabes resaltan que una estrategia de "talla única" es insuficiente; la elección de los modelos preentrenados y las estrategias de entrenamiento debe adaptarse a las características específicas de la lengua y el corpus.

El trabajo refuerza la viabilidad práctica de aprovechar componentes separados de ASR y MT para construir sistemas en cascada y el potencial de los datos sintéticos para cerrar brechas donde los datos de ST paralelos son inexistentes.