English to Central Kurdish Speech Translation: Corpus Creation, Evaluation, and Orthographic Standardization

Resumen Técnico: Creación de Corpus, Evaluación y Estandarización Ortográfica para la Traducción de Voz al Kurdo Central

1. El Problema

El campo de la traducción automática de voz (Speech Translation) enfrenta una escasez crítica de recursos para lenguas de bajos recursos, específicamente para el Kurdo Central (CKB). Aunque existen dialectos del kurdo con millones de hablantes, la falta de corpus paralelos de voz-a-texto (S2TT) de alta calidad limita el desarrollo de modelos robustos. Además, el Kurdo Central sufre de una variabilidad ortográfica significativa (falta de estandarización en la escritura), lo que aumenta la dispersión de datos y degrada el rendimiento de los sistemas de traducción, ya que las variaciones superficiales de un mismo token se tratan como errores.

2. Metodología

Los autores proponen un enfoque integral que abarca la creación de datos, la limpieza y la estandarización, seguido de la evaluación de múltiples arquitecturas de traducción.

• Creación del Corpus (KUTED):

  • Se desarrolló KUTED (Kurdish TED), un corpus derivado de charlas de TED y TEDx.
  • Proceso de recolección: Se obtuvieron 1,696 charlas (170 horas de audio) con transcripciones en inglés y traducciones al Kurdo Central realizadas por una comunidad de voluntarios universitarios.
  • Alineación y Limpieza: Se implementó un proceso de cuatro pasos para alinear audio y texto (reajuste a nivel de charla, sub-oración y oración, y extracción de audio). Se utilizó un modelo ASR preentrenado (Seamless v2) para detectar y filtrar automáticamente archivos de audio desalineados o no en inglés, eliminando aproximadamente 4,000 muestras erróneas.
  • Estandarización Ortográfica: Se propuso un sistema sistemático en tres etapas para normalizar el texto kurdo:
    1. Normalización (N1): Corrección de Unicode, puntuación y unificación de números usando la herramienta AsoSoft.
    2. Corrección General (N2): Aplicación de una tabla de corrección con 19,700 pares de errores comunes.
    3. Corrección Específica (N3): Creación de una tabla personalizada basada en los tokens únicos del corpus KUTED, corrigiendo 11,860 pares de errores.
  • Resultado: Esta estandarización redujo el número de tokens únicos en un 50%, mitigando la dispersión de datos.

• Sistemas de Evaluación:
  Se evaluaron tres configuraciones distintas:

  1. Traducción Voz-a-Voz (S2TT) de Extremo a Extremo (E2E): Fine-tuning del modelo Seamless (arquitectura basada en W2V-BERT 2.0 y decodificador NLLB) sobre KUTED.
  2. Sistema en Cascada: Combinación de un modelo ASR (Seamless fine-tuned) seguido de un modelo de Traducción Automática (MT) NLLB (1.3B parámetros).
  3. Entrenamiento desde Cero: Entrenamiento de un modelo Transformer (Fairseq) exclusivamente con KUTED, sin componentes preentrenados para S2TT.

3. Contribuciones Clave

• KUTED: El primer corpus de traducción de voz al Kurdo Central de gran escala (91,000 pares de oraciones, 170 horas de audio), derivado de TED/TEDx.
• Marco de Estandarización: Una metodología sistemática para abordar la variabilidad ortográfica en el Kurdo Central, demostrando que la normalización del texto es crucial para mejorar el rendimiento de la traducción automática.
• Herramientas de Detección: Un método basado en ASR para identificar y filtrar automáticamente desalineaciones de audio en corpus de habla.
• Evaluación Exhaustiva: Análisis comparativo de modelos E2E, cascada y entrenamiento desde cero, proporcionando una línea base sólida para futuras investigaciones en Kurdo.

4. Resultados

• Impacto de la Estandarización: La estandarización ortográfica tuvo un efecto dramático. El modelo Seamless fine-tuned mejoró su puntuación BLEU en el conjunto de prueba KUTED de 11.34 (con solo normalización básica N1) a 15.18 (con la estandarización completa N3).
• Rendimiento del Modelo:
  • E2E (Seamless): Logró 15.18 BLEU en el conjunto de prueba KUTED y mejoró en 3.0 puntos BLEU en el benchmark externo FLEURS (de 9.36 a 12.50), demostrando buena generalización fuera del dominio.
  • Sistema en Cascada: El sistema combinado (ASR + MT) alcanzó 15.57 BLEU, superando ligeramente al modelo E2E y validando la hipótesis de que un ASR fuerte seguido de MT es efectivo para pares de idiomas de alto a bajo recurso.
  • Entrenamiento desde Cero: El modelo Fairseq entrenado solo con KUTED obtuvo 7.90 BLEU, lo que indica que, aunque el corpus es valioso, el tamaño actual es insuficiente para entrenar modelos robustos sin ayuda de preentrenamiento o datos adicionales.
• Traducción Texto-a-Texto (T2TT): El modelo NLLB fine-tuned alcanzó 16.72 BLEU (EN→CKB) y 27.93 BLEU (CKB→EN), estableciendo nuevas líneas base para la traducción de texto kurdo.

5. Significancia

Este trabajo es fundamental para la comunidad de Procesamiento de Lenguaje Natural (PLN) en lenguas de bajos recursos.

1. Demuestra la importancia de la estandarización: Evidencia que para lenguas con escritura no estandarizada, la limpieza y normalización de datos son tan críticas como la arquitectura del modelo.
2. Recursos Abiertos: Aunque los datos de audio no se pueden compartir públicamente por derechos de autor de TED, se publican las listas de IDs y las tablas de corrección ortográfica, permitiendo la reproducibilidad y el avance en la investigación kurda.
3. Validación de Metodologías: Confirma que los enfoques de cascada (ASR + MT) siguen siendo altamente competitivos frente a modelos E2E en escenarios de bajos recursos, y que el fine-tuning de modelos grandes (como Seamless) con datos de alta calidad y estandarizados produce mejoras sustanciales incluso en dominios no vistos (FLEURS).