Resumen Técnico: WorldSpeech: Un Corpus de Voz Multilingüe de Todo el Mundo

Declaración del Problema

Los sistemas de Reconocimiento Automático del Habla (ASR) actualmente funcionan de manera robusta en idiomas de alto recurso con abundantes datos emparejados de audio y transcripción. Sin embargo, la precisión se degrada drásticamente para la mayoría de los idiomas del mundo debido a la escasez de datos alineados con humanos disponibles públicamente. Las soluciones existentes enfrentan limitaciones significativas: los corpus generados por crowdsourcing como Common Voice ofrecen una cobertura amplia pero horas limitadas por idioma; las colecciones de audiolibros proporcionan volumen pero cubren pocos idiomas; y los conjuntos de datos a gran escala como MOSEL y YODAS dependen de pseudoetiquetas generadas por ASR en lugar de una verdad fundamental humana. Además, los enfoques existentes que aprovechan registros parlamentarios (por ejemplo, VoxPopuli, EuroSpeech) están en gran medida restringidos a Europa debido a las restricciones de acceso a datos en otras regiones y al fallo de las pipelines de alineación cuando los modelos ASR iniciales funcionan mal en idiomas de bajo recurso, lo que impide la recuperación de transcripciones de verdad fundamental.

Metodología

Los autores presentan WORLDSPEECH, un corpus de voz multilingüe construido mediante la extensión de la receta de alineación parlamentaria a emisoras internacionales, emisoras públicas nacionales y archivos de audiolibros de dominio público.

Recopilación y Estandarización de Datos

El corpus agrega datos de 79 fuentes distintas en 82 países, incluyendo procedimientos parlamentarios, transmisiones internacionales (por ejemplo, VOA, RFA, RFE/RL) y audiolibros de dominio público (por ejemplo, LibriVox, Aozora). La pipeline implica:

• Estandarización de Formato: Conversión de diversos formatos de audio (MP4, MP3, streams HLS) a mono de 24 kHz y de transcripciones (HTML, XML, DOCX, PDF, SRT) a texto plano.
• Extracción Robusta de Texto: Manejo de diseños complejos de PDF (por ejemplo, documentos Hansard de dos columnas) mediante renderizado de imágenes y recorte de columnas. Para scripts donde la extracción estándar falla (por ejemplo, Urdu Nastaliq, birmano), la pipeline emplea alternativas de OCR utilizando Tesseract y el motor de OCR neuronal Surya.
• Normalización: Aplicación de limpieza específica por idioma, como eliminar los harakat del árabe, normalizar los signos tonales para el cantonés y manejar el cambio de código en parlamentos multilingües mediante detección de idioma.

Pipeline de Alineación

El núcleo de la metodología es una estrategia de alineación de dos etapas, de grueso a fino, adaptada de EuroSpeech:

1. Segmentación: El audio de larga duración se segmenta en enunciados de 3 a 30 segundos utilizando Silero VAD.
2. Selección de ASR: Un estudio de ablación selecciona el modelo ASR óptimo (por ejemplo, Whisper-large-v3-turbo, MMS-1B con adaptadores o ajustes finos de la comunidad) para cada idioma basado en cuál maximiza la fracción de segmentos que superan un umbral de Tasa de Error de Caracteres (CER) < 0.3 en una muestra de 10 horas.
3. Emparejamiento Basado en CER: El sistema calcula el CER entre las hipótesis del ASR y los tramos candidatos en la transcripción humana. Los segmentos se retienen solo si el CER mínimo cae por debajo de 0.3. La salida del ASR se utiliza únicamente para la búsqueda, no como verdad fundamental.

Refinamiento Iterativo de la Alineación

Para abordar el problema de "arranque en frío" donde un rendimiento ASR inicial deficiente impide la alineación, los autores proponen un esquema de refinamiento iterativo:

1. Paso 1: Alinear el audio con las transcripciones utilizando el modelo ASR inicial.
2. Ajuste Fino: Ajustar finamente el modelo ASR en los segmentos alineados con éxito en el Paso 1.
3. Paso 2: Re-alinear el audio restante no alineado utilizando el modelo ajustado finamente.
   Este proceso recupera segmentos que inicialmente no coincidieron debido a alucinaciones o errores de script, aumentando las horas alineadas sin nueva recopilación de datos. Los autores encontraron que un tercer paso produce rendimientos decrecientes (+0.2% a +8.8%) en comparación con el segundo paso.

Contribuciones Clave

1. Corpus WORLDSPEECH: Un corpus disponible públicamente que contiene 64,970 horas de datos de audio-transcripción alineados en 76 idiomas. Es el primer corpus público que combina una cobertura amplia con una profundidad significativa, presentando:
   • 24 idiomas con >1,000 horas.
   • 28 idiomas con >500 horas.
   • 37 idiomas con >200 horas.
   • Cobertura de variantes regionales y dialectales (por ejemplo, francés quebequense, alemán austriaco, árabe bahreiní) a menudo ausentes en los conjuntos de datos existentes.
2. Técnica de Refinamiento Iterativo: Un método para aumentar el volumen de datos alineados entre un 19.5% y un 201.1% por idioma mediante el ajuste fino iterativo del ASR de alineación, beneficiando específicamente a los idiomas con un rendimiento ASR inicial débil (por ejemplo, birmano, lao, jemer).
3. Mejoras de Rendimiento: Demostración de que el ajuste fino de las estructuras base multilingües de ASR existentes sobre WORLDSPEECH reduce significativamente la Tasa de Error de Palabras (WER) en idiomas tipológicamente diversos.

Resultados

Los autores evaluaron el corpus ajustando finamente Whisper-large-v3-turbo en la división de entrenamiento de WORLDSPEECH y probando en puntos de referencia públicos (FLEURS) o conjuntos de prueba retenidos.

• Reducción de WER: El ajuste fino resultó en una reducción relativa promedio de WER del 63.5% en 11 idiomas tipológicamente diversos.
• Impacto en Bajo Recurso: Las ganancias más significativas se observaron en idiomas donde la WER de referencia cero (zero-shot) superó 1.0 (indicando más errores que palabras de referencia). Por ejemplo:
  • Samoano: WER reducida de 4.72 a 0.39 (−91.7%).
  • Lao: WER reducida de 2.47 a 0.76 (−69.4%).
  • Romanche: WER reducida de 1.31 a 0.17 (−87.5%).
• Escalado de Datos: Un estudio de ablación mostró que la WER disminuye monótonamente con las horas disponibles, con las mejoras más pronunciadas ocurriendo en las primeras 200 horas y rendimientos decrecientes más allá de las 500 horas.

Significado

El artículo posiciona a WORLDSPEECH como un recurso crítico para cerrar la brecha entre los datos alineados disponibles públicamente actuales y el volumen requerido para entrenar modelos ASR de alta precisión para idiomas de bajo recurso. Al proporcionar el primer corpus disponible públicamente que combina profundidad por idioma (con 24 idiomas que superan las 1,000 horas de datos etiquetados por humanos) con una amplia cobertura global (76 idiomas), WORLDSPEECH permite el entrenamiento y la evaluación de sistemas ASR para idiomas y dialectos previamente desatendidos. La estrategia de refinamiento iterativo ofrece además un método escalable para maximizar la utilidad de los archivos públicos existentes sin requerir esfuerzos adicionales de recopilación de datos.