SloPal: A 60-Million-Word Slovak Parliamentary Corpus with Aligned Speech and Fine-Tuned ASR Models

Este artículo presenta SloPal, el corpus parlamentario eslovaco más completo hasta la fecha con 66 millones de palabras y un conjunto de datos de voz alineada de 2.806 horas, junto con modelos de Whisper ajustados que reducen la tasa de error de palabras en un 70% y acercan el rendimiento de un modelo pequeño al de uno grande con 6 veces menos parámetros.

Lo esencial

Imagina que el reconocimiento de voz (la tecnología que convierte lo que dices en texto) es como un chef experto que sabe cocinar millones de platos de todo el mundo. Sin embargo, si le pides que prepare un plato tradicional eslovaco, se queda mirando la receta con cara de confusión. ¿Por qué? Porque en su gran libro de recetas (los datos de entrenamiento), hay miles de páginas sobre comida inglesa o alemana, pero apenas hay un par de páginas sobre la cocina eslovaca.

Este paper, llamado SloPal, es como si un grupo de chefs decidiera: "¡Basta! Vamos a escribir el libro de recetas más completo de la historia para la cocina eslovaca".

Aquí te explico cómo lo hicieron, usando analogías sencillas:

1. El Gran Tesoro: La Biblioteca del Parlamento

En Eslovaquia, el gobierno graba y transcribe todo lo que se dice en el parlamento (el lugar donde los políticos debaten las leyes). Es como tener un gigantesco archivo de audio y texto que va desde el año 2001 hasta hoy.

• El problema: Tenían el audio y el texto, pero estaban desordenados. El audio duraba horas enteras (como una película de 3 horas sin cortes) y el texto era un bloque gigante. Las máquinas de reconocimiento de voz no pueden aprender bien con bloques tan grandes; necesitan "bocados" pequeños.
• La solución (SloPal): Los autores tomaron ese archivo gigante y lo organizaron. Crearon una base de datos masiva con 330.000 transcripciones separadas por quien habla (quién es el político, su cargo, la fecha). Es como tener una biblioteca donde cada libro está perfectamente etiquetado y ordenado.

2. El Puente Mágico: Alineando Audio y Texto (SloPalSpeech)

Tener el texto y el audio por separado no sirve para enseñar a una máquina a escuchar. Necesitas saber exactamente qué palabra se dijo en qué segundo del audio.

• El desafío: El audio del parlamento tiene pausas largas, gente hablando a la vez y grabaciones de horas. Las herramientas automáticas fallaban al intentar unir el audio con el texto.
• La analogía del "Ancla": Imagina que tienes dos mapas: uno del audio y otro del texto. Para unirlos, buscaron "palabras ancla". Es como si buscaran una frase famosa que apareciera en ambos mapas. Una vez encontraron esas palabras clave, usaron un sistema inteligente para decir: "Si esta palabra está aquí en el texto, y suena así en el audio, entonces todo lo que hay alrededor también coincide".
• El resultado: Crearon SloPalSpeech, un dataset de 2.806 horas de audio perfectamente cortado en trocitos de 30 segundos (el tamaño ideal para que las máquinas lo aprendan).

3. El Entrenamiento: De "Novato" a "Experto"

Tuvieron el "libro de recetas" (los datos), pero necesitaban entrenar al chef (el modelo de Inteligencia Artificial). Usaron un modelo famoso llamado Whisper (creado por OpenAI), que ya era bueno, pero no conocía bien el eslovaco.

• El proceso: Le dieron a Whisper miles de horas de discursos parlamentarios eslovacos para que estudiara. Fue como darle al chef miles de horas de práctica cocinando solo platos eslovacos.
• El milagro:
  • Antes de entrenarlo, el modelo cometía muchos errores (se confundía con palabras eslovacas).
  • Después de entrenarlo con SloPal, los errores bajaron hasta un 70%.
  • Lo más impresionante: Crearon una versión "pequeña" del chef (un modelo con menos "cerebro" o parámetros) que, gracias a este entrenamiento específico, cocina tan bien como la versión "gigante" original, pero usando 6 veces menos energía y memoria. Es como tener un Ferrari que consume gasolina de bicicleta.

4. ¿Por qué es importante esto?

Antes de este trabajo, el eslovaco era un idioma "pobre" en tecnología de voz. Si le pedías a Siri o a Google que entendiera un eslovaco hablando rápido, fallaban.

Con SloPal:

1. Democratizan la tecnología: Ahora cualquiera puede descargar estos datos y modelos gratis (como un kit de construcción abierto).
2. Investigación: Los historiadores y lingüistas pueden estudiar cómo ha cambiado el lenguaje político en Eslovaquia durante 20 años.
3. Aplicaciones reales: Se pueden crear asistentes de voz, subtítulos automáticos para noticias o herramientas de accesibilidad que realmente funcionen en eslovaco.

En resumen

Los autores tomaron un archivo de audio desordenado del parlamento eslovaco, lo limpiaron, lo cortaron en trozos perfectos y usaron esa "comida" para entrenar a una inteligencia artificial. El resultado es un sistema de reconocimiento de voz eslovaco que es mucho más preciso, más barato de usar y que está disponible para que todo el mundo lo use.

Es como si hubieran tomado un montón de ingredientes sueltos y, con mucha paciencia y una receta inteligente, hubieran creado el plato más delicioso que la tecnología eslovaca ha probado nunca.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "SloPal: A 60-Million-Word Slovak Parliamentary Corpus with Aligned Speech and Fine-Tuned ASR Models", traducido y adaptado al español:

1. El Problema

El eslovaco se considera un idioma de bajos recursos para el Reconocimiento Automático de Voz (ASR). A pesar de los avances en modelos multilingües como Whisper, la disponibilidad de datos de entrenamiento públicos para el eslovaco es extremadamente limitada (menos de 100 horas).

• Brecha de rendimiento: Los modelos de ASR de última generación muestran un rendimiento significativamente inferior en idiomas de bajos recursos (como el eslovaco) en comparación con idiomas de altos recursos (como el inglés o el alemán), con tasas de error de palabras (WER) que a menudo superan el 10-15% frente al 3-5% en idiomas ricos en datos.
• Falta de datos alineados: Existen corpus textuales, pero carecen de la alineación audio-transcripción necesaria para entrenar modelos de ASR modernos, especialmente aquellos optimizados para segmentos cortos (como los de Whisper).

2. Metodología

Los autores desarrollaron un pipeline completo para crear un corpus masivo y modelos ajustados:

A. Recolección de Datos (SloPal)

• Fuente: Se utilizaron los procedimientos parlamentarios de la República Eslovaca (2001-2024), disponibles públicamente en el MediaPortál y la Biblioteca Digital Parlamentaria Checa y Eslovaca.
• Corpus de Texto: Se recopilaron 330,000 transcripciones segmentadas por hablante, totalizando 66 millones de palabras y 220 millones de tokens.
• Procesamiento: Se extrajeron metadatos ricos (nombres, roles, fechas, tipo de sesión) y se limpiaron las transcripciones eliminando notas de los transcritores (entre paréntesis) y normalizando el formato.

B. Creación del Corpus de Voz Alineada (SloPalSpeech)

Dado que las segmentaciones originales del portal eran inexactas, se desarrolló un pipeline de alineación innovador:

1. Generación de Referencia: Se utilizó WhisperX para generar transcripciones aproximadas con marcas de tiempo a nivel de palabra a partir del audio.
2. Alineación Basada en Anclajes (Anchor-Based): Se implementó un algoritmo agnóstico al idioma que alinea la transcripción de referencia con la transcripción oficial (verdad fundamental). Identifica "anclajes" (palabras coincidentes dentro de una ventana de Levenshtein) para mapear los tiempos.
3. Segmentación: Se dividieron los datos en segmentos de hasta 30 segundos, optimizados para la arquitectura de Whisper.
4. Filtrado de Calidad: Se aplicó un umbral de WER (40%) para eliminar segmentos mal alineados o de baja calidad, resultando en un dataset final de 2,806 horas de audio alineado.

C. Ajuste Fino (Fine-Tuning)

• Se ajustaron cuatro variantes de Whisper (Small, Medium, Turbo y Large-v3) utilizando el dataset SloPalSpeech.
• Se utilizaron estrategias de entrenamiento específicas, como tasas de aprendizaje reducidas (40 veces menores que el pre-entrenamiento) y early stopping para evitar el olvido catastrófico y el sobreajuste, especialmente en el modelo Large-v3 que requirió configuración multi-GPU (FSDP).

3. Contribuciones Clave

1. SloPal (Corpus de Texto): El recurso lingüístico parlamentario eslovaco más completo hasta la fecha, con segmentación por hablante y metadatos detallados, útil para análisis de discurso y lingüística diacrónica.
2. SloPalSpeech (Corpus de Voz): El primer corpus de voz parlamentaria eslovaca dedicado, con 2,806 horas de audio alineado y segmentado, superando en escala a otros recursos eslavos recientes (como ParCzech4Speech).
3. Modelos ASR Optimizados: Liberación de cuatro modelos Whisper ajustados finamente, que demuestran que un modelo pequeño (244M parámetros) ajustado con datos parlamentarios puede igualar el rendimiento del modelo base Large-v3 (1.5B parámetros) con 6 veces menos parámetros.
4. Pipeline de Alineación: Un método agnóstico al idioma basado en anclajes que permite crear corpus alineados para cualquier idioma donde existan transcripciones oficiales y un modelo Whisper base, sin necesidad de entrenar un alineador forzado específico.

4. Resultados

Los modelos ajustados mostraron mejoras drásticas en las pruebas estándar (Common Voice 21 y FLEURS):

• Reducción de WER: El ajuste fino redujo la Tasa de Error de Palabras (WER) en un 65-70% para el modelo Small.
• Comparativa de Rendimiento:
  • El modelo Whisper Small ajustado alcanzó un WER de 10.6% en FLEURS, acercándose al rendimiento del modelo base Large-v3 (9.2%), a pesar de tener 6 veces menos parámetros.
  • El modelo Large-v3 ajustado logró un WER de 5.5% en FLEURS, superando a modelos propietarios de alto rendimiento como NVIDIA Canary-1B-v2 (6.82%) y Parakeet-TDT-0.6B-v3 (10.07%) en las pruebas eslovacas.
• Eficiencia: Se demostró que ~2,800 horas de datos de dominio específico benefician desproporcionadamente a los modelos más pequeños, haciéndolos ideales para despliegue práctico.

5. Significado e Impacto

• Superación de la barrera de bajos recursos: SloPal demuestra que los procedimientos parlamentarios son una fuente viable y masiva de datos para idiomas de bajos recursos, permitiendo cerrar la brecha de rendimiento con idiomas ricos en datos.
• Accesibilidad y Reproducibilidad: Todos los recursos (texto, audio alineado y modelos) se han liberado públicamente bajo licencias abiertas (CC BY 4.0 y MIT), proporcionando la base para futuras investigaciones en ASR eslovaco, análisis político y ciencias sociales computacionales.
• Escalabilidad: El método de alineación basado en anclajes ofrece una ruta escalable para crear corpus de voz alineados en otros idiomas eslavos y europeos donde existan registros parlamentarios transcritos pero sin datos de audio sincronizados.

En resumen, el trabajo transforma un recurso de dominio público (actas parlamentarias) en un ecosistema completo de datos y modelos que establece un nuevo estado del arte para el reconocimiento de voz en eslovaco.