Swiss Parliaments Corpus Re-Imagined (SPC_R): Enhanced Transcription with RAG-based Correction and Predicted BLEU

1. Problema y Contexto

El desarrollo de sistemas de Reconocimiento Automático de Voz (ASR) para el alemán suizo (una variedad dialectal de bajo recurso) se ve obstaculizado por la escasez de datos de alta calidad.

• Limitaciones anteriores: El corpus original Swiss Parliaments Corpus (SPC) de Plüss et al. (2021) ofrecía 176 horas de audio, pero estaba segmentado a nivel de oraciones. Esto no es óptimo para escenarios del mundo real ni para entrenar modelos modernos de ASR que se benefician de contextos más largos.
• Desafíos específicos: La transcripción automática de debates parlamentarios suizos enfrenta errores en entidades nombradas (nombres propios, lugares, partidos) y desalineaciones entre el audio en dialecto y los protocolos oficiales en alemán estándar. Además, muchos conjuntos de datos existentes no son aptos para uso comercial o carecen de alineación perfecta.

2. Metodología

Los autores proponen un pipeline avanzado para transformar 801 horas de grabaciones de audio de larga duración (sesiones del Grosser Rat del cantón de Berna) en pares audio-texto de alta calidad. El proceso consta de cuatro etapas principales:

A. Transcripción Inicial con Whisper Large-v3

• Se utiliza el modelo Whisper Large-v3 bajo configuraciones de alto cómputo (high-compute settings): beam_size=10, best_of=10 y log_prob_threshold=-2.
• El procesamiento se realiza en GPUs NVIDIA A4500 (20 GB VRAM) con precisión float16 y un batch size de 8.
• Se extrae la métrica de confianza del modelo (avg_log_prob) para cada segmento, la cual servirá para predecir la calidad de la transcripción.

B. Predicción de BLEU (Predicted BLEU)

• Se establece una relación lineal entre la métrica de confianza de Whisper y la puntuación BLEU (calculada contra un ground truth manual).
• Mediante regresión lineal, se desarrolla un modelo para predecir la puntuación BLEU de un segmento basándose únicamente en la probabilidad logarítmica promedio del modelo, sin necesidad de tener una referencia manual.
• Esto permite filtrar automáticamente los segmentos de baja calidad antes de la corrección.

C. Corrección mediante LLM y RAG (Retrieval-Augmented Generation)

Para mitigar errores en entidades nombradas y mejorar la precisión semántica, se implementa un proceso de dos pasos con GPT-4o:

1. Fase de Corrección: GPT-4o recibe la transcripción cruda de Whisper y un contexto recuperado de los protocolos oficiales de la sesión parlamentaria.
   • Se utiliza RAG con Faiss y text-embedding-3-large para recuperar fragmentos relevantes de los resúmenes manuales oficiales (ventana deslizante de 600 caracteres con 450 de superposición).
   • El modelo corrige errores basándose en este contexto factual y reglas específicas del dialecto bernés.
2. Fase de Evaluación: Un segundo modelo, GPT-4o-mini, actúa como juez (Judge) para evaluar la corrección.
   • Clasifica los segmentos en categorías de calidad (desde "0: Sin contenido relevante" hasta "3: Completamente correcto").
   • Se fusionan las categorías para mejorar la fiabilidad (agrupando errores menores con aciertos perfectos).

D. Filtrado y Selección de Datos

• Se aplican dos filtros de calidad:
  1. Predicted BLEU: Se establece un umbral de 65 (basado en investigaciones previas que sugieren que >60 indica calidad superior al nivel humano general).
  2. Evaluación del Juez: Se seleccionan solo los segmentos evaluados como categoría 3 (correctos) o 2 (errores menores no críticos).
• Resultado final: De las 801 horas iniciales, se conservan 555 horas de alta calidad.

3. Contribuciones Clave

1. Nuevo Corpus de Largo Formato (SPC_R): Primera versión de larga duración del corpus SPC, con 555 horas de audio en alemán suizo alineadas con texto en alemán estándar, superando la limitación de oraciones sueltas del corpus original.
2. Pipeline de Corrección Híbrido: Integración exitosa de Whisper Large-v3, RAG con protocolos oficiales y corrección/evaluación mediante LLMs (GPT-4o y GPT-4o-mini).
3. Método de Predicción de Calidad: Uso de la métrica de confianza de Whisper para predecir el BLEU y filtrar datos sin necesidad de anotación manual masiva.
4. Mejora en Entidades Nombradas: La corrección con RAG elevó la precisión en entidades nombradas del 72.2% (Whisper solo) al 100% en la muestra evaluada.

4. Resultados Cuantitativos

• Reducción de la Tasa de Error de Palabras (WER): La combinación de configuraciones de alto cómputo y corrección con GPT-4o redujo el WER de 15.7% a 11.1% en datos de prueba manuales.
• Mejora en BLEU: Comparado con la versión original del corpus SPC (nivel oración), el nuevo conjunto de datos de largo formato logra una mejora de 6 puntos en BLEU.
• Distribución de Calidad: De 131,291 segmentos iniciales, el 69% (555 horas) pasó los filtros de calidad.
• Precisión del Juez: La categorización automática de GPT-4o-mini alcanzó una precisión del 92.2% tras fusionar las etiquetas de calidad.

5. Significado e Impacto

• Avance para ASR de Bajo Recurso: El SPC_R proporciona un conjunto de datos masivo y de alta calidad esencial para entrenar modelos de ASR robustos para el alemán suizo, un dialecto históricamente subrepresentado.
• Viabilidad Comercial y de Investigación: El corpus está disponible bajo licencia CC BY 4.0, permitiendo su uso comercial y de investigación, a diferencia de otros conjuntos de datos suizos restringidos.
• Metodología Reproducible: El enfoque demuestra que combinar ASR robusto, corrección basada en contexto (RAG) y filtrado impulsado por datos (Predicted BLEU) es una estrategia efectiva para crear corpus de habla de alta calidad sin depender exclusivamente de anotación manual costosa.
• Disponibilidad: El dataset y el código completo (incluidos los prompts) están disponibles públicamente en Hugging Face (i4ds/spc_r) y GitHub.

En conclusión, el trabajo presenta un marco metodológico sólido para la creación de corpus de habla de larga duración en dialectos de bajo recurso, demostrando que la corrección asistida por LLMs y el filtrado predictivo pueden superar significativamente las limitaciones de los modelos de transcripción automáticos estándar.