Scaling Conversational Hungarian ASR: The BEA-Dialogue+ Corpus

Resumen Técnico: Escalamiento del ASR de húngaro conversacional con el corpus BEA-Dialogue+

Planteamiento del problema
El Reconocimiento Automático del Habla (ASR) conversacional para el húngaro está actualmente limitado por la escasez de datos de entrenamiento de estilo diálogo disponibles públicamente. Si bien el corpus existente BEA-Dialogue aborda la necesidad de datos conversacionales, su estricto criterio de diseño —que requiere una total disjunción de hablantes entre los conjuntos de entrenamiento, validación y evaluación— limitó severamente el tamaño utilizable del conjunto de datos a solo 85 horas. Esta reducción es particularmente desventajosa para los sistemas de ASR modernos basados en redes neuronales, que dependen fuertemente tanto del volumen como de la diversidad de los datos de entrenamiento para lograr un alto rendimiento. Los autores postulan que existe un compromiso entre mantener una separación estricta de datos para evitar la filtración (leakage) y expandir el conjunto de datos para mejorar el entrenamiento del modelo, un equilibrio que no había sido explorado sistemáticamente para el ASR de diálogo en húngaro.

Metodología
Para abordar esta limitación, los autores introdujeron BEA-Dialogue+, una versión expandida del corpus derivada de las grabaciones originales de la base de datos BEA. El cambio metodológico central implica relajar la restricción de disjunción de hablantes:

• Criterios de división: Mientras que el BEA-Dialogue original aseguraba que ningún hablante apareciera en múltiples divisiones, BEA-Dialogue+ mantiene una separación estricta solo para los hablantes primarios (los informantes principales). Permite que los experimentadores y los compañeros de diálogo aparezcan en diferentes divisiones (entrenamiento, desarrollo, evaluación), siempre que el hablante primario de una grabación no se solape.
• Procesamiento de datos: El corpus consiste en conversaciones naturales segmentadas en unidades de aproximadamente 30 segundos. Los autores utilizaron el Entrenamiento de Salida Serializada (SOT) para el entrenamiento del modelo, donde los cambios de hablante se marcan explícitamente con un token <sc>. Esto permite al modelo reconocer los límites de los hablantes mientras preserva la integridad lingüística de las elocuciones, incluso durante los solapamientos.
• Configuración experimental: El estudio comparó varios modelos, incluyendo arquitecturas Whisper (medium, large-v2, large-v3) y FastConformer. Los modelos fueron evaluados en dos configuraciones: zero-shot (solo pre-entrenados) y ajustados (fine-tuned, ft) sobre los datos en húngaro. Las métricas de evaluación incluyeron la Tasa de Error de Palabra (WER), la Tasa de Error de Carácter (CER) y sus variantes específicas de diálogo (cpWER y cpCER), que minimizan los errores sobre permutaciones de unidades delimitadas por hablantes. La precisión de cambio de hablante (scAcc) también se midió para los modelos ajustados.

Contribuciones clave

1. Corpus BEA-Dialogue+: El lanzamiento de un corpus de habla conversacional en húngaro de 200 horas (un incremento de ~2.5x sobre las 85 horas originales). Este conjunto de datos preserva la separación de los hablantes primarios mientras aumenta significativamente el volumen de material de entrenamiento utilizable.
2. Análisis cuantitativo de la relajación de la división: Una comparación detallada entre BEA-Dialogue y BEA-Dialogue+, demostrando que relajar las restricciones de división aumenta la complejidad de la tarea. El nuevo corpus contiene menos segmentos con cero o un cambio de hablante y una mayor frecuencia de habla superpuesta, lo que lo convierte en un benchmark más desafiante.
3. Benchmarking unificado: Una evaluación exhaustiva de los modelos Whisper y FastConformer bajo un protocolo unificado, analizando específicamente el impacto del ajuste fino basado en SOT para la transcripción de diálogos.
4. Investigación de compromisos (trade-offs): Un análisis del compromiso entre el aumento del volumen de datos y el riesgo de solapamiento de hablantes (filtración de datos), proporcionando evidencia empírica sobre cómo estos factores influyen en el rendimiento del modelo.

Resultos

• Rendimiento Zero-Shot: Los modelos sin ajuste fino se desempeñaron significativamente peor en BEA-Dialogue+ en comparación con el BEA-Dialogue original, mostrando una degradación relativa de al menos un 10% en las tasas de error. Los autores atribuyen esto a la mayor complejidad del nuevo corpus, específicamente a la mayor frecuencia de cambios de hablante y habla superpuesta, lo que desafía a los modelos que carecen de información de límite explícita.
• Rendimiento de Ajuste Fino (Fine-Tuned): El ajuste fino produjo mejoras consistentes en todas las métricas (WER, CER, cpWER, cpCER). Notablemente, los modelos FastConformer pre-entrenados en húngaro y luego ajustados alcanzaron los mejores resultados, superando incluso a los modelos Whisper.
• Impacto del Solapamiento: Aunque el corpus expandido introdujo el solapamiento de hablantes (potencial filtración de datos), los resultados sugieren que las ganancias de rendimiento en los modelos ajustados no se deben únicamente a esta filtración. Los modelos mostraron una mejora particular en segmentos complejos con múltiples cambios de hablante, indicando que el aumento en el volumen de datos permitió una mejor adaptación a las estructuras de diálogo.
• Correlación de Métricas: El estudio observó que cpWER y cpCER fueron consistentemente más bajos que el WER/CER estándar, con la brecha ampliándose para los modelos ajustados. Además, scAcc (precisión de cambio de hablante) se correlacionó con la dificultad de la tarea; a medida que aumentaba el número de cambios de hablante, la scAcc disminuía, reflejando la dificultad inherente de la tarea más que un simple fallo del modelo.

Significación
El artículo afirma que BEA-Dialogue+ proporciona un benchmark sustancialmente más grande pero igualmente exigente para el ASR de diálogo en húngaro. Sirve como un recurso práctico para entrenar y evaluar sistemas de transcripción de diálogo, demostrando que relajar las restricciones estrictas de disjunción de hablantes puede generar beneficios significativos en el volumen de datos sin que el benchmark se vuelva trivial. Los autores concluyen que, si bien el corpus expandido presenta una tarea más difícil para los modelos pre-entrenados, permite un entrenamiento más efectivo para los sistemas ajustados, resaltando el valor del entrenamiento continuo específico para el diálogo. El corpus tiene como objetivo apoyar la investigación futura en IA conversacional y ASR en húngaro, con la salvedad de que el alcance preciso de los efectos de la filtración de datos requiere mayor investigación mediante conjuntos de evaluación independientes.