Efficient ASR Training with Conversations that Never Happened

Resumen Técnico: Entrenamiento Eficiente de ASR con Conversaciones que Nunca Ocurrieron

Planteamiento del Problema
El Reconocimiento Automático del Habla (ASR) conversacional para lenguas de bajos recursos y dominios de nicho enfrenta un cuello de botella crítico: la escasez de datos de entrenamiento que coincidan con el dominio y sean multi-hablante. Aunque el modelado acústico profundo y el preentrenamiento auto-supervisado han avanzado significamente el ASR, estos avances dependen fuertemente de los datos. Los corpus existentes suelen fallar al no capturar todo el espectro de diversidad de hablantes, fenómenos del discurso y variación de temas presentes en las interacciones del mundo real. Los métodos tradicionales de aumentación de datos, como la perturbación de velocidad o el enmascaramiento, mejoran la robustez pero no pueden introducir nuevo contenido léxico, roles de hablante o estructuras conversacionales complejas. Además, aunque el Texto-a-Voz (TTS) neuronal permite la generación escalable de voz, las canalizaciones estándar carecen de control sobre los atributos del hablante y la dinámica de interacción multi-parte, fallando al simular la estructura temporal de un diálogo natural (por ejemplo, la toma de turnos, solapamientos e interrupciones).

Metodología
Los autores proponen una canalización unificada de tres etapas para generar audio conversacional multi-hablante sintético para la aumentación de ASR. Este enfoque integra Modelos de Lenguaje de Gran Escala (LLM), TTS y simulación de conversación:

1. Generación de Escenarios y Diálogos Basada en LLM: La canalización solicita a un LLM que genere un escenario que consiste en un tema ($t_k$) y metadatos de participantes ($M_k$), incluyendo edad, género, ocupación y rol conversacional. Condicionado por estos metadatos, el LLM genera un diálogo estructurado a nivel de turno donde cada enunciado se asigna a un índice de hablante específico.
2. Síntesis TTS Condicionada por Metadatos: Cada enunciado generado se sintetiza utilizando un modelo de TTS neuronal (xTTS-v2). Crucialmente, el sistema mapea los metadatos del hablante generados (edad y género) al perfil de voz de referencia más adecuado de un banco preexistente de segmentos de habla real. El algoritmo de selección elige la referencia con el género coincidente y la edad más cercana, asegurando la consistencia y diversidad del hablante.
3. Simulación de Conversación Consciente del Hablante: Los enunciados sintetizados se ensamblan en una única onda de audio conversacional. A diferencia de la simple concatenación, esta etapa utiliza un método de simulación consciente del hablante para modelar la dinámica temporal. Aplica desplazamientos entre turnos muestreados para simular pausas y solapamientos basados en si el hablante cambia o permanece igual, reproduciendo así la organización interaccional del habla espontánea sin requerir un modelo de TTS conversacional dedicado.

Contribuciones Clave

• Marco Unificado: Una canalización que combina la generación de escenarios mediante LLM, TTS condicionado por metadatos y simulación consciente del hablante para crear datos conversacionales sintéticos para ASR.
• Selección de Voz Condicionada por Metadatos: Un procedimiento que mapea explícitamente los atributos del hablante generados (edad/género) a perfiles de referencia de TTS, cerrando la brecha entre la generación de texto y el realismo acústico.
• Evaluación Comparativa: Una evaluación rigurosa de cinco familias contemporáneas de LLM (GPT, Claude Haiku, Gemini, Grok y Qwen) bajo un protocolo de aumentación compartido, evaluando el rendimiento de un solo generador, mezclas de presupuesto fijo y configuraciones de escalado.
• Validación Empírica: Evidencia que demuestra que las conversaciones sintéticas impulsadas por LLM y conscientes del hablante mejoran el rendimiento del ASR conversacional en húngaro en comparación con las bases sin aumentación y otros métodos de aumentación previos.

Resultados
Los experimentos se realizaron en el benchmark de diálogo BEA-Húngaro utilizando una receta de entrenamiento FastConformer-Large.

• Rendimiento de un Solo Generador: Las conversaciones sintéticas mejoraron consistentemente el rendimiento respecto al entrenamiento con datos reales únicamente. GPT-5.4 mini emergió como el generador único más fuerte, logrando una tasa de error de caracteres (cpCER) de 8.20 y una tasa de error de palabras (cpWER) de 17.75 a una escala de 500 conversaciones.
• Mezclas de Generadores: Bajo un presupuesto fijo de 500 conversaciones, mezclar generadores produjo retornos marginales o negativos si los generadores más débiles diluían la contribución de los más fuertes. La mejor mezcla de presupuesto fijo (GPT + Haiku) superó ligeramente al mejor generador único (17.56 cpWER vs. 17.75 cpWER).
• Escalado: Eliminar la restricción de presupuesto fijo reveló que escalar la cantidad de datos sintéticos provenientes de generadores de alto rendimiento producía mejoras adicionales. La mejor configuración combinó GPT, Haiku, Qwen y Grok, alcanzando 16.65 cpWER.
• Aumentación Combinada: El sistema más efectivo combinó el escalado de mejor generación por LLM (4 generadores) con conversaciones simuladas derivadas de enunciados reales (BEA-Large). Este enfoque híbrido logró un cpWER de 15.40 y un cpCER de 7.57.
• Comparación con Bases de Gran Escala: El sistema combinado, entrenado con solo 67 horas de conversación real más 636 horas de datos simulados, superó a un modelo zero-shot entrenado con 2,700 horas de habla húngara (que logró 16.27 cpWER).

Significancia y Reivindicaciones
El artículo afirma que los datos conversacionales generados por LLM, cuando se sintetizan con TTS y se estructuran mediante simulación consciente del hablante, sirven como un complemento práctico y eficiente para los corpus conversacionales reales. Los hallazgos sugieren que, para lenguas de bajos recursos, generar diálogos basados en escenarios con atributos de hablante controlados puede proporcionar un contexto de entrenamiento más relevante que el preentrenamiento acústico genérico a gran escala. Los autores enfatizan que la elección del generador y la composición de los datos son críticos; simplemente aumentar el volumen de datos o mezclar generadores arbitrarios no garantiza una mejora. En su lugar, la estrategia más efectiva implica escalar los generadores de alto rendimiento y combinarlos con simulaciones derivadas de enunciados reales para capturar tanto la diversidad lingüística como las propiedades acústicas naturales. Este enfoque ofrece una vía eficiente en recursos para entrenar sistemas de ASR conversacional robustos donde los datos etiquetados que coincidan con el dominio son escasos.