LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering

Resumen Técnico: LuxSQA

Planteamiento del Problema

Los sistemas de Respuesta a Preguntas Habladas (SQA, por sus siglas en inglés) han dependido históricamente de lenguas con altos recursos y de corpora de habla cuidadosamente grabados, lo que limita su aplicabilidad en entornos de bajos recursos. Los enfoques de cascada tradicionales (ASR seguido de QA basado en texto) sufren de propagación de errores cuando la salida del Reconocimiento Automático del Habla (ASR) es ruidosa y descartan pistas prosódicas esenciales para la localización de la respuesta. Aunque las arquitecturas recientes de speech-LLM ofrecen soluciones de parámetros eficientes al conectar codificadores de habla congelados a Grandes Modelos de Lenguaje (LLMs) mediante proyectores ligeros, estos sistemas aún requieren datos de entrenamiento específicos para la tarea de gran escala. Para lenguas de bajos recursos como el luxemburgués, la escasez de corpora de QA grabados por humanos representa una barrera significativa para el desarrollo de sistemas SQA robustos. Este artículo investiga si la aumentación mediante Texto-a-Voz (TTS) puede cerrar esta brecha, abordando específicamente si el habla sintética puede servir como datos de entrenamiento efectivos sin requerir grabaciones humanas a gran escala, y qué tan sensibles son los sistemas resultantes a la calidad del TTS, la diversidad de voces y el tamaño del corpus.

Metodología

Pipeline de Construcción de Datos

Los autores construyeron un conjunto de datos de SQA en luxemburgués aprovechando recursos existentes basados en texto:

1. Traducción de la Fuente: Preguntas en inglés del corpus SQuAD v1.1 fueron traducidas al luxemburgués utilizando el modelo TranslateGemma 12B Instruct.
2. Síntesis: Las preguntas de texto traducidas se convirtieron en audio hablado utilizando múltiples sistemas de TTS:
   • MMS-TTS: El sistema de habla masivamente multilingüe de Meta.
   • Qwen3-TTS: Soporta CustomVoice (CV) para clonación y VoiceDesign (VD) para generación.
   • OmniVoice: Un modelo de TTS zero-shot que soporta más de 600 idiomas, ofreciendo también modos de CV y VD.
3. Corpora: El estudio utilizó un corpus de fuente única de aproximadamente 48k preguntas (SQuAD-LB-TTS) y una mezcla de múltiples fuentes "4TTS mix" que combina variantes de Qwen3-TTS y OmniVoice para crear un conjunto de datos de aproximadamente 230k preguntas.
4. Conjuntos de Evaluación: El rendimiento se evaluó en LLAMA-LB-Test, un conjunto de 300 preguntas donde las preguntas en luxemburgués fueron traducidas por humanos y grabadas por dos hablantes nativos (Hablante 1 y Hablante 2), proporcionando condiciones de evaluación del mundo real.

Arquitectura del Modelo

El sistema emplea una arquitectura de estilo SLAM de parámetros eficientes:

• Codificador de Habla: Un codificador Whisper-large-v3-turbo congelado procesa la entrada de audio.
• Proyector: Un proyector lineal reduce la frecuencia de muestreo de los embeddings a nivel de frame (por un factor de $k=5$) y los mapea al espacio de embeddings de tokens del LLM.
• Backend de LLM: LLMs multilingües congelados (EuroLLM-9B o Apertus-8B) sirven como motor de generación.
• Adaptación: Solo se entrenan el proyector y los adaptadores LoRA (rango $r=16$, escala $\alpha=16$). El modelo se optimiza para mapear preguntas habladas directamente a respuestas textuales utilizando pérdida de entropía cruzada, operando en un régimen de seguimiento de instrucciones de habla en lugar de una transcripción pura.

Estrategias de Entrenamiento

Los autores compararon varias configuraciones de entrenamiento:

• Fuente única: Entrenamiento con datos de un motor TTS específico (ej. MMS-TTS, Qwen-VD, Omni-C).
• Multi-fuente: Entrenamiento con la mezcla combinada 4TTS mix.
• Inicialización: Comparación de entrenamiento desde cero frente a la inicialización desde un checkpoint adaptado para ASR (entrenado con datos de LuxASR).

Métricas de Evaluación

Dada la riqueza morfológica del luxemburgués y la tendencia al parafraseo, las métricas de coincidencia exacta se consideraron insuficientes. El artículo utiliza dos métricas conscientes de la semántica:

1. Similitud Semántica (SemSim): Utiliza un codificador de frases multilingüe para calcular la máxima similitud de coseno entre la respuesta de oro y cualquier segmento en la predicción.
2. Media del Juez LLM: Una puntuación promedio de dos jueces ajustados por instrucciones (GPT-4o y Gemini-2.5-Flash) que evalúan la idoneidad de la respuesta en una escala de 0 a 1, aceptando traducciones y variantes.

Resultados Clave

Ganancias de Rendimiento

• Eficacia de los Datos Sintéticos: Los modelos entrenados con habla sintética en luxembuego específica de un hablante superaron significativamente a los modelos adaptados al luxemburgo genérico. La mejor configuración (EuroLLM-9B con 4TTS mix) alcanzó un 72.6% de SemSim y un 60.1% de Media del Juez LLM para el Hablante 1, y un 74.8% de SemSim y un 61.8% de Media del Juez LLM para el Hablante 2.
• Cerrando la Brecha: Estas puntuaciones se acercaron o superaron la similitud semántica de la línea base solo de texto, demostrando que los datos sintéticos cuidadosamente construidos pueden compensar la falta de grabaciones de QA reales.
• Beneficios de la Inicialización: La inicialización del proyector desde un checkpoint adaptado para ASR mejoró aún más el rendimiento en ambos hablantes en comparación con el entrenamiento desde cero.

Calidad de TTS vs. Rendimiento Downstream

• Correlación No Monotónica: Un hallazgo crítico es que las puntuaciones de calidad de TTS sin referencia (ej. NISQA MOS, DNSMOS) no predicen de forma monotónica el rendimiento de QA downstream.
  • Omni-C logró la puntuación DNSMOS más alta en general (3.38) pero produjo un rendimiento de QA inferior al de la mezcla 4TTS.
  • MMS-TTS recibió puntuaciones perceptivas fuertes pero se mantuvo entre las configuraciones más débiles en tareas de QA.
• Importancia de la Diversidad: Las configuraciones de múltiples fuentes y las configuraciones basadas en VoiceDesign (que generan voces diversas a partir de descripciones de texto) superaron consistentemente a las configuraciones de fuente única o de clonación de voz, sugiriendo que la diversidad de voces es más crítica para la robustez que las puntuaciones de naturalidad de audio puras.

Comparaciones de Modelos

• Backbone: EuroLLM-9B generalmente superó a Apertus-8B en las configuraciones de mayor rendimiento.
• Estabilidad: Las configuraciones de alto rendimiento se mantuvieron robustas en ambos hablantes de evaluación, indicando que la configuración de los datos de entrenamiento es el principal motor del éxito más que la aleatoriedad específica del hablante.

Significado y Afirmaciones

El artículo posiciona a LuxSQA como una contribución metodológica más que una comparación de modelos, ofreciendo un flujo de trabajo completo para construir y explotar datos de SQA aumentados por TTS en lenguas de bajos recursos.

1. Viabilidad de la Aumentación por TTS: El estudio demuestra que se puede construir un pipeline de SQA utilizable para lenguas de bajos recursos sin recolectar grandes corpora de QA grabadas por humanos. El entrenamiento sintético específico de un hablante mejora sustancialmente el rendimiento en entradas habladas reales.
2. Evaluación de Datos Sintéticos Específica para la Tarea: Los autores argumentan que el habla sintética debe evaluarse como datos de entrenamiento específicos para la tarea en lugar de únicamente como audio que suena natural. La alta calidad perceptual (MOS) es necesaria pero no suficiente; los datos sintéticos deben preservar las claves léxicas, fonéticas y prosódicas requeridas para que el codificador de habla y el proyector recuperen el contenido de la pregunta de manera confiable.
3. Brecha Persistente entre Habla y Texto: A pesar de las mejoras, persiste una brecha entre el rendimiento de solo texto y el de habla. Incluso los mejores sistemas específicos de hablante puntuaron más bajo en la Media del Juez LLM que la línea base de texto, lo que sugiere que el ruido de traducción, los desajustes de pronunciación y la alineación imperfecta de habla-a-LLM todavía resultan en una pérdida de información.

El artículo concluye que, si bien la aumentación por TTS es una herramienta poderosa para el SQA de bajos recursos, los esfuerzos futuros deben equilibrar la recolección de habla manual y sintética y centrarse en evaluar los datos sintéticos basándose en su utilidad para la tarea específica de downstream en lugar de métricas de calidad de audio genéricas.