Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR

Aquí se presenta un resumen técnico detallado del artículo "Aumento de Datos Contextualizado para Personas Mayores mediante Síntesis de Voz para ASR de Personas Mayores."

1. Enunciado del Problema

Los sistemas de Reconocimiento Automático del Habla (ASR) sufren una degradación significativa del rendimiento cuando se aplican a hablantes mayores (ASR de Personas Mayores o EASR). Esta brecha es impulsada por dos factores principales:

• Escasez de Datos: Los corpus públicos (por ejemplo, Common Voice) contienen muy pocos hablantes en la categoría de "mayores avanzados" (edad 70+). Los conjuntos de datos existentes a menudo están dominados por habla leída o guiada por guion, fallando en capturar patrones conversacionales naturales.
• Características Acústicas/Lingüísticas Distintas: El habla de las personas mayores exhibe rasgos fisiológicos y lingüísticos únicos, incluyendo tasas de habla más lentas, pausas aumentadas, articulación inestable, ronquera y trastornos relacionados con la edad (por ejemplo, disartria). Además, existen cambios a nivel poblacional en la diversidad léxica y la organización del discurso que los modelos ASR estándar no logran capturar.

Las técnicas tradicionales de aumento de datos (como la perturbación de velocidad o SpecAugment) abordan la variabilidad acústica pero no resuelven la desconexión contextual y léxica entre los datos de entrenamiento de dominio general y los patrones lingüísticos específicos de las personas mayores.

2. Metodología

Los autores proponen una nueva tubería de aumento de datos que combina Modelos de Lenguaje Grandes (LLM) para la generación de texto con la síntesis Texto-a-Voz (TTS) para crear datos de habla sintética de personas mayores.

A. Descripción General de la Tubería

El marco de trabajo opera en tres etapas secuenciales:

1. Parafraseo Contextualizado para Personas Mayores (LLM):
   • Dada una transcripción original $t_i$, un LLM genera una versión parafraseada $t'_i$ específicamente adaptada a contextos de personas mayores.
   • Ingeniería de Prompts: Se instruye al LLM para que:
     • Reescriba la oración para ajustarla a un formato CSV (para generación estructurada).
     • Cumpla con restricciones de longitud (3–20 palabras).
     • Crucialmente: Ajuste el tono y el contenido para reflejar el habla utilizada frecuentemente por personas mayores (por ejemplo, cambiar "niño" por "nieto", añadir tonos retrospectivos o didácticos).
2. Síntesis de Voz (TTS):
   • La transcripción contextualizada para personas mayores generada $t'_i$ se convierte en audio sintético $a'_i$ utilizando un modelo TTS (OpenVoice2).
   • Condicionamiento del Hablante: La síntesis se condiciona sobre un pool curado de hablantes de referencia mayores ($S_{ref}$). El sistema equilibra la asignación de hablantes para asegurar que se representen diversas características acústicas (género y acentos regionales).
3. Ajuste Fino del Modelo:
   • Los pares de audio-texto sintéticos se fusionan con el conjunto de datos original para formar un conjunto de entrenamiento.
   • Este conjunto de datos combinado se utiliza para ajustar fino el modelo ASR Whisper sin modificar su arquitectura.

B. Configuración Experimental

• Conjuntos de Datos:
  • Inglés: Common Voice 18.0 (CV18), filtrado para hablantes de 70+ (12 horas de datos).
  • Coreano: VOTE400, un conjunto de datos de hablantes de 75+ recopilado de institutos de bienestar para adultos mayores (10 horas de datos).
• Modelos: Whisper (Small, Medium, Large-v2, Large-v3) como columna vertebral; GPT-5, GPT-4o y Gemini 3 Flash para la generación de texto.
• Métricas: Tasa de Error de Palabra (WER) para inglés; Tasa de Error de Caracteres (CER) para coreano.

3. Contribuciones Clave

1. Marco de Trabajo Novel: Propone la primera tubería de aumento para EASR que integra la generación de texto contextualizado para personas mayores basada en LLM con TTS, abordando simultáneamente las brechas acústicas y lingüísticas.
2. Ganancias de Rendimiento: Demuestra que este método supera significativamente a las líneas base de aumento convencionales (perturbación de velocidad, SpecAugment) y a los enfoques de solo TTS.
3. Análisis Exhaustivo: Proporciona orientación empírica sobre factores críticos de generación:
   • Ratio de Aumento: El rendimiento mejora monótonamente con ratios más altos, obteniéndose los mejores resultados con un aumento del 100%.
   • Composición del Hablante: Una mezcla equilibrada de hablantes de referencia masculinos y femeninos (4F+4M) produce resultados superiores en comparación con pools sesgados por género.
   • Selección de LLM: Los LLM más grandes/avanzados (GPT-5) generan parafraseos de mayor calidad, lo que conduce a un mejor rendimiento del ASR.

4. Resultados Experimentales

• Resultados Principales:
  • En el conjunto de datos CV18 (Inglés), el método propuesto redujo la WER del 4.1% (Línea Base) al 2.2%, una reducción relativa del 46.3%.
  • En el conjunto de datos VOTE400 (Coreano), la WER bajó del 11.6% al 5.2%, una reducción relativa del 55.2%.
  • En comparación con la línea base de Whisper, el método logró una reducción relativa de hasta el 58.2% en las tasas de error.
• Comparación con Líneas Base:
  • El método propuesto (LLM+TTS) superó significativamente al aumento solo con TTS y a las aumentaciones estándar a nivel de señal (Perturbación de Velocidad, SpecAugment).
  • Combinar el método propuesto con SpecAugment produjo el rendimiento absoluto mejor (2.1% de WER en CV18).
• Eficiencia del Tamaño del Modelo: El aumento fue particularmente efectivo para modelos más pequeños. Whisper-Small aumentado con este método superó el rendimiento de línea base de modelos mucho más grandes (por ejemplo, Whisper-Large-v2) en el conjunto de datos en inglés.
• Análisis Cualitativo:
  • El método corrigió con éxito ambigüedades fonéticas (por ejemplo, distinguir "nieto" de "y niño") y errores de vocabulario específicos del dominio.
  • El LLM introdujo con éxito diversas variaciones contextualizadas para personas mayores (por ejemplo, cambiar de declaraciones neutrales a tonos didácticos o basados en preocupaciones), aunque algunos resultados ocasionalmente recurrieron a estereotipos.

5. Significado y Conclusión

Este trabajo aborda un cuello de botella crítico en la interacción humano-computadora para la población que envejece: la falta de datos de entrenamiento representativos para EASR. Al aprovechar los LLM para simular los matices lingüísticos y contextuales del habla de las personas mayores (no solo la voz acústica), los autores demuestran que los datos sintéticos pueden cerrar efectivamente la brecha de rendimiento.

El estudio establece que:

1. El contexto importa: Simplemente sintetizar el habla es insuficiente; el texto debe reflejar los patrones de discurso específicos de las personas mayores.
2. Escalabilidad: El enfoque es altamente efectivo a través de diferentes tamaños de modelos y idiomas (inglés y coreano).
3. Practicidad: Ofrece un camino viable para mejorar la fiabilidad del ASR para las personas mayores sin requerir esfuerzos masivos de nueva recopilación de datos, los cuales a menudo se ven obstaculizados por restricciones de privacidad y logísticas.

El trabajo futuro sugerido por los autores incluye la expansión a más idiomas, el refinamiento de la ingeniería de prompts para reducir resultados estereotipados y la exploración de una integración más estrecha entre los modelos generativos y los bucles de entrenamiento de ASR.