Synthetic Audio Generation Framework for Air Traffic Control Speech Recognition

Resumen Técnico: Marco de Generación de Audio Sintético para el Control de Tránsito Aéreo

Planteamiento del Problema
Los sistemas de Reconocimiento Automático del Habla (ASR), aunque son altamente precisos en dominios de propósito general con habla nativa (L1), enfrentan una degradación significativa del rendimiento en entornos de Control de Tránsito Aéreo (ATC). Este dominio se caracteriza por un fuerte ruido de canal, ritmos de habla rápidos, fraseología específica del dominio y una alta prevalencia de acentos de inglés no nativos (L2). Además, el campo sufre de una escasez crítica de datos reales y etiquetados de ATC. Las estrategias tradicionales de aumento de datos, como las transformaciones lineales (perturbación de velocidad, cambio de tono) y la corrupción de la señal (SpecAugment), son insuficientes para abordar las complejas variaciones acústicas y lingüísticas inherentes a las comunicaciones de ATC.

Metodología
Los autores proponen un flujo de trabajo integral de generación de audio sintético diseñado para aumentar los limitados conjuntos de datos de ATC. El marco opera a través de tres etapas principales:

1. Preprocesamiento y Mejora:

   • Separación de Voz/Ruido: Las grabaciones reales de ATC (típicamente de 8 kHz) se procesan utilizando el módulo de separación DAIEN-TTS para aislar la voz limpia del ruido de fondo.
   • Superresolución: La voz limpia separada se remuestrea de 8 kHz a 16 kHz utilizando AudioSR para coincidir con las tasas de muestreo requeridas por los modelos generativos preentrenados.

2. Generación de Datos Sintéticos:
   El marco aprovecha cuatro enfoques generativos distintos para crear variantes de entrenamiento diversas a partir de transcripciones existentes:

   • Texto a Voz (TTS): Utilizando el modelo F5-TTS (un Transformer de difusión de coincidencia de flujo o flow-matching) con clonación de voz para generar habla de tipo nativo (L1) a partir de transcripciones de ATC en L2.
   • Conversión de Voz (VC): Empleando la conversión de voz de k-vecinos más cercanos (kNN-VC) para alterar la identidad del hablante preservando el acento original, aumentando así la diversidad de hablantes.
   • Conversión de Acento L2 a L1 (ACL2→L1): Utilizando el marco TokAN para normalizar los acentos no nativos a un acento nativo estándar, aprovechando los tokens discretos de HuBERT como una representación intermedia.
   • Conversión de Acento Controlable L1 a L2 (ACL1→L2): Una contribución novedosa donde la arquitectura TokAN se reorienta para generar habla con acento no nativo a partir de habla nativa. Esto implica el ajuste fino del módulo de conversión de tokens para mapear tokens L1 a tokens L2 y condicionar el proceso mediante incrustaciones (embeddings) de acento objetivo extraídas de grabaciones de referencia en L2. Este paso tiene como objetivo aumentar la diversidad de acentos en lugar de normalizarlos.

3. Simulación Acústica de ATC (AAS):
   Para asegurar que los datos sintéticos imiten las condiciones del mundo real, el audio generado se somete a una secuencia de simulación específica:

   • Remuestreo (reducción a 8 kHz y retorno a 16 kHz).
   • Filtrado de paso de banda (paso alto en 200 Hz).
   • Inyección de ruido de fondo utilizando las pistas de ruido separadas de las grabaciones originales correspondientes.

Configuración Experimental
El marco fue evaluado en el corpus ATCO2, un conjunto de datos de comunicaciones de ATC de siete aeropuertos que contienen acentos no nativos y distorsiones de canal. Debido al tamaño reducido del conjunto de datos (4 horas de habla transcrita por humanos), se empleó una estrategia de validación cruzada de 4 pliegues (4-fold cross-validation). Los autores realizaron el ajuste fino (fine-tuning) del modelo Whisper-small bajo diversas condiciones:

• Baselines: Whisper sin ajustes y ajuste fino únicamente con datos reales.
• Solo Sintéticos: Ajuste fino exclusivamente con datos generados por TTS, VC o Conversión de Acento (tanto L2→L1 como L1→L2), con y sin AAS.
• Mixto: Ajuste fino con una mezcla de 50/50 de datos reales y sintéticos.

Resultos Clave

• Viabilidad de los Datos Sintéticos: El ajuste fino únicamente con datos sintéticos superó significativamente al baseline de Whisper sin ajustes (63.32% de WER). Por ejemplo, la Conversión de Voz con AAS logró una Tasa de Error de Palabra (WER) del 24.18%, demostrando que los datos generativos proporcionan señales de entrenamiento informativas.
• Impacto de la Simulación Acústica: La aplicación de la Simulación Acústica de ATC (AAS) fue crítica. Los datos de TTS con AAS redujeron el WER en un 37% en relación con el TTS sin AAS (33.77% frente a 53.88%), resaltando la necesidad de simular las características del canal.
• Conversión L1 a L2: El modelo de conversión de acento controlable L1-a-L2 propuesto resultó altamente efectivo. Al mezclarse con datos reales, este enfoque logró el mejor WER general de 21.64%, superando significativamente al baseline de solo datos reales (22.69%).
• Diversidad de Acento frente a Diversidad de Hablante: Mientras que la Conversión de Voz mejoró el rendimiento en configuraciones de solo sintéticos, no produjo ganancias significativas cuando se mezcló con datos reales. Por el contrario, aumentar la diversidad de acentos (mediante la conversión L1-a-L2) mejoró consistentemente los resultados, lo que sugiere que la variabilidad del acento es un factor más crítico que la identidad del hablante en el dominio de ATC.
• Limitaciones de L2 a L1: Mezclar datos reales con habla normalizada L2-a-L1 resultó en un rendimiento degradado (25.92% de WER) en comparación con el baseline de solo datos reales, lo que indica que simplemente normalizar los acentos es menos beneficioso que aumentar la diversidad del habla con acento.

Significancia y Reivindicaciones
El artículo afirma introducir una dirección novedosa para el dominio de ATC mediante el uso de modelos generativos para el aumento de datos, explorando específicamente la Conversión de Voz y la Conversión de Acento (tanto L2-a-L1 como la novedosa L1-a-L2) en este contexto. Los autores sostienen que su marco mitiga con éxito la escasez de datos al generar datos de entrenamiento de ATC diversos a partir de grabaciones existentes sin requerir nueva recolección de datos.

El estudio demuestra que:

1. El aumento generativo es una estrategia factible y efectiva para el ASR de ATC.
2. Simular las condiciones acústicas específicas del dominio (AAS) es esencial para la utilidad de los datos sintéticos.
3. Un modelo de conversión de acento controlable L1-a-L2 puede aumentar eficazmente la diversidad de acentos, lo que conduce a un rendimiento de ASR superior cuando se combina con datos reales.
4. El enfoque propuesto ofrece una mejora significativa sobre el ajuste fino estándar con datos reales limitados, proporcionando una vía para sistemas de ASR más robustos en entornos de seguridad crítica.

Los autores concluyen que, si bien los resultados son prometedores, se requiere una mayor investigación, incluyendo la síntesis de habla L2 con control de fluidez de grano fino, el modelado generativo de ruido específico del dominio y el uso de modelos de ASR más grandes.