Synthetic Audio Generation Framework for Air Traffic Control Speech Recognition

Resumo Técnico: Estrutura de Geração de Áudio Sintético para Controle de Tráfego Aéreo

Definição do Problema
Sistemas de Reconhecimento Automático de Fala (ASR), embora altamente precisos em domínios de uso geral com fala nativa (L1), enfrentam uma degradação significativa de desempenho em ambientes de Controle de Tráfego Aéreo (ATC). Este domínio é caracterizado por ruído de canal intenso, taxas de fala rápidas, fraseologia específica do domínio e uma forte prevalência de sotaques de inglês não nativos (L2). Além disso, o campo sofre com uma escassez crítica de dados reais e rotulados de ATC. Estratégias tradicionais de aumento de dados, como transformações lineares (perturbação de velocidade, deslocamento de tom) e corrupção de sinal (SpecAugment), são insuficientes para abordar as complexas variações acústicas e linguísticas inerentes às comunicações de ATC.

Metodologia
Os autores propõem um pipeline abrangente de geração de áudio sintético projetado para aumentar conjuntos de dados limitados de ATC. A estrutura opera através de três estágios primários:

1. Pré-processamento e Melhoria:

   • Separação de Fala/Ruído: Gravações reais de ATC (tipicamente 8kHz) são processadas usando o módulo de separação DAIEN-TTS para isolar a fala limpa do ruído de fundo.
   • Super-resolução: A fala limpa separada é upsampled de 8kHz para 16kHz usando o AudioSR para corresponder às taxas de amostragem exigidas pelos modelos generativos pré-treinados.

2. Geração de Dados Sintéticos:
   A estrutura utiliza quatro abordagens generativas distintas para criar variantes de treinamento diversas a partir de transcrições existentes:

   • Text-to-Speech (TTS): Utilizando o modelo F5-TTS (um Transformer de difusão de correspondência de fluxo) com clonagem de voz para gerar fala de aspecto nativo (L1) a partir de transcrições de ATC L2.
   • Conversão de Voz (VC): Empregando conversão de voz k-vizinhos mais próximos (kNN-VC) para alterar a identidade do falante enquanto preserva o sotaque original, aumentando assim a diversidade de falantes.
   • Conversão de Sotaque L2-para-L1 (ACL2→L1): Usando o framework TokAN para normalizar sotaques não nativos para um sotaque nativo padrão, aproveitando os tokens discretos do HuBERT como uma representação intermediária.
   • Conversão de Sotaque Controlável L1-para-L2 (ACL1→L2): Uma contribuição novel onde a arquitetura TokAN é reaproveitada para gerar fala com sotaque não nativo a partir de fala nativa. Isso envolve o ajuste fino do módulo de conversão de tokens para mapear tokens L1 para tokens L2 e condicionar o processo em embeddings de sotaque alvo extraídos de falas de referência L2. Esta etapa visa aumentar a diversidade de sotaques em vez de normalizá-los.

3. Simulação Acústica de ATC (AAS):
   Para garantir que os dados sintéticos mimetizem as condições do mundo real, o áudio gerado passa por uma sequência de simulação específica:

   • Redimensionamento da taxa de amostragem (resampling para baixo até 8kHz e de volta para 16kHz).
   • Filtragem passa-banda (passa-alta em 200Hz).
   • Injeção de ruído de fundo usando as trilhas de ruído separadas das gravações originais reais correspondentes.

Configuração Experimental
A estrutura foi avaliada no corpus ATCO2, um conjunto de dados de comunicações de ATC de sete aeroportos contendo sotaques não nativos e distorções de canal. Devido ao tamanho reduzido do conjunto de dados (4 horas de fala transcrita por humanos), foi empregada uma estratégia de validação cruzada de 4 dobras (4-fold cross-validation). Os autores realizaram o ajuste fino do modelo Whisper-small sob várias condições:

• Baselines: Whisper "out-of-the-box" e ajuste fino apenas em dados reais.
• Apenas Sintético: Ajuste fino exclusivamente em dados gerados por TTS, VC ou Conversão de Sotaque (tanto L2→L1 quanto L1→L2), com e sem AAS.
• Misto: Ajuste fino em uma mistura de 50/50 de dados reais e sintéticos.

Resultados Principais

• Viabilidade de Dados Sintéticos: O ajuste fino em dados sintéticos isolados superou significativamente o baseline do Whisper original (63,32% de WER). Por exemplo, a Conversão de Voz com AAS alcançou uma Taxa de Erro de Palavras (WER) de 24,18%, demonstrando que os dados generativos fornecem sinais de treinamento informativos.
• Impacto da Simulação Acústica: A aplicação da Simulação Acústica de ATC (AAS) foi crítica. Dados de TTS com AAS reduziram o WER em 37% em relação ao TTS sem AAS (33,77% vs. 53,88%), destacando a necessidade de simular as características do canal.
• Conversão L1-para-L2: O modelo proposto de conversão de sotaque controlável L1-para-L2 provou ser altamente eficaz. Quando misturado com dados reais, esta abordagem alcançou o melhor WER geral de 21,64%, superando significativamente o baseline de apenas dados reais (22,69%).
• Diversidade de Sotaque vs. Falante: Embora a Conversão de Voz tenha melhorado o desempenho em configurações de apenas sintético, ela não gerou ganhos significativos quando misturada com dados reais. Por outro lado, aumentar a diversidade de sotaques (via conversão L1-para-L2) melhorou consistentemente os resultados, sugerindo que a variabilidade de sotaque é um fator mais crítico do que a identidade do falante no domínio de ATC.
• Limitações de L2-para-L1: Misturar dados reais com fala normalizada L2-para-L1 resultou em degradação de desempenho (25,92% de WER) em comparação com o baseline de apenas dados reais, indicando que simplesmente normalizar sotaques é menos benéfico do que aumentar a diversidade de falas acentuadas.

Significância e Alegações
O artigo afirma introduzir uma nova direção para o domínio de ATC ao utilizar modelagem generativa para aumento de dados, especificamente explorando a Conversão de Voz e a Conversão de Sotaque (tanto L2-para-L1 quanto a novel L1-para-L2) neste contexto. Os autores afirmam que sua estrutura mitiga com sucesso a escassez de dados ao gerar diversos dados de treinamento de ATC a partir de gravações existentes sem exigir nova coleta de dados.

O estudo demonstra que:

1. O aumento generativo é uma estratégia viável e eficaz para o ASR de ATC.
2. Simular condições acústicas específicas do domínio (AAS) é essencial para a utilidade dos dados sintéticos.
3. Um modelo de conversão de sotaque controlável L1-para-L2 pode aumentar efetivamente a diversidade de sotaques, levando a um desempenho superior de ASR quando combinado com dados reais.
4. A abordagem proposta oferece uma melhoria significativa sobre o ajuste fino padrão em dados reais limitados, fornecendo um caminho para sistemas de ASR mais robustos em ambientes de segurança crítica.

Os autores concluem que, embora os resultados sejam promissores, investigações adicionais são necessárias, incluindo a síntese de fala L2 com controle de fluência refinado, modelagem generativa de ruído específico do domínio e o uso de modelos de ASR maiores.