Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR

1. Declaração do Problema

Os sistemas de Reconhecimento Automático de Fala (ASR) sofrem degradação significativa de desempenho quando aplicados a falantes idosos (ASR de Idosos ou EASR). Essa lacuna é impulsionada por dois fatores principais:

• Escassez de Dados: Corpos de texto públicos (por exemplo, Common Voice) contêm muito poucos falantes na categoria "idosos avançados" (70+ anos). Conjuntos de dados existentes são frequentemente dominados por fala scriptada ou lida, falhando em capturar padrões conversacionais naturais.
• Características Acústicas/Linguísticas Distintas: A fala de idosos exibe traços fisiológicos e linguísticos únicos, incluindo taxas de fala mais lentas, pausas aumentadas, articulação instável, rouquidão e distúrbios relacionados à idade (por exemplo, disartria). Além disso, há mudanças no nível populacional na diversidade lexical e na organização do discurso que os modelos ASR padrão não conseguem capturar.

Técnicas tradicionais de augmentação de dados (como perturbação de velocidade ou SpecAugment) abordam a variabilidade acústica, mas não resolvem o descompasso contextual e lexical entre dados de treinamento de domínio geral e os padrões linguísticos específicos dos idosos.

2. Metodologia

Os autores propõem um novo pipeline de augmentação de dados que combina Modelos de Linguagem de Grande Escala (LLMs) para geração de texto com síntese Texto-para-Fala (TTS) para criar dados de fala sintética de idosos.

A. Visão Geral do Pipeline

O framework opera em três etapas sequenciais:

1. Paráfrase Contextualizada para Idosos (LLM):
   • Dada uma transcrição original $t_i$, um LLM gera uma versão parafraseada $t'_i$ especificamente adaptada a contextos de idosos.
   • Engenharia de Prompt: O LLM é instruído a:
     • Reescrever a frase para se adequar a um formato CSV (para geração estruturada).
     • Adherir a restrições de comprimento (3–20 palavras).
     • Crucialmente: Ajustar o tom e o conteúdo para refletir a fala frequentemente usada por idosos (por exemplo, mudar "filho" para "neto", adicionar tons retrospectivos ou didáticos).
2. Síntese de Fala (TTS):
   • A transcrição contextualizada para idosos $t'_i$ gerada é convertida em áudio sintético $a'_i$ usando um modelo TTS (OpenVoice2).
   • Condicionamento do Falante: A síntese é condicionada a um pool curado de falantes de referência idosos ($S_{ref}$). O sistema equilibra a atribuição de falantes para garantir que características acústicas diversas (gênero e sotaques regionais) sejam representadas.
3. Ajuste Fino do Modelo:
   • Os pares de áudio-texto sintéticos são mesclados com o conjunto de dados original para formar um conjunto de treinamento.
   • Este conjunto de dados combinado é usado para ajustar finamente o modelo ASR Whisper sem modificar sua arquitetura.

B. Configuração Experimental

• Conjuntos de Dados:
  • Inglês: Common Voice 18.0 (CV18), filtrado para falantes com 70+ anos (12 horas de dados).
  • Coreano: VOTE400, um conjunto de dados de falantes com 75+ anos coletado em institutos de bem-estar para idosos (10 horas de dados).
• Modelos: Whisper (Small, Medium, Large-v2, Large-v3) como base; GPT-5, GPT-4o e Gemini 3 Flash para geração de texto.
• Métricas: Taxa de Erro de Palavra (WER) para inglês; Taxa de Erro de Caracteres (CER) para coreano.

3. Contribuições Principais

1. Framework Inovador: Propõe o primeiro pipeline de augmentação para EASR que integra geração de texto contextualizada para idosos baseada em LLM com TTS, abordando simultaneamente as lacunas acústicas e linguísticas.
2. Ganhos de Desempenho: Demonstra que este método supera significativamente as linhas de base de augmentação convencionais (perturbação de velocidade, SpecAugment) e abordagens baseadas apenas em TTS.
3. Análise Abrangente: Fornece orientação empírica sobre fatores críticos de geração:
   • Razão de Augmentação: O desempenho melhora monotonicamente com razões mais altas, com 100% de augmentação produzindo os melhores resultados.
   • Composição de Falantes: Uma mistura equilibrada de falantes de referência masculinos e femininos (4F+4M) produz resultados superiores em comparação com pools enviesados por gênero.
   • Seleção de LLM: LLMs maiores/mais avançados (GPT-5) geram paráfrases de maior qualidade, levando a um melhor desempenho do ASR.

4. Resultados Experimentais

• Resultados Principais:
  • No conjunto de dados CV18 (Inglês), o método proposto reduziu o WER de 4,1% (Linha de Base) para 2,2%, uma redução relativa de 46,3%.
  • No conjunto de dados VOTE400 (Coreano), o WER caiu de 11,6% para 5,2%, uma redução relativa de 55,2%.
  • Comparado à linha de base Whisper, o método alcançou até uma redução relativa de 58,2% nas taxas de erro.
• Comparação com Linhas de Base:
  • O método proposto (LLM+TTS) superou significativamente a augmentação apenas com TTS e augmentações padrão de nível de sinal (Perturbação de Velocidade, SpecAugment).
  • Combinar o método proposto com SpecAugment produziu o desempenho absoluto melhor (2,1% de WER no CV18).
• Eficiência de Tamanho do Modelo: A augmentação foi particularmente eficaz para modelos menores. O Whisper-Small augmentado com este método superou o desempenho de linha de base de modelos muito maiores (por exemplo, Whisper-Large-v2) no conjunto de dados em inglês.
• Análise Qualitativa:
  • O método corrigiu com sucesso ambiguidades fonéticas (por exemplo, distinguir "neto" de "e filho") e erros de vocabulário específicos de domínio.
  • O LLM introduziu com sucesso variações diversas contextualizadas para idosos (por exemplo, mudar de declarações neutras para tons didáticos ou baseados em preocupação), embora alguns resultados ocasionalmente dependessem de estereótipos.

5. Significado e Conclusão

Este trabalho aborda um gargalo crítico na interação homem-computador para a população envelhecida: a falta de dados de treinamento representativos para EASR. Ao aproveitar LLMs para simular as nuances linguísticas e contextuais da fala de idosos (não apenas a voz acústica), os autores demonstram que dados sintéticos podem efetivamente preencher a lacuna de desempenho.

O estudo estabelece que:

1. O contexto importa: Sintetizar apenas a fala é insuficiente; o texto deve refletir os padrões específicos de discurso dos idosos.
2. Escalabilidade: A abordagem é altamente eficaz em diferentes tamanhos de modelos e idiomas (inglês e coreano).
3. Praticidade: Oferece um caminho viável para melhorar a confiabilidade do ASR para idosos sem exigir esforços massivos de nova coleta de dados, que frequentemente são impedidos por restrições de privacidade e logística.

Trabalhos futuros sugeridos pelos autores incluem a expansão para mais idiomas, o refinamento da engenharia de prompts para reduzir saídas estereotipadas e a exploração de uma integração mais estreita entre modelos generativos e loops de treinamento de ASR.