Closing the Speech-Text Gap with Limited Audio for Effective Domain Adaptation in LLM-Based ASR

1. Problema e Contexto

O artigo aborda o desafio de adaptar sistemas de Reconhecimento Automático de Fala (ASR) baseados em Grandes Modelos de Linguagem (LLMs) para domínios específicos (como saúde, finanças ou agricultura), onde os dados de áudio rotulados são escassos e caros de obter, mas os dados textuais são abundantes.

• A Lacuna de Modalidade: Arquiteturas modernas de ASR baseadas em LLMs conectam um codificador de fala pré-treinado a um LLM através de um módulo de projeção. Quando a adaptação é feita apenas com texto (fine-tuning no LLM com transcrições), surge uma "lacuna de modalidade" (modality gap). O modelo deixa de ser exposto às representações "ruidosas" e imperfeitas geradas pelo projetor de fala, resultando em um desalinhamento entre a entrada de áudio e a saída de texto, o que degrada a qualidade da transcrição.
• Esquecimento Catastrófico: Métodos de adaptação tradicionais podem levar ao esquecimento catastrófico, onde o modelo perde a capacidade de reconhecer fala em domínios originais (fonte) ao ser especializado em um novo domínio.

2. Metodologia

Os autores propõem uma estratégia de Lote Misto (Mixed Batching - MB) para mitigar a lacuna de modalidade e o esquecimento catastrófico, utilizando uma quantidade limitada de áudio do domínio alvo combinada com dados textuais.

• Arquitetura Base: O sistema utiliza o framework SLAM-ASR, composto por:
  1. Um codificador de fala pré-treinado (WavLM-Large).
  2. Um projetor de fala treinável (frozen durante a adaptação).
  3. Um LLM (Llama-3.2-3B-Instruct) adaptado via LoRA (Low-Rank Adaptation).
• Estratégia de Lote Misto (MB): Durante o fine-tuning, cada lote de treinamento é composto por uma mistura estratégica de dados para preservar o alinhamento fala-texto e adaptar a linguagem:
  • Dados de Origem (Fonte):
    1. Fala-Texto Pareada: Áudio original e sua transcrição (preserva o alinhamento inicial).
    2. Tokens Ruidosos Induzidos pelo Projetor: Sequências discretas obtidas mapeando projeções de fala para os tokens mais próximos do LLM (simula a entrada real do projetor).
    3. Transcrições Sinteticamente Corrompidas: Transcrições originais com perturbações de caracteres (simula irregularidades sem necessidade de áudio).
  • Dados do Domínio Alvo:
    1. Fala-Texto Pareada (Alvo): Uma pequena fração de áudio real do domínio alvo com sua transcrição.
    2. Transcrições Corrompidas do Alvo: Textos do domínio alvo com perturbações para adaptação linguística.

O objetivo é encontrar o equilíbrio ideal entre a proporção de dados de texto (para especialização linguística) e áudio (para alinhamento de modalidade), mantendo os dados de origem para evitar o esquecimento.

3. Contribuições Principais

1. Análise da Proporção de Dados: Demonstram que existe um trade-off crítico entre a especialização no domínio alvo e a preservação do desempenho no domínio fonte, dependendo da proporção de dados no lote de treinamento.
2. Estratégia Híbrida (Mixed Batching): Propõem uma abordagem que integra uma quantidade limitada de áudio pareado do domínio alvo em um cenário predominantemente baseado em texto. Isso preenche a lacuna de modalidade sem exigir grandes volumes de dados de áudio.
3. Mitigação do Esquecimento Catastrófico: Mostram que a estratégia de lote misto preserva o desempenho no domínio fonte (evitando o esquecimento) enquanto melhora significativamente o reconhecimento no domínio alvo, superando métodos de adaptação puramente textuais ou puramente baseados em áudio.

4. Resultados Experimentais

Os experimentos foram realizados em diversos domínios (Bancário, Seguros, Saúde, Agricultura e Instrumentos Musicais), comparando adaptação apenas com texto, adaptação com fala-texto pareada e a estratégia de Lote Misto.

• Desempenho com Poucos Dados: A estratégia de Lote Misto com apenas 10% de áudio do domínio alvo (menos de 4 horas de áudio) alcançou taxas de erro de palavra (WER) comparáveis ou até melhores do que o fine-tuning convencional com o conjunto de dados de áudio completo.
• Superação da Lacuna de Modalidade: Adicionar uma pequena quantidade de áudio a um modelo adaptado apenas com texto resultou em ganhos maiores do que treinar com a mesma quantidade de dados pareados de fala-texto.
• Ponto Ótimo: O desempenho máximo foi observado quando cerca de 60% do corpus consistia em exemplos pareados de fala-texto (incluindo dados de origem e alvo), sugerindo que a diversidade introduzida pelos dados sintéticos e textuais ajuda a aprender mapeamentos mais robustos.
• Preservação do Domínio Fonte: Enquanto a adaptação padrão com áudio causou uma degradação significativa no desempenho do domínio fonte (esquecimento catastrófico), a estratégia de Lote Misto manteve o desempenho no domínio fonte quase inalterado, enquanto melhorava o alvo.

5. Significado e Conclusão

O trabalho demonstra que pequenas quantidades de áudio são suficientes para fornecer um sinal forte de alinhamento de modalidade em sistemas de ASR baseados em LLMs.

• Eficiência de Dados: A metodologia oferece uma solução altamente eficiente para cenários de baixo recurso, onde a coleta de áudio é um gargalo. Permite adaptar modelos a domínios especializados utilizando principalmente texto abundante, com apenas uma "gotinha" de áudio para corrigir o desalinhamento.
• Aplicabilidade Prática: Para implementações reais em setores como saúde e finanças, onde a privacidade e o custo de anotação de áudio são barreiras, esta técnica permite a criação de modelos robustos e especializados sem a necessidade de grandes conjuntos de dados de áudio rotulados.
• Equilíbrio: A pesquisa estabelece um novo paradigma para a adaptação de LLMs em ASR, mostrando que a combinação inteligente de modalidades (texto + áudio limitado + dados sintéticos) supera as abordagens unimodais tradicionais.