Contrastive Regularization for Accent-Robust ASR

Resumo Técnico: Regularização Contrastiva para ASR Robusta a Sotaques

Declaração do Problema
Embora os sistemas modernos de Reconhecimento Automático de Fala (ASR) que utilizam pré-treinamento acústico auto-supervisionado e ajuste fino com Classificação Temporal Conectista (CTC) alcancem desempenho robusto em fala nativa, eles permanecem altamente sensíveis à variabilidade de sotaques. Essa sensibilidade leva a uma degradação substancial de desempenho em cenários de fala não nativa, particularmente em configurações de recursos limitados ou implantadas globalmente, onde ocorrem desvios sistemáticos de pronúncia em relação às normas nativas. Soluções existentes frequentemente dependem de supervisão explícita de sotaque (por exemplo, embeddings de sotaque ou classificadores) ou aumento de dados, o que pode não generalizar bem para sotaques não vistos ou exigir modificações arquiteturais.

Metodologia
Os autores propõem integrar Aprendizado Contrastivo Supervisionado (SupCon) como um objetivo auxiliar leve e agnóstico ao modelo durante o ajuste fino CTC de codificadores acústicos auto-supervisionados. O framework opera da seguinte forma:

1. Arquitetura: Um codificador acústico pré-treinado auto-supervisionado padrão (por exemplo, wav2vec 2.0 ou WavLM) processa formas de onda de entrada para produzir representações em nível de quadro. Essas representações são compartilhadas entre a tarefa principal de ASR e a tarefa contrastiva auxiliar.
2. Objetivo Principal: O modelo é treinado usando a perda CTC padrão ($L_{CTC}$) para mapear fala em transcrições.
3. Objetivo Auxiliar (SupCon):
   • Agregação de Representação: Saídas do codificador em nível de quadro são agregadas em representações em nível de enunciado de dimensão fixa ($u_i$) usando pooling médio mascarado para excluir quadros preenchidos.
   • Projeção: Essas representações são passadas por uma cabeça de projeção leve para produzir embeddings normalizados ($z_i$).
   • Pares Contrastivos: Pares positivos são definidos com base na identidade da transcrição ($c_i$). Enunciados que compartilham a mesma transcrição, mas falados por diferentes falantes (e, portanto, potencialmente com sotaques diferentes), são tratados como positivos. Não são necessários rótulos de sotaque explícitos ou anotações adicionais; a própria transcrição serve como sinal de supervisão.
   • Função de Perda: Uma perda contrastiva supervisionada ($L_{SupCon}$) é aplicada para minimizar a distância entre embeddings da mesma transcrição, maximizando simultaneamente a distância entre transcrições diferentes.
4. Treinamento Combinado: A perda total é uma soma ponderada: $L = L_{CTC} + \lambda_t L_{SupCon}$. Uma estratégia de agendamento de perda é empregada, onde o peso contrastivo $\lambda_t$ é aumentado gradualmente durante o ajuste fino inicial para estabilizar a otimização.
5. Inferência: A cabeça de projeção e a perda contrastiva são descartadas durante a inferência; o sistema depende exclusivamente do ramo CTC para decodificação.

Principais Contribuições

1. Estratégia de Regularização Novel: A introdução do SupCon como uma perda auxiliar para o ajuste fino de ASR baseado em CTC, fornecendo um método agnóstico ao modelo para melhorar a robustez a sotaques sem modificar a arquitetura do codificador subjacente ou exigir supervisão explícita de sotaque.
2. Desempenho de Estado da Arte: Demonstração de que um pipeline CTC padrão aprimorado com SupCon alcança resultados de estado da arte no benchmark L2-ARCTIC para reconhecimento de fala multi-sotaque.
3. Análise Geométrica: Uma análise sistemática usando dispersão de cosseno dentro da transcrição para revelar como a regularização contrastiva remodela a geometria das representações do codificador. O estudo mostra que o SupCon promove clusters de representação mais compactos e estáveis para conteúdo linguístico idêntico entre diferentes falantes e sotaques.

Resultados Experimentais
Os experimentos foram conduzidos no benchmark L2-ARCTIC, que apresenta fala em inglês de falantes não nativos de seis origens L1 (Árabe, Mandarim, Hindi, Coreano, Espanhol, Vietnamita). A avaliação foi realizada sob duas configurações: Transcrição Não Visto (UT) e Sotaque Não Visto (UA).

• Ganhos de Desempenho: O método proposto reduziu consistentemente a Taxa de Erro de Palavras (WER) em vários codificadores pré-treinados (wav2vec 2.0 e WavLM, nas variantes base e grande).
  • Sob a configuração Sotaque Não Visto (UA), as melhorias mais significativas foram observadas. Para o modelo wav2vec 2.0 Large, a WER caiu de 9,98% (apenas CTC) para 7,41% (com SupCon), representando uma redução relativa de 25,8%.
  • Sob a configuração Transcrição Não Visto (UT), o modelo wav2vec 2.0 Large viu uma redução de 10,47% para 9,14% (melhoria relativa de 12,7%).
• Estudos de Ablação: Os benefícios do SupCon foram consistentes em diferentes escalas de modelo e estratégias de decodificação (gananciosa vs. decodificação LM de 4-gramas). Os ganhos foram geralmente mais pronunciados para o wav2vec 2.0 do que para o WavLM, sugerindo que os objetivos de pré-treinamento mais fortes do WavLM podem já fornecer regularização implícita.
• Análise de Representação: A análise quantitativa da dispersão dentro da transcrição mostrou uma redução relativa de 17% na dispersão média de cosseno (de 0,0518 para 0,0430) ao usar SupCon. Isso indica que o modelo aprende representações mais invariantes ao conteúdo, agrupando enunciados da mesma transcrição mais fortemente, independentemente do sotaque do falante.

Significado e Alegações
O artigo afirma que o SupCon oferece uma estratégia de regularização eficaz e agnóstica ao modelo para melhorar a robustez a sotaques em ASR. Ao contrário de métodos de adaptação específicos de sotaque que se degradam ao encontrar sotaques não vistos, a abordagem invariante a sotaques proposta produz seus maiores ganhos na configuração de Sotaque Não Visto. Os autores enfatizam que essas melhorias são alcançadas sem mudanças arquiteturais ou rótulos de sotaque explícitos, dependendo em vez disso da regularização geométrica das representações do codificador. O trabalho sugere que incentivar uma geometria de representação compacta para transcrições idênticas é um caminho viável para sistemas de ASR multi-sotaque robustos e generalizáveis.