Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition

Resumo Técnico: Média de Pesos para Esquecimento Catastrófico em ASR

Definição do Problema
Adaptar modelos de Reconhecimento Automático de Fala (ASR) treinados para novas tarefas — como novos falantes, dialetos ou idiomas — frequentemente resulta em Esquecimento Catastrófico (CF), onde o modelo perde desempenho em tarefas aprendidas anteriormente. Isso limita severamente a capacidade de construir sistemas de ASR de aprendizado contínuo ou de aproveitar novos dados disponíveis sem o retreinamento de todos os dados históricos, o que é computacionalmente e em termos de recursos intensivo. Métodos de Aprendizado Contínuo (CL) existentes existem, mas muitos dependem de rehearsal (armazenamento de amostras de tarefas passadas), o que levanta preocupações de privacidade, ou exigem parâmetros específicos de tarefa que complicam a inferência. Métodos baseados em regularização existentes mostraram eficácia limitada em ASR de Ponta a Ponta (E2E).

Metodologia
Os autores propõem a Média de Pesos (Weight Averaging), um método de CL simples, porém eficaz, que opera em duas etapas distintas após uma nova tarefa $t$ tornar-se disponível:

1. Adaptação: O modelo com parâmetros $\theta_{t-1}$ (treinado em tarefas anteriores) é adaptado para a nova tarefa $t$. Esta adaptação pode ser realizada via:

   • Fine-Tuning Ingênuo (Naive Fine-Tuning): Treinamento padrão nos dados da nova tarefa.
   • Aprendizado Sem Esquecer (Learning Without Forgetting - LWF): Uma abordagem baseada em regularização que adiciona uma perda de destilação de conhecimento ($L_{lwf}$) à perda padrão de entropia cruzada e CTC. Esta perda força o novo modelo a imitar as probabilidades de saída do modelo antigo ($\theta_{t-1}$) nos dados da nova tarefa, preservando assim o conhecimento antigo sem armazenar amostras passadas.
   • Os parâmetros adaptados resultantes são denotados por $\hat{\theta}_t$.

2. Média de Pesos: Os parâmetros finais $\theta_t$ são computados como uma média ponderada do modelo antigo ($\theta_{t-1}$) e do modelo adaptado ($\hat{\theta}_t$):
   $$\theta_t = (1 - \eta)\theta_{t-1} + \eta\hat{\theta}_t$$
   onde $0 \le \eta \le 1$. O artigo investiga duas estratégias para $\eta$:

   • $\eta$ Fixo = 0,5: Uma média móvel exponencial onde a contribuição de modelos mais antigos decai exponencialmente.
   • $\eta$ Dinâmico = 1/t: Uma média aritmética onde todos os modelos adaptados até a tarefa $t$ contribuem igualmente ($\theta_t = \frac{1}{t} \sum_{i=1}^t \hat{\theta}_i$).

Se a arquitetura do modelo incluir parâmetros compartilhados ($\theta_S$) e parâmetros específicos de tarefa ($\theta_U$), a média é aplicada apenas aos componentes compartilhados.

Principais Contribuições

• CL Sem Memória: O método alcança alto desempenho de aprendizado contínuo sem exigir um buffer de memória de amostras passadas, abordando restrições de privacidade e armazenamento associadas a métodos baseados em rehearsal.
• Simplicidade e Eficácia: A abordagem é computacionalmente simples, exigindo apenas uma passagem direta (forward pass) do modelo antigo durante a fase de adaptação (para LWF) e uma etapa de média de parâmetros.
• Suporte a Arquitetura de Duas Tarefas: O método é validado em arquiteturas de ASR monolíngue (modelo compartilhado) e multilíngue (codificador compartilhado, decodificador específico de tarefa).

Resultados Experimentais
Os autores avaliaram o método no conjunto de dados Common Voice (CV) usando um modelo E2E composto por um codificador Conformer e um decodificador Transformer.

• Experimentos Monolíngues (6 Dialetos de Inglês):

  • Os métodos propostos (FTA: Fine-Tuning com Averaging; LWFA: LWF com Averaging) superaram significativamente todos os baselines, incluindo o Experience Replay (ER) com 2.000 enunciados armazenados.
  • A melhor configuração ($\eta = 1/t$) alcançou uma Taxa de Erro de Palavras (WER) Média (AVG WER) de 13,72%, superando o baseline mais forte (ER com 2k amostras, 14,20%) em 3,4%.
  • A Transferência para Trás (Backward Transfer - BWT), uma medida de esquecimento, foi reduzida para quase zero (-0,1%), comparado a -2,5% para o fine-tuning ingênuo.

• Experimentos Multilíngues (5 Idiomas):

  • O esquecimento foi mais severo neste cenário devido à dissimilaridade das tarefas. O fine-tuning ingênuo resultou em esquecimento catastrófico (BWT de -22,2%).
  • LWFA com $\eta = 1/t$ alcançou o melhor desempenho com um AVG WER de 19,54%, superando o forte baseline (ER com 2k amostras, 23,65%) em 17,4%.
  • O LWFA reduziu o esquecimento observado no ER em aproximadamente 88,9% enquanto não exigiu nenhum armazenamento de memória.
  • Em cenários multilíngues, a adição da perda LWF durante a adaptação proporcionou um aumento significativo sobre o fine-tuning simples, enquanto em cenários monolíngues, a diferença entre FTA e LWFA foi mínima.

Significância e Alegações
O artigo alega que a média de pesos é uma solução "simples, porém eficaz" para o esquecimento catastrófico em E2E ASR. Os autores afirmam que seu método:

1. Elimina a necessidade de memória: Ao contrário dos métodos de CL anteriores de estado da arte para ASR que dependiam do armazenamento de amostras, este método alcança desempenho superior sem qualquer buffer de memória.
2. Alcança retenção quase perfeita: Com $\eta = 1/t$, o método resulta em "quase zero esquecimento", ao mesmo tempo em que aprende novas tarefas efetivamente.
3. Generaliza através de arquiteturas: O método é robusto tanto em cenários monolíngues (totalmente compartilhados) quanto multilíngues (parcialmente compartilhados).

Os autores atribuem o sucesso da média de pesos à descoberta teórica de que a média de pesos leva a "ótimos mais largos" (wider optima) no cenário de perda (loss landscape), resultando em melhor generalização, semelhante às observações em média de checkpoints e model soups. Eles concluem que esta abordagem permite um aprendizado contínuo de alto desempenho em ASR sem o overhead de recursos anteriormente considerado necessário.