Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition

Resumen Técnico: Promedio de Pesos para el Olvido Catastrófico en ASR

Planteamiento del Problema
La adaptación de modelos de Reconocimiento Automático del Habla (ASR) entrenados a nuevas tareas —como nuevos hablantes, dialectos o idiomas— a menudo resulta en un Olvido Catastrófico (CF), donde el modelo pierde rendimiento en las tareas aprendidas previamente. Esto limita severamente la capacidad de construir sistemas de ASR de aprendizaje continuo (CL) o de aprovechar datos recientemente disponibles sin reentrenar con todos los datos históricos, lo cual es computacionalmente intensivo y requiere muchos recursos. Aunque existen métodos de Aprendizaje Continuo (CL), muchos dependen del rehearsal (almacenamiento de muestras de tareas pasadas), lo que plantea preocupaciones de privacidad, o requieren parámetros específicos de cada tarea que complican la inferencia. Los métodos existentes basados en regularización han mostrado una efectividad limitada en ASR de extremo a extremo (E2E).

Metodología
Los autores proponen el Promedio de Pesos (Weight Averaging), un método de CL simple pero efectivo que opera en dos pasos distintos una vez que una nueva tarea $t$ está disponible:

1. Adaptación: El modelo con parámetros $\theta_{t-1}$ (entrenado en tareas previas) se adapta a la nueva tarea $t$. Esta adaptación puede realizarse mediante:

   • Fine-Tuning Ingenuo (Naive Fine-Tuning): Entrenamiento estándar en los datos de la nueva tarea.
   • Aprendizaje Sin Olvido (Learning Without Forgetting - LWF): Un enfoque basado en la regularización que añade una pérdida de destilación de conocimiento ($L_{lwf}$) a las pérdidas estándar de entropía cruzada y CTC. Esta pérdida obliga al nuevo modelo a imitar las probabilidades de salida del modelo antiguo ($\theta_{t-1}$) sobre los datos de la nueva tarea, preservando así el conocimiento antiguo sin almacenar muestras pasadas.
   • Los parámetros adaptados resultantes se denotan como $\hat{\theta}_t$.

2. Promedio de Pesos: Los parámetros finales $\theta_t$ se calculan como un promedio ponderado del modelo antiguo ($\theta_{t-1}$) y el modelo adaptado ($\hat{\theta}_t$):
   $$\theta_t = (1 - \eta)\theta_{t-1} + \eta\hat{\theta}_t$$
   donde $0 \le \eta \le 1$. El artículo investiga dos estrategias para $\eta$:

   • $\eta$ Fijo = 0.5: Un promedio móvil exponencial donde la contribución de los modelos más antiguos decae exponencialmente.
   • $\eta$ Dinámico = 1/t: Una media aritmética donde todos los modelos adaptados hasta la tarea $t$ contribuyen equitativamente ($\theta_t = \frac{1}{t} \sum_{i=1}^t \hat{\theta}_i$).

Si la arquitectura del modelo incluye parámetros compartidos ($\theta_S$) y parámetros específicos de la tarea ($\theta_U$), el promedio se aplica únicamente a los componentes compartidos.

Contribuciones Clave

• CL Libre de Memoria: El método logra un alto rendimiento de aprendizaje continuo sin requerir un búfer de memoria de muestras pasadas, abordando las restricciones de privacidad y almacenamiento asociadas con los métodos basados en rehearsal.
• Simplicidad y Efectividad: El enfoque es computacionalmente simple, requiriendo solo una pasada hacia adelante (forward pass) del modelo antiguo durante la fase de adaptación (para LWF) y un paso de promedio de parámetros.
• Soporte para Arquitecturas de Tarea Dual: El método se valida tanto en arquitecturas de ASR monolingües (modelo compartido) como multilingües (codificador compartido, decodificador específico de la tarea).

Resultados Experimentales
Los autores evaluaron el método en el conjunto de datos Common Voice (CV) utilizando un modelo E2E compuesto por un codificador Conformer y un decodificador Transformer.

• Experimentos Monolingües (6 dialectos del inglés):

  • Los métodos propuestos (FTA: Fine-Tuning con Averaging; LWFA: LWF con Averaging) superaron significativamente a todos los baselines, incluyendo el Experience Replay (ER) con 2,000 enunciados almacenados.
  • La mejor configuración ($\eta = 1/t$) logró un Error de Palabra Promedio (AVG WER) del 13.72%, superando al baseline más fuerte (ER con 2k muestras, 14.20%) por un 3.4%.
  • La Transferencia hacia Atrás (Backward Transfer - BWT), una medida del olvido, se redujo a casi cero (-0.1%), comparado con el -2.5% del fine-tuning ingenuo.

• Experimentos Multilingües (5 idiomas):

  • El olvido fue más severo en este entorno debido a la disimilitud de las tareas. El fine-tuning ingenuo resultó en un olvido catastrófico (BWT de -22.2%).
  • LWFA con $\eta = 1/t$ logró el mejor rendimiento con un AVG WER de 19.54%, superando al fuerte baseline (ER con 2k muestras, 23.65%) por un 17.4%.
  • LWFA redujo el olvido observado en ER aproximadamente un 88.9% mientras no requería almacenamiento de memoria.
  • En entornos multilingües, la adición de la pérdida LWF durante la adaptación proporcionó un impulso significativo sobre el simple fine-tuning, mientras que en entornos monolingües, la diferencia entre FTA y LWFA fue mínima.

Significancia y Reivindicaciones
El artículo afirma que el promedio de pesos es una solución "simple pero efectiva" para el olvido catastrófico en ASR E2E. Los autores aseguran que su método:

1. Elimina la necesidad de memoria: A diferencia de los métodos de CL previos para ASR que dependían del almacenamiento de muestras, este método logra un rendimiento superior sin ningún búfer de memoria.
2. Logra una retención casi perfecta: Con $\eta = 1/t$, el método resulta en un "olvido casi nulo" mientras sigue aprendiendo nuevas tareas de manera efectiva.
3. Se generaliza a través de arquitecturas: El método es robusto tanto en escenarios monolingües (totalmente compartidos) como multilingües (parcialmente compartidos).

Los autores atribuyen el éxito del promedio de pesos al hallazgo teórico de que el promedio de pesos conduce a "óptimos más amplios" en el paisaje de la pérdida (loss landscape), lo que resulta en una mejor generalización, de forma similar a las observaciones en el promedio de checkpoints y en los model soups. Concluyen que este enfoque permite un aprendizaje continuo de alto rendimiento en ASR sin la sobrecarga de recursos que anteriormente se consideraba necesaria.