Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair

Resumen Técnico: Modos de Fallo Ocultos de la Modificación de Gradientes bajo Adam en Aprendizaje Continuo

1. El Problema: El Conflicto "Attenuate-then-Adapt"

La mayoría de los métodos de aprendizaje continuo (CL) intentan proteger el conocimiento antiguo modificando el gradiente antes de que llegue al optimizador (mediante proyecciones, penalizaciones o mezcla de gradientes de replay). Estos métodos suelen tratar al optimizador adaptativo (como Adam) como una "caja negra" neutral.

El artículo identifica un modo de fallo oculto denominado el conflicto "attenuate-then-adapt" (atenuar-luego-adaptar). Cuando un método de CL atenúa el gradiente en las direcciones protegidas para evitar el olvido, también atenúa la señal que entra en el estimador del segundo momento ($v_t$) de Adam. Dado que Adam normaliza el paso de aprendizaje por $\sqrt{v_t}$, la reducción de la magnitud del gradiente provoca una inflación artificial de la tasa de aprendizaje efectiva precisamente en las direcciones que se pretendía proteger. Esto anula la protección y provoca un olvido catastrófico, un fallo que es "silencioso" en entornos de entrenamiento estándar pero crítico en escenarios de alta superposición de tareas.

2. Metodología y Diagnóstico

Los autores emplean un enfoque de tres fases: Diagnóstico, Reparación y Validación.

• Diagnóstico (Análisis de Sustituto Escalar): Mediante una caracterización matemática (Proposición 1), demuestran que en regímenes de alta superposición, la tasa de aprendizaje efectiva en la dirección protegida se infla por un factor de $1/(1-\alpha)$, donde $\alpha$ es la fuerza de la protección. Validaron esta predicción con mediciones empíricas con un error inferior al 8%.
• Reparación (Adaptive-OGP): Proponen una solución estructural llamada Adaptive-OGP (Adaptive Decoupled Moment Projection). La clave es el enrutamiento desacoplado:
  1. El gradiente modificado (atenuado) se envía únicamente al primer momento ($m_t$).
  2. El gradiente original (sin atenuar) se envía al segundo momento ($v_t$) para mantener estadísticas de magnitud fieles a la realidad.
  3. Se añade un controlador de fuerza adaptativo que modula la intensidad de la protección ($\alpha_t$) basándose en la señal de alineación del subespacio (superposición entre tareas).
• Validación: Realizaron experimentos en modelos de lenguaje (LM) de escala 256M y 7B (Llama2) utilizando diversos regímenes (proyección, penalización y replay).

3. Contribuciones Clave

1. Identificación de un fallo sistémico: Demuestran que el fallo no es de un método específico, sino de la composición entre los métodos de modificación de gradiente y los optimizadores adaptativos.
2. Principio de composición de optimizadores: Establecen que el enrutamiento selectivo de los momentos (separar $m_t$ de $v_t$) es esencial para evitar la inflación de la tasa de aprendizaje.
3. Algoritmo Adaptive-OGP: Un método minimalista (un cambio de una sola línea en la implementación) que es robusto frente a la superposición de tareas y escala eficientemente a modelos de 7B parámetros bajo LoRA.

4. Resultados Principales

• Colapso de las bases: En regímenes de alta superposición, todos los métodos de proyección estándar (como GPM o Adam-NSCL) colapsan, acercándose al nivel de olvido del entrenamiento vanilla (sin protección).
• Superioridad de Adaptive-OGP:
  • En un flujo de 8 dominios, Adaptive-OGP redujo el olvido a 9.4 unidades, frente a las 13.2 del modelo vanilla y las 12.5-12.8 de los métodos de proyección tradicionales.
  • En un flujo extendido de 16 dominios, la brecha de mejora respecto a los métodos tradicionales se amplió a 4.5–4.8 unidades.
• Robustez y Escala: El método demostró ser superior no solo en proyecciones, sino también en métodos basados en penalizaciones y en técnicas de replay, manteniendo su ventaja incluso en modelos de 7B parámetros.

5. Significancia

Este trabajo cambia el paradigma del aprendizaje continuo: sugiere que no basta con modificar el gradiente para proteger el conocimiento; es imperativo entender cómo esa modificación interactúa con la dinámica interna de los optimizadores adaptativos. La propuesta de desacoplar los momentos ofrece una vía robusta para que el aprendizaje continuo sea viable en modelos de lenguaje masivos donde las tareas suelen compartir un vocabulario y un espacio de características altamente superpuestos.