Resumen Técnico: Aprendizaje Continuo Guiado por Atribución para Modelos de Lenguaje Grandes

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) entrenados con datos estáticos de dominio amplio a menudo sufren olvido catastrófico al adaptarse a nuevas tareas mediante aprendizaje continuo. Si bien las estrategias de mitigación existentes —como la reproducción de datos, la regularización de parámetros y la congelación de capas específicas— han mostrado cierto éxito, carecen de una comprensión mecanicista de cómo se distribuyen el conocimiento y los comportamientos específicos de la tarea a través de los parámetros internos de los LLM. En consecuencia, estos métodos no pueden distinguir eficazmente qué parámetros deben preservarse para retener el conocimiento previo y cuáles deben permanecer plásticos para acomodar nuevas tareas. Esta limitación a menudo conduce a interferencias, donde las actualizaciones para una nueva tarea modifican inadvertidamente parámetros críticos para tareas anteriores.

Metodología

Los autores proponen un marco de ajuste fino continuo guiado por atribución que aprovecha la estimación de la importancia de los parámetros para modular las actualizaciones de gradiente. La metodología central consta de dos fases principales:

1. Estimación de Importancia de Parámetros Elemento por Elemento

El marco adapta la Propagación de Relevancia por Capas (LRP) para atribuir el logit del siguiente token predicho a los parámetros individuales del modelo dentro de cada capa Transformer.

• Adaptación a Transformers: La LRP estándar atribuye relevancia a las características de entrada. Los autores la extienden para cuantificar la contribución de los parámetros del modelo (pesos y sesgos) en los módulos de Redes de Alimentación Directa (FFN) y Atención Multi-Cabeza (MHA).
• Atribución Bilineal: Para manejar las multiplicaciones de matrices inherentes a los Transformers (por ejemplo, $QK^T$ y $WV$), el método emplea un principio de atribución bilineal (inspirado en AttnLRP). Esto trata la multiplicación de matrices como una operación bilineal, distribuyendo las puntuaciones de relevancia entre las activaciones de entrada y las matrices de pesos, satisfaciendo al mismo tiempo una propiedad de conservación.
• Derivación:
  • FFN: La relevancia se propaga a través de las dos capas lineales y la función de activación, derivando puntuaciones para los pesos $W_1, W_2$ y los sesgos $b_1, b_2$.
  • MHA: La relevancia se propaga a través del mecanismo de atención, derivando puntuaciones para los pesos de proyección de consulta, clave, valor y salida ($W_Q, W_K, W_V, W_O$).
  • Soporte para LoRA: El método también se formula para modelos adaptados con LoRA, calculando la relevancia tanto para el modelo base congelado como para las matrices LoRA entrenables ($A, B$).

2. Ajuste Fino Guiado por Atribución

Las puntuaciones de importancia estimadas se utilizan para construir un prior específico de la tarea que guía el proceso de optimización para nuevas tareas.

• Construcción del Prior: Para una nueva tarea $T_t$, el método estima primero un mapa de importancia específico de la tarea $R(W^{(l,t)})$ agregando puntuaciones de relevancia normalizadas de muestras generadas correctamente.
• Agregación Histórica: Durante el aprendizaje de la tarea $T_t$, el marco agrega la importancia de todas las tareas anteriores ($T_1, \dots, T_{t-1}$) tomando el máximo elemento por elemento de sus puntuaciones de importancia:
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• Modulación del Gradiente: El mapa de importancia agregado actúa como una puerta de gradiente. El gradiente estándar $\nabla W$ se modula de la siguiente manera:
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • Los parámetros con alta relevancia histórica (importantes para tareas pasadas) reciben un valor de puerta cercano a 0, resultando en actualizaciones más pequeñas.
  • Los parámetros con baja relevancia histórica reciben un valor de puerta cercano a 1, permitiéndoles ser actualizados libremente para aprender la nueva tarea.

Contribuciones Clave

1. Perspectiva Mecanicista: El artículo proporciona un análisis mecanicista que muestra que, en el aprendizaje continuo secuencial, los conjuntos de parámetros considerados "importantes" para diferentes tareas se superponen en gran medida en el modelo final, a diferencia del ajuste fino independiente de una sola tarea donde permanecen distintos. Esta superposición explica la interferencia que causa el olvido catastrófico.
2. Marco de Atribución: Introduce una aplicación novedosa de la LRP para atribuir relevancia directamente a los parámetros de los LLM en lugar de solo a las entradas, derivando reglas de propagación específicas para los componentes Transformer (FFN y MHA).
3. Estrategia de Modulación de Gradiente: El método propuesto ofrece un enfoque dinámico, elemento por elemento, para el aprendizaje continuo que restringe selectivamente las actualizaciones basándose en la importancia aprendida de los parámetros, sin requerir reproducción de datos ni congelación rígida de parámetros.

Resultados Experimentales

El marco se evaluó en puntos de referencia de aprendizaje continuo utilizando Modelos de Lenguaje Grandes (específicamente Llama-3.2-Instruct-3B) bajo configuraciones de ajuste fino supervisado completo y adaptación basada en LoRA.

• Rendimiento: El método superó consistentemente a las líneas base existentes de aprendizaje continuo (incluyendo métodos de regularización, reproducción y congelación).
• Retención vs. Plasticidad: Logró una retención superior del rendimiento en tareas aprendidas previamente, manteniendo al mismo tiempo un rendimiento competitivo en nuevas tareas.
• Observación: Los experimentos confirmaron que el método propuesto reduce eficazmente la interferencia entre tareas al preservar los subconjuntos específicos de parámetros críticos para el conocimiento previo.

Significado y Afirmaciones

El artículo afirma que, al ir más allá de las estrategias heurísticas (como la reproducción aleatoria o la congelación de capas) y utilizar en su lugar la estimación de importancia basada en atribución, el aprendizaje continuo para LLM puede hacerse más eficiente y efectivo. El significado radica en:

• Conciencia Semántica: El método tiene en cuenta explícitamente la distribución interna del conocimiento dentro del modelo, distinguiendo entre los parámetros que deben preservarse y aquellos que pueden adaptarse.
• Generalización: El marco es aplicable tanto a escenarios de ajuste fino de parámetros completos como de ajuste fino eficiente en parámetros (LoRA).
• Fundamentación Teórica: Cierra la brecha entre la explicabilidad (métodos de atribución) y la optimización (aprendizaje continuo), ofreciendo una manera principada de mitigar el olvido catastrófico basándose en las representaciones aprendidas por el modelo.