💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

El artículo propone AWARe, un método de ajuste fino que mitiga el olvido catastrófico en los Modelos de Lenguaje Multimodales al congelar dinámicamente los parámetros críticos para el conocimiento previo basándose en patrones de activación, preservando así las capacidades ascendentes mientras se logra un rendimiento descendente superior sin modificar las arquitecturas del modelo.

Autores originales: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Publicado 2026-08-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot brillante y superinteligente que ha pasado años leyendo todos los libros de la biblioteca y mirando todas las pinturas del mundo. Este robot, un Modelo de Lenguaje Grande Multimodal (MLLM), es increíble para entender tanto imágenes como palabras. Pero esta es la parte difícil: si intentas enseñarle al robot una habilidad nueva y específica —como resolver un juego de rompecabezas o escribir un poema sobre un gato específico—, a menudo olvida todo lo demás que sabía. Es como si aprendieras a tocar una nueva canción al piano con tanta intensidad que de repente olvidaras cómo atarte los cordones de los zapatos. Este "olvido" se llama olvido catastrófico, y es un gran dolor de cabeza para los científicos que quieren mantener estos modelos de IA útiles y con conocimientos.

El artículo que estás a punto de leer aborda este problema con un método ingenioso llamado AWARe. Piensa en el cerebro del robot como una ciudad masiva con miles de millones de trabajadores diminutos (neuronas) realizando diferentes trabajos. Cuando el robot aprende algo nuevo, normalmente le dice a todos los trabajadores que cambien sus hábitos, lo que causa caos y hace que olvide sus antiguos trabajos. AWARe sugiere un enfoque más inteligente: en lugar de pedirle a todos que cambien, escucha a los trabajadores para ver quién está gritando más fuerte (activándose más) cuando el robot observa sus tareas viejas y familiares. Luego, les dice a esos trabajadores específicos que están tan ocupados: "¡Tú te quedas exactamente igual! Sigue haciendo tu antiguo trabajo". Solo a los trabajadores más silenciosos y menos ocupados se les permite cambiar sus hábitos para aprender la nueva tarea. De esta manera, el robot aprende la nueva habilidad sin perder sus viejos recuerdos.

El Problema: El error de "Sobrescritura"

Los Modelos de Lenguaje Grandes Multimodales son como estudiantes superpotentes que ya se han graduado de una universidad masiva de imágenes y texto. Pueden razonar, explicar y charlar sobre casi cualquier cosa. Pero cuando intentamos "ajustarlos" (fine-tuning)—enseñarles un trabajo nuevo y específico como identificar condiciones médicas o responder preguntas sobre un videojuego específico—a menudo sufren de olvido catastrófico.

Imagina que estás intentando aprender un nuevo paso de baile. Si practicas tanto que olvidas cómo caminar, eso es olvido catastrófico. En el mundo de la IA, esto sucede porque el proceso de aprender la nueva tarea implica actualizar los "pesos" internos del modelo (las perillas y diales que controlan cómo piensa). Cuando el modelo ajusta esas perillas para la nueva tarea, accidentalmente gira las que sostenían su conocimiento antiguo, haciendo que sus habilidades previas se desmoronen.

La Solución: AWARe (Activation-Weighted Adaptive REtention)

Los autores proponen un método llamado AWARe para solucionar esto. En lugar de cambiar ciegamente todo el cerebro, AWARe actúa como un bibliotecario inteligente que sabe exactamente qué libros son más importantes para mantener en el estante.

Así es como funciona, paso a paso:

La fase de "Escucha" (Perfilado): Antes de enseñarle nada nuevo al robot, los investigadores dejan que observe un pequeño conjunto de ejemplos de "calibración" (como algunas fotos viejas o preguntas que ya conoce bien). No solo miran la estructura del cerebro del robot; observan cómo se ilumina el cerebro. Miden la activación: cuánta energía usa cada trabajador diminuto (neurona) al procesar estas tareas familiares.
La decisión de "Congelar": Los investigadores descubrieron que algunas neuronas son súper activas y críticas para el viejo conocimiento del robot, mientras que otras están más relajadas. AWARe identifica las neuronas "ruidosas" (el 30% superior que es más activo) y dice: "¡Eres esencial! Congélate". Esto significa que sus configuraciones quedan bloqueadas y no pueden ser cambiadas.
La fase de "Adaptación": Las neuronas restantes (el 70% más silencioso) se dejan desbloqueadas. Cuando el robot aprende la nueva tarea, solo estas neuronas desbloqueadas pueden cambiar. Las neuronas bloqueadas mantienen los viejos recuerdos del robot seguros y a salvo.

Por qué esto es importante

El artículo muestra que este método es un cambio de juego por dos razones principales:

Es una mejora "sin complicaciones": A diferencia de otros métodos que requieren construir complementos nuevos y complejos para el cerebro del robot o almacenar enormes bibliotecas de datos antiguos (lo que consume mucha memoria), AWARe trabaja con el cerebro existente del robot. No cambia la arquitectura; solo cambia qué partes se permiten mover. Es como reordenar los muebles en una habitación sin construir nuevas paredes.
Funciona de maravilla: En sus experimentos, el equipo probó AWARe en modelos como LLaVA-v1.5 y Qwen2.5-VL.
- Al enseñar al modelo a responder preguntas sobre diagramas (IconQA), AWARe mantuvo el conocimiento previo del modelo (como responder preguntas generales sobre imágenes) al 98.4% de su fuerza original, mientras aprendía la nueva tarea muy bien.
- En una prueba de aprendizaje continuo donde el modelo tenía que aprender cinco tareas seguidas (como preguntas médicas, conducción y finanzas), AWARe superó a todos los demás métodos, manteniendo una puntuación promedio 3.18 puntos más alta que el siguiente mejor método.

Lo que el artículo dice (y lo que no dice)

Los autores son muy claros sobre lo que encontraron y lo que no.

Lo que funciona: Demostraron que usar la activación (cuánto está trabajando una neurona) es una mejor forma de decidir qué congelar que simplemente mirar el tamaño del peso o elegir neuronas al azar. Si eliges neuronas al azar, el modelo olvida sus habilidades previas casi inmediatamente. Si las eliges basándote en qué tan "ruidosas" son, el modelo se mantiene inteligente.
Lo que no funciona (o no es necesario): Mostraron que no es necesario congelar el cerebro entero. Congelar solo el 30% superior de las neuronas más activas en partes específicas del cerebro (las capas de auto-atención y el conector que une imágenes con texto) es suficiente. Congelar las partes "MLP" (las capas de pensamiento profundo) en realidad perjudica el rendimiento, lo que sugiere que esas capas están destinadas a ser flexibles.
El conjunto de calibración "mágico": Uno de los hallazgos más interesantes es que no necesitas los datos de entrenamiento originales del robot para determinar qué neuronas congelar. Puedes usar un conjunto de preguntas general y aleatorio (como el conjunto de datos MMMU) para hacer el perfilado. Incluso con estos datos genéricos, AWARe funciona casi tan bien como si hubieran usado los datos específicos antiguos. Esto hace que el método sea muy práctico para el uso en el mundo real.
Eficiencia: El método es increíblemente eficiente. En su mejor configuración, solo actualizaron aproximadamente el 17.5% de los parámetros totales. Esto significa que la computadora no tiene que trabajar casi tanto como lo haría si tuviera que actualizar todo el modelo.

La conclusión

AWARe sugiere que el secreto para evitar que una IA olvide no es detener su aprendizaje, sino ser selectivo sobre qué cambiar. Al escuchar qué partes del cerebro están trabajando más duro en las tareas antiguas y protegerlas, podemos enseñar a estos modelos nuevos trucos sin perder su sabiduría previa. Es una forma simple, efectiva y sorprendentemente gentil de mantener a nuestros amigos digitales inteligentes, estables y listos para lo que venga después.

Resumen Técnico: AWARe

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) poseen capacidades sólidas de generalización y razonamiento derivadas del preentrenamiento a gran escala. Sin embargo, el ajuste fino de estos modelos en tareas de dominio específico suele desencadenar el olvido catastrófico (CF), donde la optimización para nuevos objetivos degrada las capacidades previas adquiridas en etapas superiores (upstream). Este problema es particularmente severo en los MLLMs debido a la compleja interacción entre modalidades y la alta dimensionalidad del espacio de parámetros. Las estrategias de mitigación existentes, como la repetición de experiencias (experience replay) o los métodos basados en regularización, suelen incurrir en una carga computacional prohibitiva o tienen dificultades para escalar a miles de millones de parámetros. Además, los métodos de Ajuste Fino de Parámetros Eficientes (PEFT) como LoRA, aunque reducen los parámetros entrenables, no previenen inherentemente la erosión del conocimiento preentrenado, ya que aún pueden alterar características estables de las etapas superiores. El desafío central consiste en permitir que los MLLMs se adapten a tareas de dominio específico mientras preservan robustamente las capacidades preentrenadas sin incurrir en costos excesivos o modificaciones arquitectónicas.

Metodología: AWARe

Los autores proponen Activation-Weighted Adaptive REtention (AWARe), un marco de ajuste fino que mitiga el olvido catastrófico controlando dinámicamente las actualizaciones de los parámetros basándose en los patrones de activación. El método se inspira en el principio de que una pequeña fracción de los pesos asociados con magnitudes de activación grandes es desproporcionadamente importante para preservar el comportamiento del modelo (un concepto observado en estudios de cuantización y poda consciente de la activación).

AWARe opera en dos fases:

Perfilado de Conocimiento (Knowledge Profiling):
- El método utiliza un pequeño conjunto de calibración ( $S_{cal}$ ) muestreado de las tareas de nivel superior (upstream). Si los datos de nivel superior no están disponibles, un benchmark de propósito general (p. ej., MMMU) sirve como sustituto.
- Para una capa lineal objetivo con matriz de pesos $W$ , el modelo realiza un paso hacia adelante (forward pass) en el conjunto de calibración para obtener un tensor de activación $A$ .
- Estimación de Saliencia: El método calcula un puntaje de saliencia para cada neurona de salida mediante un proceso de agregación de tres pasos:
  1. Calcular la norma L2 de las activaciones a lo largo de la dimensión de la longitud de la secuencia.
  2. Aplicar la normalización L2 por muestra a través de la dimensión oculta para asegurar la comparabilidad y prevenir sesgos por activaciones de escala atípica (outliers).
  3. Promediar los valores normalizados a través del lote (batch) para generar un vector de saliencia final $s$ .
- Este proceso identifica las neuronas que capturan consistentemente características estructurales a través de diversas tareas de nivel superior.
Ajuste Fino Restringido (Constrained Fine-tuning):
- Basándose en los puntajes de saliencia, se utiliza una relación de retención $\rho$ (p. ej., 30%) para identificar la fracción superior- $\rho$ de las neuronas de salida más salientes globalmente a través de las capas objetivo.
- Se construye una máscara de gradiente binaria $M_{grad}$ donde las filas correspondientes a las neuronas de alta saliencia se establecen en 0 (congeladas) y las demás en 1 (entrenables).
- Durante la optimización de dominio específico, los parámetros asociados con las regiones salientes se mantienen constantes mediante actualizaciones de gradiente enmascaradas: $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ .
- Selección de Objetivos: AWARe aplica específicamente esta estrategia a las capas de proyección lineal dentro de los mecanismos de autoatención ( $q\_proj, k\_proj, v\_proj$ ) y al proyector multimodal ( $mm\_projector$ ). Otros componentes, como los bloques MLP y la proyección de salida, permanecen completamente congelados. Esta selección se basa en hallazgos que indican que actualizar las proyecciones de autoatención causa menos olvido del conocimiento preexistente en comparación con los bloques MLP.

Principales Contribuciones

Marco AWARe: La introducción de un método sencillo, basado en la activación, para preservar el conocimiento crítico de nivel superior durante la adaptación de dominio específico en MLLMs. Reutiliza la saliencia de activación de los contextos de compresión y fusión para la mitigación del olvido.
Eficiencia y Simplicidad: El enfoque no requiere cambios arquitectónicos, no introduce módulos adaptadores adicionales y actualiza solo un pequeño subconjunto de parámetros (aproximadamente el 17.5% en la configuración óptima). Evita la necesidad de buffers de repetición o estadísticas de segundo orden.
Validación Exhaustiva: Los autores demuestran, mediante estudios de ablación y pruebas de rendimiento (benchmarks), que la selección basada en la activación es un criterio efectivo para la selección de parámetros, superando la selección estática por magnitud de peso o la selección aleatoria.

Resultados Experimentales

Los autores evaluaron AWARe sobre la arquitectura base LLaVA-v1.5-7B y validaron su transferibilidad a Qwen2.5-VL-7B.

Adaptación de Tarea Única de Dominio Específico: En IconQA (VQA) y COCO-Caption (Descripción de Imágenes), AWARe logró un equilibrio superior entre Retención de Conocimiento (R) (estabilidad de las tareas de nivel superior) y Eficiencia de Aprendizaje (E) (rendimiento en la nueva tarea).
- Comparado con las líneas base de vanguardia (incluyendo LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt y SPIDER), AWARe mantuvo altas tasas de retención (p. ej., $R \approx 98.4$ en IconQA) logrando al mismo tiempo un rendimiento competitivo en la tarea de dominio específico.
- Notablemente, el uso de un conjunto de calibración de propósito general (MMMU) en lugar de los datos específicos de nivel superior arrojó resultados comparables al uso del conjunto de datos completo de nivel superior, demostrando robustez.
Ajuste Fino de Instrucciones Continuo: En el benchmark MLLM-DCL (una secuencia de cinco tareas: Teledetección, Médica, Conducción Autónoma, Ciencia, Finanzas), AWARe alcanzó el mayor rendimiento promedio en todas las tareas y el mejor rendimiento final tras la última tarea. Mejoró los promedios generales en 3.18 y 1.77 puntos respecto a la línea base más fuerte (DISCO) en las métricas de promedio y de última tarea, respectivamente.
Estudios de Ablación:
- Estrategia de Selección: La selección basada en la activación superó significativamente a la selección aleatoria y a la selección basada en la norma de los pesos.
- Relación de Retención: Una relación de retención del 30% (congelar el 30% superior de las neuronas más salientes) proporcionó el compromiso óptimo entre estabilidad y plasticidad.
- Objetivos de Retención: Aplicar AWARe tanto a las proyecciones de autoatención como al proyector multimodal produjo los mejores resultados. Congelar completamente los bloques MLP fue crucial, ya que el ajuste fino de estos provocaba un colapso severo en el rendimiento de las tareas de nivel superior.

Significado y Reivindicaciones

El artículo afirma que AWARe ofrece una solución práctica y efectiva para el olvido catastrófico en MLLMs al aprovechar patrones de activación dinámicos y dependientes de los datos en lugar de prioridades de peso estáticas. La importancia del trabajo radica en:

Agnosticismo Arquitectónico: Opera sin modificar las arquitecturas de los modelos, asegurando la compatibilidad con los motores de inferencia existentes.
Costo-Efectividad: Al congelar los parámetros de alta saliencia y actualizar solo una pequeña fracción, reduce significativamente la carga computacional en comparación con el ajuste fino completo o los métodos basados en repetición.
Robustez: El método sigue siendo efectivo incluso cuando los datos de las tareas de nivel superior son limitados, apoyándose en conjuntos de calibración de propósito general.
Compromiso entre Estabilidad y Plasticidad: AWARe equilibra con éxito la preservación de las capacidades generales centrales con la flexibilidad requerida para la adaptación a tareas especializadas, abordando un cuello de botella crítico en el despliegue práctico de los MLLMs.

Los autores reconocen limitaciones, señalando que la calidad de los datos de calibración puede influir en las regiones congeladas seleccionadas y que los cambios de distribución extremadamente grandes pueden requerir el ajuste de la relación de retención. Sin embargo, el marco propuesto establece una nueva línea base para el ajuste fino multimodal eficiente y estable.