Resumen Técnico: Retención de la Atención para el Aprendizaje Continuo con Vision Transformers

Planteamiento del Problema

El Aprendizaje Continuo (CL, por sus siglas en inglés) tiene como objetivo permitir que los sistemas de IA adquieran conocimiento progresivamente a partir de flujos de datos no estacionarios. Sin embargo, el olvido catastrófico sigue siendo una barrera crítica, donde el aprendizaje de nuevas tareas degrada el rendimiento en las tareas aprendidas previamente. Aunque existen diversas estrategias (reproducción, expansión, regularización), este artículo identifica un mecanismo específico de olvido en los Vision Transformers (ViTs): la deriva de la atención (attention drift).

Los autores observan que, a medida que los ViTs aprenden nuevas tareas, sus mecanismos de atención se desplazan significamente lejos de las características discriminativas de los conceptos visuales aprendidos anteriormente. A diferencia de los sistemas visuales humanos, que mantienen una atención selectiva en características clave incluso cuando se adquieren nuevos conceptos, los ViTs pierden esta estabilidad, lo que conduce a la erosión del conocimiento aprendido. Los métodos existentes a menudo no logran abordar este desplazamiento específico en el mecanismo de atención de los ViTs, particularmente en entornos sin reproducción (replay-free) donde está prohibido almacenar datos de tareas previas.

Metodología: ARCL-ViT

El marco propuesto, ARCL-ViT (Aprendizaje Continuo con Retención de Atención con Vision Transformers), aborda la deriva de la atención mediante la restricción explícita de las actualizaciones de gradiente durante el aprendizaje de nuevas tareas. El método opera sin almacenar datos de tareas anteriores y consta de dos etapas principales:

1. Generación de Máscaras Adaptativas

Tras completar una tarea $T_{t-1}$, el modelo genera una máscara binaria para identificar las regiones de atención críticas.

• Despliegue por Capas (Layer-wise Rollout): En lugar de utilizar mapas de atención brutos de una sola capa, el método emplea un mecanismo de despliegole por capas. Agrega las matrices de atención activadas a través de todas las capas ($L$) para calcular un mapa de atención integral $\hat{S}^l_{t-1}$. Esto implica multiplicar matrices de atención transformadas ($\tilde{S} = I + S$) para capturar el flujo de información desde la entrada hasta el token de clase.
• Umbralización Adaptativa a la Instancia: Para manejar los tamaños variables de las regiones discriminativas entre imágenes, se evita un umbral fijo. El método ordena los valores de atención e identifica un punto de inflexión (mediante la segunda derivada) donde los valores transicionan de fondo a regiones salientes. Esto determina un umbral adaptativo $\tau$, generando una máscara binaria $M$ donde las regiones de alta atención se marcan como 0 (para ser preservadas) y las regiones de baja atención como 1.

2. Enmascaramiento de Gradiente y Adaptación del Optimizador

Durante el entrenamiento de la tarea actual $T_t$, la máscara generada se utiliza para suprimir las actualizaciones que alterarían los patrones de atención de tareas previas.

• Anulación de Gradientes (Gradient Zeroing): La máscara se aplica elemento a elemento a los gradientes de los pesos de proyección de Consulta ($Q$), Clave ($K$) y Valor ($V$) ($W_q, W_k, W_v$). Específicamente, los gradientes correspondientes a las regiones de alta atención de la tarea anterior se anulan. Esto evita que el proceso de optimización desplace el enfoque del modelo lejos de los conceptos visuales aprendidos previamente.
• Compatibilidad con el Optimizador: Simplemente anular los gradientes puede interrumpir los optimizadores modernos (por ejemplo, Adam) que dependen de estadísticas de momentum y varianza, lo que podría causar actualizaciones inestables. Para mitigar esto, los autores proponen un mecanismo de escalado. La actualización del parámetro $\Delta W'$ se escala proporcionalmente a la relación entre el gradiente enmascarado y el gradiente original. Esto asegura que la magnitud relativa de las actualizaciones se mantenga, permitiendo que el optimizador funcione correctamente mientras respeta las restricciones de atención.

Principales Contribuciones

1. Identificación de la Deriva de la Atención: El artículo establece la deriva de la atención en los ViTs como una fuente primaria de olvido catastrófico en el aprendizaje continuo, destacando la necesidad de preservar la atención selectiva sobre conceptos visuales previos.
2. Marco Novedoso (ARCL-ViT): Se introduce un marco basado en gradientes que restringe la deriva de la atención sin requerir la reproducción de datos. Utiliza un despliegue por capas para una extracción robusta de mapas de atención y una estrategia de umbralización adaptativa para una generación precisa de máscaras.
3. Enmascaramiento de Gradiente Consciente del Optimizador: El método introduce una técnica de escalado para asegurar que el enmascaramiento de gradientes sea compatible con optimizadores adaptativos, evitando la inestabilidad de la optimización mientras preserva eficazmente los patrones de atención aprendidos.
4. Rendimiento de Vanguardia (SOTA): El enfoque logra resultados superiores en diversos benchmarks y esquemas de pre-entrenamiento, demostrando una robusta generalizabilidad.

Resultados Experimentales

El método fue evaluado en cuatro benchmarks de aprendizaje incremental de clases: ImageNet-R (10-split y 20-split), CIFAR-100 (10-split) y DomainNet (10-split).

• Rendimiento: ARCL-ViT alcanzó un rendimiento de vanguardia (SOTA), superando a métodos recientes (por ejemplo, VPT-CPG, SD-LoRA, BiLoRA) con una mejora promedio de 1.8% a 3.7% en precisión a través de los benchmarks.
• Reducción del Olvido: El método redujo significativamente el olvido catastrófico. Por ejemplo, en 10-split ImageNet-R, logró una precisión del 81.17% con un olvido del 4.84%, comparado con la línea base de ajuste fino secuencial (Seq-FT), que sufrió un olvido del 44.31% y solo un 49.43% de precisión.
• Estudios de Ablación:
  • Construcción de la Máscara: La combinación de despliegue por capas y umbralización adaptativa produjo los mejores resultados, superando al uso de atención bruta o umbrales fijos.
  • Regiones Enmascaradas: Se demostró que enmascarar las regiones de atención específicas de las tareas previas es esencial; enmascarar regiones aleatorias o regiones sin atención resultó en un olvido significativamente mayor.
• Generalización:
  • Pesos de Pre-entrenamiento: El método generalizó bien a través de diferentes pesos pre-entrenados (DINO-1k e iBOT-1k), superando consistentemente a las líneas base con una ganancia de precisión de ~37% sobre Seq-FT.
  • CL de Secuencia Larga: En configuraciones desafiantes de secuencias largas (50 y 100 divisiones), ARCL-ViT mantuvo una precisión superior y logró un mejor equilibrio entre plasticidad y estabilidad en comparación con los métodos SOTA existentes.
• Visualización: El análisis cuantitativo de la deriva de la atención mostró que ARCL-ViT mantuvo la deriva más baja (6.0%) en comparación con Seq-FT (25.9%), confirmando visualmente la preservación de la atención sobre conceptos visuales clave.

Significado y Reivindicaciones

El artículo sostiene que, al alinear el mecanismo de atención de los ViT con los principios biológicos de la atención selectiva, es posible mitigar el olvido catastrófico de manera efectiva sin la sobrecarga de almacenamiento de los métodos basados en reproducción. Los autores posicionan su trabajo como un paso significativo hacia la construcción de sistemas de aprendizaje continuo que se asemejen a la inteligencia biológica, específicamente mediante la estabilización de los "recursos neurales" (atención) dedicados a los conceptos visuales aprendidos previamente. El método se presenta como una solución robusta y sin datos (data-free) que es compatible con las técnicas de optimización modernas y se generaliza a través de diversas estrategias de pre-entrenamiento y escenarios de aprendizaje a largo plazo.