Soft-TransFormers for Continual Learning

A continuación se presenta un resumen técnico detallado del artículo "Soft-TransFormer for Continual Learning" de Haeyong Kang y Chang D. Yoo.

1. Planteamiento del Problema

El Aprendizaje Continuo (CL) tiene como objetivo entrenar modelos en una secuencia de tareas a lo largo del tiempo sin olvidar el conocimiento aprendido previamente. Un desafío mayor en CL es el Olvido Catastrófico (CF), donde las actualizaciones para nuevas tareas sobrescriben los parámetros esenciales para las tareas antiguas.

Si bien el Aprendizaje Continuo basado en Prompts (por ejemplo, L2P, DualPrompt) ha surgido como una solución eficiente en parámetros al congelar el backbone y aprender prompts ligeros, enfrenta limitaciones significativas:

• Expresividad Limitada: Los prompts modifican las representaciones solo implícitamente a través de la condicionamiento de la entrada, careciendo del control fino del ajuste fino completo.
• Problemas de Escalabilidad: Gestionar grandes grupos de prompts se vuelve engorroso a medida que crece el número de tareas.
• Interferencia de Tareas: Los prompts luchan por capturar variaciones en secuencias de tareas altamente heterogéneas o no correlacionadas.

Los métodos existentes de Ajuste Fino Eficiente en Parámetros (PEFT) como Adapters y LoRA ofrecen una mejor adaptación, pero a menudo acumulan módulos específicos de tareas o sufren interferencia cuando la similitud entre tareas es baja.

2. Metodología: Soft-TransFormer (Soft-TF)

Los autores proponen Soft-TransFormer (Soft-TF), un marco que combina la estabilidad de los backbones congelados con la flexibilidad de la adaptación completa de parámetros, fundamentado en la Hipótesis de la Ticket de Lotería Bien Inicializada (WLTH).

Hipótesis Central: Hipótesis de la Ticket de Lotería Bien Inicializada (WLTH)

La hipótesis postula que una red neuronal densa bien inicializada contiene:

1. Soluciones globalmente estables que preservan el conocimiento de tareas anteriores.
2. Subespacios locales (subredes suaves, de valores reales) que pueden adaptarse selectivamente para nuevas tareas sin sobrescribir la información del backbone congelado.

Arquitectura y Mecanismo

Soft-TF opera sobre un Transformer preentrenado congelado (por ejemplo, ViT) e introduce dos componentes principales:

1. Máscaras Multiplicativas Suaves (Soft-Subnetworks):

   • En lugar de añadir nuevas capas (como Adapters) o matrices de bajo rango (como LoRA), Soft-TF aprende máscaras multiplicativas de valores reales ($m_t$) aplicadas directamente a las proyecciones de Clave ($K$), Consulta ($Q$), Valor ($V$) y Salida ($O$) dentro de las capas de autoatención.
   • Inicialización: Las máscaras se inicializan en 1.0. Esto asegura que, al inicio del entrenamiento, el cálculo sea idéntico al del modelo preentrenado, preservando la estructura global.
   • Operación: Para una tarea $t$, el peso efectivo se convierte en $\theta \odot m_t$. Esto permite que el modelo "suavemente" gatee o module caminos específicos dentro de los pesos congelados, habilitando una adaptación específica de la tarea mientras mantiene el backbone fijo.

2. Mecanismo de Dual-Prompt:

   • Soft-TF integra un sistema ligero de Dual-Prompt que consta de:
     • Prompts Generales (G-Prompts): Compartidos entre todas las tareas para mantener el contexto global.
     • Prompts Expertos (E-Prompts): Prompts específicos de la tarea insertados en capas específicas.
   • Esta combinación asegura una fuerte separación y estabilidad de tareas sin requerir IDs de tareas explícitos durante la inferencia (mediante mecanismos de inferencia de tareas).

Optimización e Inferencia

• Entrenamiento: Solo se actualizan los prompts, las máscaras suaves, las claves de tarea y un clasificador ligero. El backbone permanece congelado.
• Inferencia de Tareas: En el momento de la prueba, el modelo infiere la identidad de la tarea utilizando cualquiera de los siguientes:
  • ID de Prompt: Emparejando la consulta de entrada con las claves de tarea aprendidas mediante similitud coseno.
  • ID de Gradiente: Un método de inferencia de un solo disparo que asigna pesos a las subredes y selecciona la tarea que minimiza la entropía.

3. Contribuciones Clave

1. Nuevo Marco: Introducción de Soft-TF, un paradigma de CL eficiente en parámetros que aprende subredes suaves específicas de la tarea (máscaras) compactas dentro de Transformers congelados, inspirado en la WLTH.
2. Fundamento Teórico: Proporciona un análisis teórico que demuestra que inicializar las máscaras en 1.0 y optimizar en un espacio de parámetros suaves de baja dimensionalidad limita la deriva de parámetros, asegurando la convergencia y la estabilidad.
3. Rendimiento de Vanguardia: Demuestra que Soft-TF supera a las líneas base basadas en prompts (L2P, DualPrompt, NoRGa), basadas en adapters y basadas en LoRA en múltiples puntos de referencia.
4. Superioridad sobre el Entrenamiento Conjunto: Remarkablemente, Soft-TF logra un rendimiento que supera el "Límite Superior Conjunto" (entrenar todas las tareas simultáneamente con una solución compartida), demostrando su capacidad para aislar y optimizar subespacios distintos para cada tarea.

4. Resultados Experimentales

El método fue evaluado en puntos de referencia de Aprendizaje Incremental de Clases (CIL) utilizando Vision Transformers (ViT).

• Conjuntos de Datos: 10/20-Split-CIFAR100, 10-Split-TinyImageNet, 10-Split-ImageNet-R y 5-Split-CUB200.
• Métricas de Rendimiento:
  • Precisión: Soft-TF logró consistentemente la mayor precisión. Por ejemplo, en 10-Split-CIFAR100, Soft-TF alcanzó una precisión del 92.35% (vs. 86.50% para DualPrompt y 94.48% para NoRGa, pero con un olvido significativamente menor).
  • Olvido: Redujo drásticamente el olvido catastrófico. En 10-Split-CIFAR100, el olvido se redujo al 2.98% (comparado con 5.77% para DualPrompt y 1.44% para NoRGa, pero con una precisión absoluta mucho mayor).
  • Eficiencia: A pesar de utilizar ~6.93M de parámetros entrenables (comparable a LoRA/Adapter), mantuvo una latencia de inferencia baja.
• Estudios de Ablación:
  • Inicialización: La inicialización uniforme (estableciendo las máscaras en 1.0) produjo los mejores resultados, validando la WLTH.
  • Backbones: El rendimiento escaló con el tamaño del modelo (de ViT-Ti a ViT-L), logrando ViT-L/16 una precisión del 78.86% en ImageNet-R con un olvido mínimo.
  • Selección de Capas: Aplicar Soft-TF a capas superiores (por ejemplo, 10-12) en configuraciones de DualPrompt produjo resultados óptimos.

5. Significado

Este artículo aborda una brecha crítica en el Aprendizaje Continuo al ir más allá de las limitaciones del condicionamiento solo por prompts.

• Cerrando la Brecha: Con éxito cierra la brecha entre la estabilidad de los backbones congelados y la expresividad del ajuste fino completo.
• Cambio de Mecanismo: Al cambiar de "añadir" parámetros (Adapters/LoRA) o "condicionar" entradas (Prompts) a modular pesos existentes mediante máscaras suaves, ofrece una forma más directa y eficiente de adaptar modelos preentrenados.
• Impacto Práctico: Soft-TF proporciona una solución robusta para escenarios del mundo real donde los modelos deben aprender continuamente de diversos flujos de datos sin olvidar, logrando una especialización casi óptima para cada tarea mientras mantienen una única estructura de modelo compacta.

En resumen, Soft-TransFormer representa un avance significativo en PEFT para el Aprendizaje Continuo, demostrando que las subredes suaves bien inicializadas pueden desbloquear el potencial completo de los Transformers congelados para el aprendizaje de por vida.