Resumen Técnico: Escalado del Aprendizaje Continuo a Más de 300 Tareas con Mezcla de Expertos con Enrutamiento de Dos Niveles (CaRE)

1. Declaración del Problema

El aprendizaje continuo, particularmente el Aprendizaje Incremental de Clases (CIL), tiene como objetivo permitir que los modelos aprendan nuevas tareas secuencialmente sin olvidar el conocimiento previo. Aunque los enfoques recientes que aprovechan Modelos Preentrenados (PTM) y el Ajuste Fino Eficiente en Parámetros (PEFT) han mostrado promesa, enfrentan desafíos significativos al escalar a secuencias de tareas muy largas (por ejemplo, cientos de tareas).

Las dificultades principales identificadas son:

• Equilibrar Representaciones Discriminativas y Compreensivas: Los métodos existentes a menudo luchan por generar representaciones que sean altamente discriminativas para clases específicas y lo suficientemente integrales para aprovechar el conocimiento complementario de tareas históricas semánticamente relacionadas. Las estrategias de grano grueso (por ejemplo, indicaciones globales) no logran explotar eficazmente las señales complementarias de grano fino.
• Decisiones Locales Multinivel: Los modelos de visión poseen niveles variables de abstracción a través de diferentes profundidades de la red. Una estrategia de enrutamiento estática falla en tomar decisiones locales óptimas en cada capa intermedia para incorporar selectivamente el conocimiento histórico.
• Falta de Puntos de Referencia Escalables: La mayoría de los puntos de referencia CIL existentes (por ejemplo, CIFAR-100, subconjuntos estándar de ImageNet) se limitan a un pequeño número de clases (a menudo <100), lo que los hace inadecuados para evaluar el rendimiento en secuencias largas (100–300+ tareas). Esto deja la escalabilidad de los métodos actuales hacia flujos de tareas del mundo real, ilimitados, en gran parte inexplorada.

2. Metodología: CaRE y BR-MoE

Los autores proponen CaRE (Aprendiz Continuo con Mezcla de Expertos con Enrutamiento de Dos Niveles eficiente), construido sobre una columna vertebral de Transformador de Visión (ViT) congelada. La innovación central es el módulo Mezcla de Expertos con Enrutamiento de Dos Niveles (BR-MoE), que se integra en cada bloque de construcción del ViT.

2.1 Descripción General de la Arquitectura

Para cada tarea incremental $t$, CaRE aprende un triplete de componentes eficientes en parámetros dentro de cada módulo BR-MoE:

1. Perceptrón de Clase ($C_t$): Extrae información discriminativa a nivel de clase.
2. Red Enrutadora ($R_t$): Genera coeficientes de puerta para la selección de expertos.
3. Experto/Adaptador ($E_t$): Un adaptador específico de la tarea para la transformación de características.
   Adicionalmente, se mantiene un Experto Compartido ($\bar{E}$), actualizado mediante un Promedio Móvil Exponencial (EMA) a través de todas las tareas para codificar conocimiento consolidado entre tareas.

2.2 El Mecanismo de Enrutamiento de Dos Niveles

El proceso de enrutamiento ocurre en dos etapas dinámicas para cada característica de entrada $z_a$ en cada capa:

Etapa 1: Selección Dinámica del Enrutador

• El token [CLS] de la característica de entrada se alimenta a todos los perceptrones de clase aprendidos $\{C_t\}$.
• Cada perceptrón produce una distribución de probabilidad sobre las clases de su tarea.
• Se calcula la entropía de estas distribuciones. Una entropía más baja indica una mayor confianza de que la entrada pertenece a esa tarea.
• El sistema selecciona las redes enrutadoras de los Top-M asociadas con los valores de entropía más bajos (tareas más probables). Esto asegura que el modelo recupere conocimiento de las tareas históricas semánticamente más relevantes.

Etapa 2: Enrutamiento Dinámico de Expertos

• Cada uno de los $M$ enrutadores seleccionados genera puntuaciones de puerta para su conjunto asociado de expertos específicos de la tarea (adaptadores).
• Para cada enrutador, se activan y agregan los Top-K expertos con las puntuaciones de puerta más altas.
• El Experto Compartido ($\bar{E}$) se activa siempre para enriquecer la representación con conocimiento general entre tareas.
• La salida final es la suma de las características específicas de la tarea agregadas y la salida del experto compartido.

2.3 Objetivos de Entrenamiento

• Pérdida de Clasificación: Se aplica una pérdida de penalización angular estándar en la capa final.
• Supervisión del Perceptrón de Clase: Para garantizar una guía semántica robusta en capas intermedias, el perceptrón de clase en cada capa $\ell$ es supervisado no solo por su propia pérdida de clasificación, sino también por una pérdida de divergencia KL contra las probabilidades softmax de la capa final. Esto fuerza a las capas intermedias a imitar abstracciones semánticas de alto nivel, permitiendo una toma de decisiones local efectiva.

3. Contribuciones Clave

3.1 El Marco CaRE

CaRE es el primer aprendiz continuo diseñado para escalar eficazmente a secuencias de tareas muy largas (100 a 300+ tareas no superpuestas). Al emplear un mecanismo de enrutamiento de dos niveles, inyecta dinámicamente representaciones tanto discriminativas como integrales en cada capa intermedia de la red, permitiendo una recuperación de conocimiento personalizada en diferentes niveles de abstracción.

3.2 OmniBenchmark-1K

Para abordar la falta de protocolos de evaluación adecuados para secuencias largas, los autores introducen OmniBenchmark-1K. Curado a partir de OmniBenchmark-V2, este conjunto de datos contiene 1.000 clases en 21 dominios visuales con ~190.000 imágenes. Está diseñado específicamente para facilitar evaluaciones CIL escalables con cientos de tareas, superando las limitaciones de puntos de referencia existentes como CIFAR-100.

3.3 Validación Empírica

Extensos experimentos demuestran que CaRE supera a los métodos CIL basados en PTM más avanzados (por ejemplo, L2P, DualPrompt, TUNA, MOS, MIN) en diversos escenarios:

• Secuencias Largas: En OmniBenchmark-1K, CaRE logra ganancias significativas en la precisión final ($A_B$) sobre las líneas base en configuraciones de 100, 151, 200 y 301 tareas. Por ejemplo, supera a TUNA en un 8,23% y a MIN en un 8,68% en $A_B$ en 100 y 151 tareas, respectivamente.
• Secuencias Cortas: CaRE también mantiene un rendimiento superior en puntos de referencia clásicos (CIFAR-100, ImageNet-R, ImageNet-A, VTAB) con 5–20 tareas, demostrando robustez a través de las longitudes de secuencia.
• Eficiencia: CaRE logra una compensación favorable entre rendimiento y costo computacional, utilizando significativamente menos parámetros entrenables y una latencia de inferencia más baja en comparación con métodos como MOS y TUNA, mientras ofrece una mayor precisión.

4. Significado y Afirmaciones

El artículo afirma que CaRE representa un paso significativo hacia adelante para hacer que el aprendizaje continuo sea práctico para escenarios del mundo real donde los flujos de datos son no estacionarios y las secuencias de tareas son potencialmente ilimitadas.

• Escalabilidad: El trabajo se presenta como el primero en escalar con éxito el CIL a más de 300 tareas no superpuestas mientras mantiene una superioridad de rendimiento clara.
• Validez del Mecanismo: Los autores argumentan que el mecanismo de enrutamiento de dos niveles aborda eficazmente el dilema de "estabilidad-plasticidad" al permitir que el modelo recupere dinámicamente el conocimiento histórico relevante (mediante la selección del enrutador) y agregue características complementarias (mediante el enrutamiento de expertos) en cada capa.
• Impacto en la Comunidad: Al publicar tanto el código de CaRE como el conjunto de datos OmniBenchmark-1K, los autores buscan inspirar más investigación sobre secuencias de tareas extremadamente largas, un dominio previamente obstaculizado por la falta de puntos de referencia apropiados y métodos escalables.

El artículo concluye con un reconocimiento modesto de que, aunque CaRE escala a más de 300 tareas, la complejidad del modelo aún crece linealmente con el número de tareas (debido a la adición de nuevos módulos), y el trabajo futuro podría centrarse en una mayor simplificación arquitectónica y extender estos protocolos a modelos de visión-idioma.