When Classes Evolve: A Benchmark and Framework for Stage-Aware Class-Incremental Learning

Resumen Técnico: Cuando las clases evolucionan: un benchmark y un marco de trabajo para el Aprendizaje Incremental de Clases Sensible a las Etapas

Definición del Problema: Aprendizaje Incremental de Clases Sensible a las Etapas (Stage-CIL)
El Aprendizaje Incremental de Clases (CIL) convencional opera bajo la suposición implícita de que las clases semánticas son morfológicamente estáticas; el desafío principal es mitigar el olvido catastrófico de las categorías aprendidas previamente a medida que se introducen nuevas. Sin embargo, en muchos escenarios del mundo real, las instancias de una misma clase semántica experimentan una evolución morfológica sustancial a lo largo del tiempo (por ejemplo, una larva transformándose en mariposa, o un vehículo acumulando daños).

El artículo identifica un dilema fundamental al aplicar el CIL estándar a tales escenarios:

1. Agrupar todas las etapas bajo una sola etiqueta aplana la estructura evolutiva, induciendo una severa interferencia de características intra-clase.
2. Dividir las etapas en pseudo-clases separadas corta el vínculo de identidad subyacente, fallando en preservar la consistencia semántica.

Esto conduce a una nueva forma de olvido intra-clase, donde un modelo no logra mantener la consistencia de reconocimiento a través de diferentes etapas morfológicas de la misma clase semántica, incluso si discrimina con éxito entre diferentes clases. Los protocolos de cambio de dominio estándar no evalúan explícitamente esta preservación de identidad condicionada a la clase dentro de un espacio de etiquetas en expansión.

Metodología: El Marco STAGE
Para abordar el Stage-CIL, los autores proponen STAGE, un punto de referencia de evolución consciente diseñado para desentrelazar la identidad semántica estable de la dinámica específica de cada etapa. El marco opera mediante un flujo de trabajo de "predecir-luego-clasificar":

1. Construcción del Ancla de Identidad (Fase 0):

   • El modelo congela el backbone (usando un Modelo Pre-entrenado, específicamente CLIP ViT-B/16) y aprende cabezales de proyección de imagen y texto específicos para la tarea.
   • Para cada nueva clase, construye un prototipo de identidad estable ($p^y_0$) basado en la etapa morfológica inicial (Etapa-0). Este prototipo se almacena como un vector fijo y sirve como ancla semántica.

2. Evolución Predictiva mediante un Pool de Memoria (Fase 1):

   • En lugar de reemplazar el ancla con características de etapas mixtas, STAGE predice el prototipo de clase evolucionado ($\hat{p}^y_1$) para la etapa posterior (Etapa-1) utilizando el ancla de la Etapa-0.
   • Esto se logra mediante un Pool de Memoria sensible a la Evolución, una memoria entrenable de tamaño fijo que contiene patrones de transformación reutilizables.
   • El modelo utiliza un mecanismo de atención para seleccionar los $k$ patrones superiores del pool que mejor coinciden con el ancla de la clase actual.
   • Una red de evolución ($E$) aplica una actualización residual al ancla basada en el contexto atendido para predecir el prototipo de la Etapa-1: $\hat{p}^y_1 = p^y_0 + E(p^y_0, c^y)$.

3. Objetivos de Clasificación y Entrenamiento:

   • Clasificación Agnóstica a la Etapa: En la inferencia, las etiquetas de etapa no están disponibles. El modelo clasifica una entrada computando los logits contra el prototipo que mejor coincida entre todas las etapas disponibles (ya sea el ancla original o el prototipo evolucionado predicho).
   • Funciones de Pérdida: El objetivo de entrenamiento combina la entropía cruzada estándar con términos específicos:
     • Pérdida de Evolución ($L_{evo}$): Minimiza la distancia entre los prototipos de la Etapa-1 predichos y los reales, alineando la dirección del desplazamiento predicho con la verdad de campo (ground truth).
     • Ensayo de Patrones ($L_{pattern}$): Asegura que el predictor de evolución permanezca consistente en los patrones previamente aprendidos en el pool de memoria, evitando cambios arbitrarios en el operador de transformación.
     • Ensayo de Prototipos ($L_{proto}$): Mantiene la alineación con el espacio de anclas fijas para preservar la discriminación inter-clase.

Benchmark: Stage-Bench
Los autores introducen Stage-Bench, el primer benchmark multi-dominio adaptado para Stage-CIL.

• Alcance: Abarca 10 dominios semánticos diversos (Animales, Plantas, Artefactos) con 20 clases por dominio, totalizando 400 etapas morfológicas.
• Protocolo: Utiliza un régimen de dos etapas (Etapa-0: forma inicial; Etapa-1: forma evolucionada) con un protocolo de aprendizaje progresivo controlado.
• Métricas: Además de la precisión promedio estándar, el benchmark introduce dos métricas de diagnóstico:
  • Olvido Inter-clase (Inter-F): Mide la caída en la precisión de las clases aprendidas previamente.
  • Olvido Intra-clase (Intra-F): Mide específicamente la caída de rendimiento en la etapa morfológica más temprana de una clase después de que el modelo ha sido actualizado con datos de etapas posteriores. Esto aisla la degradación de la consistencia de identidad a través de las etapas.

Resultados Clave
Experimentos extensos en Stage-Bench demuestran que:

• Limitaciones de los Métodos Existentes: Los métodos de vanguardia de CIL y Aprendizaje Incremental de Dominio (DIL) (por ejemplo, iCaRL, L2P, DualPrompt, MOS, SimpleCIL) se desempeñan significativamente peor bajo Stage-CIL. Exhiben puntuaciones de Intra-F elevadas, lo que indica que fallan en preservar la consistencia de identidad a través de las formas evolutivas.
• Rendimiento de STAGE: STAGE supera consistentemente a todos los competidores. En el benchmark principal de dos etapas, alcanza una precisión promedio del 75.11% y una precisión final del 56.44%, superando significativamente al siguiente mejor método, MOS, que logró una precisión promedio del 59.74%.
• Reducción del Olvido: STAGE reduce drásticamente el olvido, logrando un Intra-F de 7.48% en comparación con el 24.44%–58.61% de otros métodos.
• Generalización: Al ser probado en un entorno reestructurado de tres etapas (dominio de Objetos), STAGE mantiene una clara ventaja con un Intra-F de solo 0.31%, lo que sugiere que el enfoque escala a regímenes evolutivos más complejos.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones principales:

1. Formalización de Stage-CIL: Establece un nuevo escenario de aprendizaje continuo que aborda explícitamente el desafío de preservar la identidad semántica a través de la evolución morfológica intra-clase, distinguiéndolo del CIL y DIL estándar.
2. Benchmarking: Proporciona Stage-Bench y las métricas de diagnóstico asociadas (Inter-F e Intra-F) para evaluar y aislar rigurosamente el olvido intra-clase, algo que los benchmarks anteriores no lograron capturar.
3. Prueba de Concepto: A través de STAGE, los autores demuestran que el modelado explícito de la transformación de etapas es una dirección viable y prometedora para resolver el olvido intra-clase. Al separar los anclajes de identidad estables de los patrones de transformación dinámicos, el marco permite la predicción de formas morfológicas posteriores a partir de representaciones anteriores, mitigando eficazmente el problema del "olvido intra-clase".

Los autores concluyen que las reducciones convencionales de CIL (que ignoran la estructura de las etapas) son insuficientes para las clases en evolución y que los futuros sistemas de aprendizaje continuo deben considerar la evolución temporal y específica de cada etapa dentro de las categorías semánticas.