Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Resumen Técnico de Mamba-FSCIL: Adaptación Dinámica con un Modelo de Espacio de Estados Selectivo para el Aprendizaje Incremental de Pocas Clases

Planteamiento del Problema
El Aprendizaje Incremental de Pocas Clases (FSCIL, por sus siglas en inglés) tiene como objetivo permitir que los modelos aprendan continuamente clases novedosas a partir de ejemplos limitados, mientras retienen el conocimiento de las clases base previamente aprendidas. Los enfoques existentes enfrentan un dilema crítico respecto al compromiso entre estabilidad y plasticidad. Los métodos de adaptación estática emplean proyectores de capacidad fija compartidos en todas las sesiones; sin embargo, la actualización de estos pesos compartidos para nuevas clases suele sobrescribir los parámetros que codifican el conocimiento base, lo que provoca un olvido catastrófico. Por el contrario, los métodos de adaptación dinámica con arquitecturas en expansión asignan nuevos parámetros para cada sesión con el fin de preservar la estabilidad, pero esto resulta en un crecimiento ilimitado del modelo, aumentando los costos computacionales y limitando la escalabilidad. El desafío central es lograr una adaptación dinámica a las nuevas clases y preservar el conocimiento antiguo sin la expansión de parámetros por sesión.

Metodología
Los autores proponen Mamba-FSCL, un marco que aprovecha los Modelos de Espacio de Estados (SSM) Selectivos, específicamente Mamba, para permitir una computación dinámica dependiente de la entrada dentro de una arquitectura de capacidad fija. En lugar de expandir el tamaño del modelo, el método explota la capacidad de Mamba para generar parámetros centrales ($B_i, C_i, \Delta_i$) sobre la marcha basándose en el contenido de la entrada. El marco consta de tres componentes principales:

1. Proyector SSM Selectivo Dual:
   Para desacoplar estructuralmente la estabilidad y la plasticidad, el proyector se divide en dos ramas paralelas:

   • Rama SSM Selectiva Base ($g_{base}$): Esta rama actúa como un "ancla de estabilidad". Se entrena exclusivamente durante la sesión base y luego se congela. A diferencia de los módulos estáticos tradicionales congelados, $g_{base}$ sigue siendo computacionalmente dinámico; continúa generando parámetros condicionados por la entrada incluso cuando está congelado, proporcionando transformaciones estables y conscientes del contexto que preservan las representaciones fundamentales de las clases base.
   • Rama SSM Selectiva Incremental ($g_{inc}$): Esta rama actúa como un "habilitador de plasticidad". Es un módulo Mamba de capacidad única y fija que se reutiliza en todas las sesiones incrementales. Aprovecha el mecanismo dependiente de la entrada de Mamba para capturar los desplazamientos residuales de características requeridos para las nuevas clases. Al generar parámetros dinámicos distintos basados en el contexto de la entrada, $g_{inc}$ se adapta a las nuevas clases sin añadir nuevas ramas específicas de la sesión.

2. Mecanismo de Escaneo Selectivo Sensible a la Clase:
   Para asegurar que la adaptación dinámica de $g_{inc}$ sea sensible a la clase y no meramente consciente del contenido, los autores introducen dos pérdidas de regularización:

   • Pérdida de Supresión ($\mathcal{L}_{supp}$): Esta pérdida minimiza la magnitud de activación de la corriente de compuerta ($Z_{inc}$) para las entradas de clases base. Al suprimir la contribución de la rama incremental para las clases conocidas, evita la interferencia con el ancla de estabilidad congelada. Por el contrario, fomenta una norma mayor para las entradas de clases novedosas para facilitar la adaptación.
   • Pérdida de Separación ($\mathcal{L}_{sep}$): Esta pérdida minimiza la similitud de coseno absoluta entre los parámetros promedio del espacio de estados ($B, C, \Delta$) generados para las clases base frente a las clases novedosas. Esto incentiva al modelo a formar vías de transformación distintas para nuevos conceptos, reduciendo el solapamiento representacional y mejorando la plasticidad.

3. Estrategia de Optimización:
   El marco utiliza un clasificador de Marco de Trama Equiangular Simple (ETF) fijo. Durante la sesión base, el backbone, la rama de identidad y $g_{base}$ se optimizan conjuntamente. En las sesiones incrementales, el backbone y $g_{base}$ se congelan, y solo se optimiza $g_{inc}$ utilizando una combinación de pérdida de Regresión por Dot (DR), pérdida de supresión y pérdida de separación. El sistema opera sin almacenar o reproducir imágenes puras de sesiones anteriores, apoyándose en una memoria compacta de prototipos de media de clase a nivel de características.

Contribuciones Clave

• Marco Mamba-FSCIL: El primer marco que aplica la computación dinámica dependiente de la entrada de Mamba al FSCIL, logrando una adaptación sensible a la clase dentro de un modelo de capacidad fija.
• Proyector SSM Selectivo Dual: Una innovación estructural que separa el procesamiento de clases base y novedosas mediante una rama base computacionalmente dinámica y congelada, y una rama incremental reutilizable, equilibrando estabilidad y plasticidad sin expansión de parámetros.
• Mecanismo de Escaneo Selectivo Sensible a la Clase: Una estrategia de regularización novedosa que utiliza pérdidas de supresión y separación para guiar explícitamente la generación de parámetros dinámicos de la rama incremental, asegurando patrones de procesamiento distintos para clases base y novedosas.
• Rendimiento de Vanguardia: Experimentos extensos demuestran que Mamba-FSCIL supera a los métodos estáticos y dinámicos existentes en miniImageNet, CIFAR-100 y CUB-200.

Resultos Experimentales
El artículo reporta evaluaciones extensas en tres conjuntos de datos de referencia:

• miniImageNet: Utilizando un backbone ResNet-12, Mamba-FSCIL logra una precisión promedio (AVG) del 69.74% y una precisión de la sesión final del 59.29%, superando al estado del arte anterior (NC-FSCIL) por 1.92 y 0.98 puntos, respectivamente.
• CIFAR-100: Con ResNet-12, el método logra un AVG de 68.19% y una precisión final de 57.52%, mejorando significativamente sobre NC-FSCIL y FeSSSS.
• CUB-200: En este conjunto de datos de grano fino, Mamba-FSCIL logra un AVG de 68.11% y una precisión final de 61.52%. Cuando se utilizan backbones de Transformer (por ejemplo, Swin-T, ViT-B/16), el método alcanza consistentemente el rendimiento más alto o altamente competitivo, reduciendo notablemente la caída de rendimiento (PD) en comparación con los métodos basados en expansión como DSN.
• Estudios de Ablación: Los experimentos confirman que el diseño de doble rama y las pérdidas sensibles a la clase son críticos, ya que el modelo completo supera a las variantes que utilizan proyectores estáticos, ramas SSM únicas o carecen de regularización. El análisis cualitativo mediante mapas de activación y visualizaciones t-SNE valida además la capacidad del modelo para mantener representaciones estables de las clases base mientras se adapta dinámicamente a las nuevas clases.

Significancia
El artículo afirma que Mamba-FSCIL ofrece una alternativa práctica y escalable tanto para los paradigmas de compartir parámetros como para los de expansión de parámetros. Al utilizar la computación dinámica dependiente de la entrada, resuelve el dilema de estabilidad-plasticidad sin la carga computacional de expandir continuamente las arquitecturas del modelo. El trabajo demuestra que los Modelos de Espacio de Estados Selectivos pueden mitigar eficazmente el olvido catastrófico en entornos de aprendizaje incremental de pocas muestras mediante la generación de patrones de procesamiento distintos y sensibles a la clase para nuevos datos, preservando al mismo tiempo la integridad del conocimiento establecido.