💻 computer science

Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning

El artículo propone Miles, un método de aprendizaje incremental de clases que aprovecha modelos preentrenados mediante el desacoplamiento de módulos aprendibles y la utilización de un subespacio expandible con aprendizaje métrico para equilibrar eficazmente el rendimiento y el costo computacional, mitigando al mismo tiempo el olvido catastrófico.

Autores originales: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot superinteligente a reconocer cosas nuevas, como un nuevo tipo de ave o una flor rara, sin que olvide todo lo que ya sabe sobre perros y gatos. Este es el mundo del Aprendizaje Incremental de Clases (CIL). En el pasado, si querías enseñarle un nuevo concepto a un robot, a menudo tenías que reentrenar todo su cerebro desde cero, lo cual era lento y propenso al "olvido catastrófico": donde el robot de repente olvidaba cómo reconocer a un perro solo por haber aprendido sobre una nueva flor.

Para resolver esto, los científicos empezaron a usar Modelos Pre-Entrenados (PTM). Piensa en estos como robots que ya han pasado años leyendo cada libro en la biblioteca y viendo cada documental de la naturaleza. Ya conocen los conceptos básicos del mundo. El desafío ahora es cómo enseñar a estos robots "expertos" nuevas habilidades específicas sin estropear su conocimiento existente o hacerlos demasiado pesados y lentos para funcionar. La gran pregunta es: ¿Cómo añadimos nuevas habilidades al cerebro de un experto de manera eficiente, manteniendo las habilidades antiguas agudas mientras se aprenden las nuevas, todo esto sin necesidad de una biblioteca masiva de fotos antiguas para revisar?

Aquí entra MILES (Aprendizaje Métrico con Subespacio Expandible), un nuevo método propuesto por los investigadores Kai Jiang y su equipo. Ellos notaron que, aunque estos robots pre-entrenados son inteligentes, a veces se confunden al intentar aprender nuevas categorías porque el "espacio mental" donde almacenan ideas se desordena. Las ideas viejas y las nuevas empiezan a superponerse, como intentar estacionar un coche nuevo en un garaje que ya está lleno de otros viejos.

Para solucionar esto, MILES utiliza una estrategia ingeniosa de dos partes. Primero, crea una Proyección de Prototipo de Subespacio (SPP). Imagina que el robot tiene un garaje gigante y desordenado (el espacio de características). MILES construye una serie de "mini-garajes" especializados o subespacios para cada nueva tarea. Cuando llega una nueva categoría, el robot proyecta sus características en este nuevo mini-garaje, donde puede organizar ordenadamente los nuevos elementos justo al lado de un "prototipo" (un ejemplo perfecto) de ese elemento, manteniéndolos lejos de los elementos viejos y no relacionados. Esto es como tener un estante dedicado para tu nueva colección de sellos para que no se mezclen con tu antigua colección de monedas.

Sin embargo, construir un estante no es suficiente si los ojos del robot (el modelo pre-entrenado) no están viendo los detalles con suficiente claridad para la nueva tarea. Así que, MILES añade una Extensión de Representación de Subespacio (SRE). Esto es como darle al robot unos lentes especializados y ligeros para cada nueva tarea. Estos lentes no reemplazan la visión principal del robot; simplemente añaden un poco de zoom y claridad a los pasos intermedios de la visión, permitiendo que el robot aprenda la nueva tarea mucho mejor sin necesidad de reconstruir todo su cerebro.

Finalmente, los investigadores notaron un problema: a veces el robot se vuelve demasiado bueno en la nueva tarea y empieza a ignorar las anteriores, o la "distancia" entre los elementos se vuelve extrañamente inconsistente. Para detener esto, introdujeron la Regularización de Distancia (DR). Piensa en esto como un bibliotecario estricto que asegura que la distancia entre cualquier par de libros en el estante sea siempre justa y consistente, sin importar en qué sección de la biblioteca te encuentres. Esto evita que el robot se obsesione demasiado con lo nuevo y olvide el equilibrio de toda la biblioteca.

El equipo probó MILES en seis conjuntos de datos diferentes, que van desde imágenes simples como CIFAR-100 hasta fotos complejas del mundo real como ImageNet-R. Los resultados fueron impresionantes: MILES logró la mayor precisión en la mayoría de los entornos, superando a otros métodos de primer nivel. Por ejemplo, en el conjunto de datos CIFAR-100 con 10 tareas, alcanzó una precisión del 93.93%, lo que es casi un 1% mejor que el segundo mejor método, mientras olvidaba muy poco de lo que había aprendido antes. El método también demostró ser eficiente, utilizando muy pocos recursos informáticos y memoria adicionales en comparación con otros enfoques.

En resumen, MILES sugiere que al combinar el poder del conocimiento pre-entrenado con adiciones inteligentes y ligeras que organizan la nueva información en espacios dedicados y mantienen todo equilibrado, podemos enseñar a la IA a aprender continuamente sin olvidar. Es un paso hacia la creación de una IA que pueda crecer y adaptarse como un humano, aprendiendo cosas nuevas cada día sin perder su pasado.

Resumen Técnico: MILES (Aprendizaje Métrico con Subespacio Expandible)

Planteamiento del Problema
El Aprendizaje Incremental de Clases (CIL, por sus siglas en inglés) tiene como objetivo aprender nuevos conceptos secuencialmente a partir de un flujo de datos sin olvidar las categorías aprendidas previamente. Mientras que los métodos tradicionales de CIL suelen entrenar modelos desde cero —lo que conduce a largos tiempos de entrenamiento y una pobre generalización—, los enfoques basados en Modelos Preentrenados (PTM) ofrecen una alternativa prometedora al aprovechar el conocimiento previo. Sin embargo, los métodos actuales de CML basados en PTM enfrentan un compromiso crítico entre rendimiento y eficiencia computacional. Los métodos que comparten el mismo espacio de parámetros suelen sufrir de olvido catastrófico, mientras que aquellos que expanden una nueva rama para cada tarea incurren en costos computacionales significativos debido a múltiples propagaciones hacia adelante o un aumento lineal en el tiempo de inferencia con el número de tareas. Además, el ajuste fino directo de los PTM a través de múltiples tareas descendentes sigue encontrando un olvido severo, y los métodos existentes a menudo luchan por equilibrar la plasticidad del modelo (aprender nuevas tareas) y la estabilidad (retener el conocimiento antiguo) sin modificar la columna vertebral (backbone) congelada o sobreajustarse a las nuevas tareas.

Metodología
El método propuesto, MILES (Metric Learning with Expandable Subspace), aborda estos desafíos desacoplando los módulos aprendibles de la columna vertebral preentrenada y orquestando una expansión eficiente del espacio de parámetros mediante una optimización guiada. La arquitectura consta de una columna vertebral preentrenada congelada (por ejemplo, un Vision Transformer) y tres componentes clave:

Proyección de Prototipos de Subespacio (SPP):
- Motivación: Las observaciones indican que las categorías no vistas en los espacios de características de los PTM exhiben agrupamiento (clustering) en lugar de dispersión. MILES aprovecha esto computando prototipos de clase para nuevas categorías sin entrenamiento.
- Mecanismo: Para cada nueva tarea $t$ , un adaptador ligero y aprendible ( $A_t$ ) se encadena después de la columna vertebral. Este adaptador proyecta las características originales en un subespacio específico de la tarea.
- Estructura: El adaptador utiliza un diseño residual que comprende una rama MLP de dimensión completa y una rama de proyección progresiva de reducción/restauración de dimensiones (similar a una U-Net 1D operando en las dimensiones de canal). Esta estructura comprime las características en un cuello de botella de baja dimensión y las restaura, permitiendo una re-parametrización de características específica de la tarea manteniendo la compatibilidad con la columna vertebral congelada.
- Optimización: Una pérdida de centro (center loss) minimiza la distancia entre las características intra-tarea y sus correspondientes prototipos. Para prevenir el sobreajuste a las nuevas tareas, se introduce una pérdida de estabilidad, la cual maximiza la distancia entre las pseudo-características de las categorías antiguas (modeladas mediante distribuciones Gaussianas) y los nuevos prototipos de la tarea.
Extensión de Representación de Subespacio (SRE):
- Motivación: Depender únicamente de la columna vertebral congelada limita la capacidad del modelo para aprender semántica de alta dimensión de los nuevos datos, ya que la columna vertebral no puede adaptarse a las nuevas distribuciones de las tareas.
- Mecanismo: Se extiende una sub-red de bajo rango ( $S_t$ ) para cada tarea con el fin de aprender características intermedias del modelo preentrenado.
- Estructura: La sub-red SRE imita la arquitectura de los bloques de transformadores de la columna vertebral utilizando dos módulos MLP de bajo rango por bloque. Uno aproxima el módulo de atención y el otro aproxima la Red de Alimentación hacia Adelante (FFN).
- Integración: La salida de la sub-red SRE se concatena con las características originales de la columna vertebral antes de ser enviada al adaptador SPP. Esto mejora la capacidad de representación del modelo sin modificar los pesos preentrenados ni requerir múltiples propagaciones hacia adelante durante la inferencia (solo se requiere una propagación hacia adelante a través de la columna vertebral, seguida del procesamiento paralelo de las ramas SRE).
Regularización de Distancia (DR):
- Motivación: Sin restricciones unificadas, el modelo puede sobreajustarse a subespacios de tareas específicos, lo que resulta en distancias significativamente menores para las nuevas tareas en comparación con las anteriores, provocando un sesgo.
- Mecanismo: Se añaden dos términos de regularización a la función de pérdida:
  - Restricción de Distancia Promedio de Tarea: Asegura que la distancia promedio desde los vectores de características hacia los prototipos de tareas irrelevantes se mantenga constante a través de las tareas.
  - Restricción de Distancia Promedio de Clase: Mantiene una distancia promedio constante entre las características intra-tarea y sus prototipos a través de todos los subespacios de tareas.
- Objetivo: Estos términos equilibran el equilibrio métrico entre las tareas, mitigando el sobreajuste y asegurando un criterio de clasificación consistente.

Contribuciones Clave

Integración de Aprendizaje Métrico y PTMs: El artículo integra el aprendizaje métrico con modelos preentrenados en un entorno de CIL, proponiendo SPP para optimizar la distancia entre las características de la tarea actual y sus prototipos correspondientes dentro de un nuevo subespacio de tarea.
Extensión de Representación de Subespacio (SRE): Se introduce una novedosa sub-red de bajo rango para aprender características intermedias del PTM. Esto fortalece la capacidad de representación del modelo con una modificación mínima a la red preentrenada y evita el aumento lineal en el tiempo de inferencia asociado con las arquitecturas de múltiples ramas.
Regularización de Distancia (DR): Se propone una estrategia de regularización para mantener distancias promedio consistentes para cada tarea, resolviendo eficazmente el problema de sobreajuste observado frecuentemente en los nuevos subespacios de tareas.

Resultados Experimentales
Se realizaron experimentos extensos en seis conjuntos de datos de referencia: CIFAR-100, CUB-200, Omnibenchmark, ImageNet-A, ImageNet-R y FOOD-101. La evaluación cubrió secuencias de tareas tanto cortas ( $T=10$ ) como largas ( $T=50$ ).

Rendimiento: MILES alcanzó un rendimiento de estado del arte (SOTA) en varios entornos de CIL. Por ejemplo, en CIFAR-100 ( $T=10$ ), logró una precisión promedio del 93.93% con una tasa de olvido del 3.12%, superando al segundo mejor (DGR) por un 0.88% en precisión y un 1.73% en tasa de olvido. Se observaron resultados superiores similares en CUB, Omnibenchmark y variantes de ImageNet.
Eficiencia: El método mantiene una baja carga computacional. Requiere solo una propagación hacia adelante a través de la columna vertebral congelada durante la inferencia. El número de parámetros entrenables es comparable al de los métodos competidores más pequeños (por ejemplo, FeCAM), y las Operaciones de Multiplicación-Acumulación (MACs) son mínimas en comparación con los métodos que requieren múltiples propagaciones hacia adelante (como EASE) o actualizaciones extensas de parámetros.
Estudios de Ablación: Los experimentos confirmaron la efectividad de cada componente. Añadir SPP mejoró el rendimiento respecto a un modelo base; añadir SRE mejoró aún más la capacidad de representación; y añadir DR redujo consistentemente la tasa de olvido y estabilizó el rendimiento a través de diferentes configuraciones de hiperparámetros.
Robustez: El método demostró robustez ante diferentes órdenes de aprendizaje y combinaciones de hiperparámetros.

Significancia y Reivindicaciones
El artículo sostiene que MILES orquesta con éxito una expansión eficiente del espacio de parámetros aprovechando la información previa dentro del conocimiento preentrenado. Al desacoplar los módulos aprendibles y emplear una optimización guiada mediante aprendizaje métrico, MILES logra un compromiso superior entre rendimiento y gasto computacional en comparación con los métodos actuales de CIL basados en PTM. El trabajo valida que aprovechar la naturaleza de agrupamiento de las características en los espacios de PTM, combinado con extensiones de subespacio ligeras y regularización de distancia, permite un aprendizaje continuo efectivo sin olvido catastrófico ni costos computacionales excesivos.

Limitaciones y Trabajo Futuro
Los autores reconocen que el estudio actual se centra en entornos estándar de incremento de clases donde la columna vertebral preentrenada proporciona representaciones transferibles y los datos descendentes permanecen dentro del alcance semántico objetivo. La robustez del método bajo cambios de Distribución Fuera de Rango (OOD) (en estilo, condiciones de adquisición o contenido semántico) no ha sido investigada sistemáticamente. El trabajo futuro apunta a extender MILES hacia un CIL consciente de OOD incorporando el modelado de incertidumbre y la corrección de cambios en el tiempo de prueba.

Resumen Técnico: MILES (Aprendizaje Métrico con Subespacio Expandible)

Más como este