Resumen Técnico: Desbloqueando la Generalización Composicional en el Aprendizaje Continuo de Pocos Ejemplos

Declaración del Problema

El artículo aborda el desafío del Aprendizaje Continuo de Pocos Ejemplos (CFSL), donde un modelo debe adquirir secuencialmente nuevos conceptos a partir de ejemplos limitados sin degradar el conocimiento previamente aprendido. Un cuello de botella crítico en este régimen es la generalización composicional: la capacidad de reconocer conceptos novedosos formados por combinaciones no vistas de partes conocidas (por ejemplo, una "camisa verde" cuando solo se han visto "camisas rojas" y "pasto verde").

Los enfoques existentes fallan en lograr esto debido a dos fallas estructurales entrelazadas:

1. Contaminación de la Representación: Los mecanismos estándar de atención por ranuras (slot attention) a menudo dependen de estados recurrentes de GRU para actualizar las representaciones de las ranuras. Estos estados codifican dinámicas de enrutamiento (cómo suprimir ranuras competidoras) en lugar de contenido visual puro, corrompiendo la geometría semántica proporcionada por el modelo base.
2. La Trampa Composicional: El entrenamiento con objetivos de coincidencia a nivel de partes (por ejemplo, distancia de Chamfer) durante la fase de aprendizaje obliga a las ranuras a especializarse en exceso en patrones locales específicos de los conceptos vistos. Esto crea direcciones de gradiente específicas de la ranura que impiden que el modelo generalice a conceptos verdaderamente novedosos (combinaciones no vistas) en el momento de la inferencia.

Metodología: El Marco COMPOSE

Los autores proponen COMPOSE, un marco de doble fase que desacopla estrictamente el aprendizaje de representaciones de la inferencia composicional. La idea central es que el entrenamiento y la inferencia requieren objetivos fundamentalmente diferentes.

1. Fundamento Estructural: Geometría Auto-supervisada

El marco se basa en la geometría semántica a nivel de parche inherente de los Transformadores de Visión (ViT) auto-supervisados como DINOv2. A diferencia de los ViT supervisados, que aprenden discriminación global de clases, los modelos auto-supervisados aprenden consistencia local donde los parches del mismo objeto se agrupan naturalmente. Esta geometría es un requisito previo estricto para una descomposición confiable de objetos.

2. Fase I: Entrenamiento Holístico (Aprendizaje de Representaciones)

• Extracción de Ranuras: En lugar de utilizar el estado oculto recurrente de GRU ($s_k$) como la representación de la ranura, COMPOSE calcula un agregado ponderado por atención ($\tilde{\phi}_k$) directo a partir de las características de parche del modelo base congelado. Esto evita el cuello de botella recurrente, preservando la geometría semántica prístina del modelo base y mejorando significativamente la pureza de las ranuras.
• Objetivo: El modelo se entrena utilizando una pérdida de entropía cruzada de prototipo holístico. Las ranuras se agregan mediante un enrutador MLP ligero y entrenable para formar una única incrustación a nivel de imagen, que se optimiza para coincidir con el prototipo de la clase.
• Restricción: Se aplica una penalización de correlación cruzada a las proyecciones crudas de las ranuras para evitar el colapso de las ranuras (redundancia) sin imponer las restricciones de varianza conflictivas encontradas en otros métodos de regularización (como VICReg).
• Distinción Crucial: No se realiza ninguna coincidencia a nivel de partes (por ejemplo, distancia de Chamfer) durante el entrenamiento. Esto previene la "trampa composicional" donde los gradientes fuerzan a las ranuras a especializarse en partes locales específicas.

3. Fase II: Inferencia Composicional (Coincidencia de Conceptos Novedosos)

• Componentes Congelados: Todos los pesos del modelo base y del enrutador se congelan. No se calculan gradientes.
• Estrategia de Coincidencia: Las escenas novedosas se coinciden con las clases de soporte utilizando la distancia de Chamfer bidireccional sobre las proyecciones centradas por ranura.
• Puntuación Mezclada: La puntuación de predicción final es una mezcla ponderada de la puntuación holística (de las incrustaciones de la Fase I) y la puntuación composicional (de la coincidencia a nivel de partes). Esto permite que el modelo aproveche la identidad de clase robusta aprendida durante el entrenamiento mientras utiliza la estructura composicional para el reconocimiento de conceptos novedosos.

Contribuciones Clave

1. Repensar las Representaciones de Ranuras: El artículo identifica la geometría de parches auto-supervisada como un requisito previo para la descomposición centrada en objetos. Reemplaza los estados recurrentes de GRU con agregados ponderados por atención, demostrando que este cambio mejora significativamente la pureza de las ranuras y preserva la estructura geométrica necesaria para la transferencia fuera de la distribución.
2. Diagnóstico y Escape de la Trampa Composicional: Los autores prueban analíticamente que los objetivos de coincidencia a nivel de partes inducen direcciones de gradiente específicas de la ranura que impulsan la especialización en exceso. Proponen una separación estricta de fases: entrenamiento holístico para preservar geometrías de nivel de objeto generalizables, seguido de inferencia composicional para coincidir con escenas novedosas.
3. La Transferencia de Conceptos Novedosos Impulsa la Robustez Continua: El marco logra un rendimiento de vanguardia en la partición de conceptos no vistos (noc) del benchmark CFST, alcanzando una precisión del 94.14% en CGQA. Esta robustez ante conceptos novedosos se traduce en un olvido catastrófico mínimo en benchmarks estándar de aprendizaje continuo (MiniImageNet, ImageNet-R, CUB200, CIFAR100).

Resultados Experimentales

• Benchmark CFST (CGQA): COMPOSE alcanza un 94.14% en la partición noc (conceptos no vistos), superando a bases fuertes como CoFiMA (91.97%) y RanPAC (88.60%). También logra una media armónica ($H_a$) alta del 92.92%.
• Estudios de Ablación:
  • Eliminar el objetivo de entrenamiento holístico (usando Chamfer durante el entrenamiento, "COMPOSE-CT") reduce el rendimiento noc en aproximadamente 2.5 puntos porcentuales, confirmando la "trampa composicional".
  • Reemplazar el agregado ponderado por atención con el estado estándar de GRU reduce noc en aproximadamente 3.6 puntos porcentuales, validando la importancia de preservar la geometría del modelo base.
  • Eliminar la penalización de correlación cruzada causa una caída significativa (~5.5 puntos porcentuales), destacando su papel en la prevención de la redundancia de ranuras.
• Benchmarks de Aprendizaje Continuo: En tareas estándar de FSCIL y CIL, COMPOSE reduce significativamente el olvido (por ejemplo, reduciendo FF del 27.91% al 3.54% en CIFAR-100 en comparación con Comp-FSCIL) mientras mantiene una precisión promedio competitiva.
• Eficiencia: El método requiere solo ~5 minutos de entrenamiento por conjunto de datos (entrenando un enrutador ligero sobre un modelo base congelado), en comparación con ~4 horas para métodos de ajuste fino completo del modelo base como CoFiMA.

Significado y Afirmaciones

El artículo afirma que el fracaso de los aprendices continuos anteriores para generalizar a conceptos novedosos no es meramente un problema de datos o capacidad, sino un conflicto estructural entre cómo se extraen las representaciones y cómo se optimizan.

Al separar estrictamente la fase de entrenamiento (enfocada en la identidad de clase holística para preservar la geometría generalizable) de la fase de inferencia (enfocada en la coincidencia composicional), COMPOSE demuestra que los modelos pueden aprender representaciones lo suficientemente generales para reconocer conceptos no vistos sin olvidar. Los autores enfatizan que este enfoque depende de la calidad de la geometría subyacente del modelo base auto-supervisado; cuando esta geometría es débil (por ejemplo, en ViT supervisados), la descomposición de ranuras se degrada, limitando la transferencia composicional.

El trabajo sugiere que la robustez ante conceptos novedosos es la clave para minimizar el olvido catastrófico en el aprendizaje continuo, ya que las representaciones que son lo suficientemente generales para manejar composiciones no vistas son inherentemente menos propensas a la especialización en exceso y al desplazamiento.