Memory-Efficient Continual Learning with CLIP Models

Resumen Técnico: Aprendizaje Continuo Eficiente en Memoria con Modelos CLIP

Enunciado del Problema
Los modelos de Preentrenamiento Contrastivo de Lenguaje e Imagen (CLIP) demuestran capacidades superiores en la comprensión de las relaciones imagen-texto, pero enfrentan desafíos significativos al adaptarse a nuevos flujos de datos sin olvidar el conocimiento previo (olvido catastrófico). Aunque el aprendizaje continuo (CL) es esencial para entornos dinámicos, su aplicación a CLIP está poco explorada. Los enfoques existentes a menudo dependen de búferes de memoria que contienen datos de tareas pasadas para repasar información antigua. Sin embargo, la función de pérdida contrastiva de CLIP sufre cuando estos búferes de memoria son pequeños, lo que conduce a una degradación del rendimiento en tareas anteriores. El desafío central abordado es cómo aprovechar eficientemente los búferes de memoria limitados en el aprendizaje continuo basado en CLIP para equilibrar el rendimiento en nuevas tareas mientras se retiene el conocimiento de las tareas antiguas.

Metodología
Los autores proponen dos enfoques distintos para extender CLIP a configuraciones de aprendizaje incremental de clases y de dominio, utilizando un objetivo de aprendizaje contrastivo bimodal que codifica conjuntamente imágenes y etiquetas de texto.

1. Pérdida Contrastiva Global (GCL):

   • Mecanismo: Este enfoque trata los datos antiguos y nuevos por igual durante el ajuste fino. Define un objetivo contrastivo sobre la unión de los datos de la tarea actual ($D_t$) y un banco de memoria ($M_t$) de muestras pasadas.
   • Optimización: Para manejar el costo computacional de sumar sobre todo el conjunto de datos para los términos contrastivos, el método emplea estimadores de promedio móvil ($u^I$ y $u^T$) para los componentes del gradiente. Esto permite que el modelo mantenga una visión "global" de la distribución de datos a través de las tareas, permitiendo que la información de tareas anteriores informe las actualizaciones de gradiente actuales sin requerir una recomputación completa del conjunto de datos.
   • Objetivo: Mejorar la resistencia al olvido catastrófico incrustando conjuntamente etiquetas e imágenes, aprovechando las capacidades preentrenadas de CLIP.

2. Optimización Robusta Distribucionalmente por Grupos (GDRO):

   • Motivación: En escenarios con tamaños de memoria fijos, el número de ejemplos por clase disminuye a medida que se agregan nuevas tareas, creando un desequilibrio entre las distribuciones de tareas anteriores y actuales. El GCL estándar lucha con este desequilibrio.
   • Mecanismo: Este método introduce un objetivo de DRO de grupo que repondera dinámicamente las pérdidas por clase. Asigna un peso mayor a las clases con pérdidas más altas (clases más difíciles) durante el entrenamiento.
   • Optimización: El objetivo se formula como un problema minimax ($\min_w \max_{p \in \Delta} \sum p_k h_k$), que se expresa equivalentemente utilizando una formulación log-sum-exp. Para abordar el desafío de las funciones anidadas en la estimación del gradiente, los autores aplican Optimización Composicional Estocástica. Mantienen estimadores de promedio móvil tanto para los términos de pérdida como para los componentes contrastivos, lo que permite un cálculo eficiente del gradiente utilizando mini-lotes.

Contribuciones Clave

• Marco Contrastivo Bimodal: El artículo extiende CLIP al aprendizaje continuo proponiendo un objetivo contrastivo bimodal que incrusta conjuntamente imágenes y etiquetas de texto, mejorando la adaptabilidad y la retención en comparación con los clasificadores lineales estándar.
• Algoritmos Eficientes en Memoria: Los autores introducen GCL y GDRO, diseñados específicamente para funcionar efectivamente incluso con un uso mínimo de memoria.
• Reponderación Dinámica: El método GDRO aborda específicamente el desequilibrio de clases inherente a los búferes de memoria de tamaño fijo mediante la reponderación dinámica de pérdidas, asegurando un rendimiento robusto cuando la memoria está restringida.

Resultados Experimentales
Los métodos se evaluaron en conjuntos de datos incrementales de clases (CIFAR-100, ImageNet1K) y un conjunto de datos incremental de dominio (DomainNet), utilizando un codificador CLIP ViT-B/16 preentrenado.

• ImageNet1K (Incremental de Clases): Los métodos propuestos superaron significativamente a las líneas base (incluyendo EWC, DER, iCaRL, Co2L y FOSTER) en todos los tamaños de memoria. Cabe destacar que los enfoques contrastivos unimodales como Co2L experimentaron caídas bruscas en el rendimiento a medida que disminuía el tamaño de la memoria, mientras que los métodos propuestos mantuvieron la robustez.
• CIFAR-100 (Incremental de Clases): A medida que disminuía el tamaño de la memoria, el método GDRO mantuvo un rendimiento comparable a la evaluación zero-shot, indicando una retención sólida a pesar de cierto olvido. Si bien el método contrastivo (GCL) funcionó mejor con memoria más grande, su rendimiento se degradó significativamente sin memoria. En contraste, GDRO permaneció estable bajo restricciones estrictas de memoria.
• DomainNet (Incremental de Dominio): Ambos métodos superaron los resultados zero-shot de la línea base. Si bien los métodos contrastivos como CaSSLe lucharon por retener conocimiento sin un banco de memoria, el objetivo GDRO demostró una retención y adaptabilidad superiores en comparación con GCL después de completar todas las tareas.

Significado y Afirmaciones
El artículo afirma que incrustar tanto los datos de entrada como las etiquetas dentro de un marco contrastivo bimodal reduce el olvido catastrófico de manera más efectiva que los enfoques tradicionales de clasificadores lineales. El significado del trabajo radica en demostrar que:

1. Aprendizaje Multimodal: Aprovechar la incrustación conjunta de imágenes y texto inherente a CLIP es beneficioso para el aprendizaje continuo en entornos dinámicos.
2. Ponderación Adaptativa: La reponderación dinámica de clases (mediante GDRO) es particularmente efectiva para retener conocimiento cuando los recursos de memoria son limitados, abordando un cuello de botella clave en el aprendizaje continuo basado en memoria.
3. Eficiencia: Los métodos propuestos permiten que los modelos CLIP se adapten rápidamente a nuevas tareas mientras minimizan el olvido catastrófico, incluso con un uso mínimo de memoria, lo que los hace adecuados para flujos de datos del mundo real con recursos limitados.