Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

Resumen Técnico: Aprendizaje Continual con Repetición (CIR)

1. Planteamiento del Problema

El trabajo aborda el desafío del Aprendizaje Incremental de Clases con Repetición (CIR, por sus siglas en inglés). A diferencia del aprendizaje incremental tradicional (CIL), que asume que cada nueva tarea introduce clases nunca antes vistas, el escenario CIR es más realista: el modelo se enfrenta a una mezcla de clases nuevas y clases que ya ha visto anteriormente.

• Desafío Principal: El riesgo de "olvido catastrófico" (catastrophic forgetting), donde el modelo pierde la capacidad de reconocer clases antiguas al aprender nuevas.
• Restricciones del Entorno Real: Los métodos basados en replay (rehearsal) que almacenan ejemplos de tareas anteriores a menudo son inviables debido a preocupaciones de privacidad de datos y limitaciones de almacenamiento.
• Oportunidad: El escenario CIR asume la disponibilidad de datos no etiquetados abundantes de fuentes externas (como Internet). El objetivo es utilizar estos datos para mejorar la estabilidad (no olvidar) y la plasticidad (aprender rápido) sin almacenar datos sensibles.

2. Metodología Propuesta

Los autores proponen un marco que combina dos componentes principales sobre una base de Cross-Entropy asíncrona y Feature Replay, diseñados para aprovechar los datos no etiquetados externos:

A. Destilación de Conocimiento de Múltiples Niveles (MLKD)
Para garantizar la estabilidad y mitigar el olvido, el método extrae conocimiento de modelos previos desde múltiples perspectivas:

• Destilación a Nivel de Características (Feature KD): Se aplica una pérdida L2 para alinear las características extraídas por el modelo actual con las de modelos anteriores. El peso de esta pérdida aumenta linealmente con el tiempo, ya que las características de etapas tempranas pueden no ser útiles para nuevas tareas.
• Destilación a Nivel de Logits (Logit KD): Para evitar problemas derivados de la discrepancia en la distribución de datos entre los datos de entrenamiento y los externos, no se comparan instancias individuales. En su lugar, se utilizan matrices de Gram para destilar las correlaciones:
  • Correlación entre instancias dentro de un lote.
  • Correlación entre clases.
• Múltiples Modelos Previos: Se mantienen varios modelos entrenados de tareas anteriores. Sus salidas se mezclan para la destilación, aumentando la robustez.
• Actualización EMA: Los modelos previos se actualizan gradualmente mediante un Exponential Moving Average (EMA) con el modelo actual, integrando nuevo conocimiento en la destilación.

B. Aprendizaje Auto-supervisado Dinámico (Dynamic SSL)
Para fomentar la plasticidad y acelerar el aprendizaje de nuevas clases, se utiliza el conjunto de datos no etiquetado:

• Objetivo: Extraer características generales útiles para diversas tareas, permitiendo al modelo identificar patrones relevantes en clases no vistas.
• Ponderación Dinámica: Dado que el SSL puede desviar al modelo de su tarea principal (clasificación), se introduce un mecanismo de ponderación dinámica en la pérdida total:
  $$L = (1 - 0.1 \cdot \alpha)L_{ACE} + \alpha L_{SSL}$$
  Donde $\alpha = c \cdot \omega^t$. El parámetro $\alpha$ disminuye a medida que avanza el número de tareas ($t$), asegurando que el modelo se enfoque progresivamente más en la tarea principal mientras aún se beneficia de la generalización del SSL al inicio.

3. Contribuciones Clave

1. Marco CIR Eficiente: Desarrollo de una estrategia que maximiza el uso de datos no etiquetados externos para superar las limitaciones de privacidad y almacenamiento de los métodos tradicionales de replay.
2. MLKD Avanzado: Introducción de una destilación que combina características, logits (mediante matrices de Gram) y múltiples modelos históricos, superando las limitaciones de la destilación estándar ante cambios de distribución.
3. Estrategia de Ponderación Dinámica: Un enfoque novedoso para integrar el aprendizaje auto-supervisado en el entrenamiento continuo, equilibrando la exploración de nuevas características con la estabilidad de la tarea principal.
4. Rendimiento Superior: Logro del 2º lugar en el CVPR 2024 5th CLVISION Challenge.

4. Resultados Experimentales

Los experimentos se realizaron en un subconjunto de ImageNet-1K (130 clases: aves, animales marinos e insectos) con 50 experiencias secuenciales.

• Comparativa de Rendimiento (Precisión Final):

  • Fine-tuning (ajuste fino simple): 5.82% (olvido catastrófico severo).
  • Línea Base (Baseline): 19.54%.
  • Línea Base + SSL Dinámico: 23.82%.
  • Línea Base + MLKD: 39.82%.
  • Método Propuesto (SSL + MLKD): 42.00% (Mejor resultado).

• Estudios de Ablación:

  • Componentes de MLKD: La combinación de Destilación de Características (FKD), EMA, Destilación de Logits basada en correlación (CLKD) y Múltiples Modelos Previos (MPM) mostró un efecto sinérgico, alcanzando el 42.00%.
  • Número de Modelos Previos: El uso de 3 modelos previos fue óptimo (42.00%). Usar 4 modelos redujo ligeramente el rendimiento (41.84%) debido a redundancia y mayor tiempo de cómputo.
  • Ponderación Dinámica: Sin la ponderación dinámica, la precisión fue de 40.76%; con ella, subió a 42.00%, demostrando la importancia de ajustar la influencia del SSL a lo largo del tiempo.
  • Tipo de SSL: La Predicción de Rotación funcionó mejor (42.00%) que métodos contrastivos más complejos como SimCLR o VICReg, probablemente debido a las restricciones de tamaño de lote y tiempo de entrenamiento del desafío.

5. Significado e Impacto

Este trabajo demuestra que es posible lograr un aprendizaje continuo robusto en escenarios realistas (CIR) sin depender del almacenamiento de datos sensibles. Al combinar la destilación de conocimiento multi-nivel (para estabilidad) con el aprendizaje auto-supervisado dinámico (para plasticidad), los autores logran un equilibrio superior entre retener conocimiento pasado y adaptarse a nuevas clases.

La solución propuesta no solo valida la viabilidad de usar datos no etiquetados externos como recurso crítico, sino que establece un nuevo estado del arte en la competencia CLVISION, ofreciendo una arquitectura escalable y privada para sistemas de visión por computadora en entornos dinámicos.