Resumen Técnico: ACIL – Aprendizaje Incremental de Clase Activo para la Clasificación de Imágenes

1. Planteamiento del Problema

El artículo aborda el desafío del Aprendizaje Incremental de Clases (CIL) en visión por computadora, un escenario donde las redes neuronales profundas (DNN) deben aprender nuevas clases secuencialmente a partir de datos episódicos mientras retienen el conocimiento de las clases aprendidas previamente. Un obstáculo principal en el CIL es el olvido catastrófico, donde la optimización de la red para nuevas clases borra el conocimiento de las antiguas.

La investigación actual en CIL se centra principalmente en mitigar el olvido, asumiendo a menudo que todas las muestras de entrenamiento en cada episodio están totalmente anotadas. Los autores argumentan que esta suposición es poco realista e ineficiente por dos razones:

1. Alto Costo de Anotación: La anotación manual es costosa en términos de tiempo, mano de obra y experiencia.
2. Desperdicio de Anotación: En entornos episódicos, la mayor parte de los datos de un episodio actual son inaccesibles en episodios futuros. Por lo tanto, anotar todas las muestras de un episodio es un desperdicio de esfuerzo, ya que solo un subconjunto de estas muestras (ejemplares) será necesario para prevenir el olvido en los pasos subsiguientes.

El artículo propone un nuevo escenario donde, en cada episodio, solo una pequeña porción de los datos es anotada, mientras que la mayoría permanece sin etiquetar. El objetivo es desarrollar un marco de trabajo que seleccione un conjunto mínimo de muestras ejemplares para ser anotadas y propagadas a futuros episodios, reduciendo así los costos de anotación y previniendo eficazmente el olvido catastrófico.

2. Metodología: El Marco de Trabajo ACIL

Los autores proponen ACIL (Aprendizaje Incremental de Clase Activo), un marco que integra estrategias de Aprendizaje Activo (AL) en el flujo de trabajo de CIL. El mecanismo central consiste en seleccionar un conjunto de ejemplares de un tamaño fijo $k$ en cada episodio para ser anotado manualmente y añadido a los datos del siguiente episodio.

2.1 Configuración del Problema

• Flujo de Datos: Los datos de entrenamiento llegan en $N$ episodios secuenciales. Cada episodio $n$ contiene un pequeño conjunto etiquetado ($X^L_n$), un gran conjunto no etiquetado ($X^U_n$) y un conjunto de ejemplares ($E_{n-1}$) del episodio anterior.
• Restricción: El modelo se entrena con $X^L_n$ y $E_{n-1}$. A partir del episodio actual, el sistema debe seleccionar un nuevo conjunto de ejemplares $E_n$ de tamaño $k$ para ser anotado.
• Fuente de Selección: $E_n$ se construye seleccionando muestras de $X^U_n$ (datos actuales no etiquetados), $E_{n-1}$ (ejemplares anteriores) y potencialmente $X^L_n$ (aunque los autores señalan que se prioriza $X^U_n$ debido a su tamaño).

2.2 Estrategia de División de Presupuesto

Para equilibrar el aprendizaje de nuevas clases y la retención del conocimiento antiguo, ACIL divide el presupuesto de anotación $k$ entre el conjunto no etiquetado actual ($X^U_n$) y el conjunto de ejemplares previo ($E_{n-1}$).

• La división es proporcional al número de clases presentes en cada conjunto ($|C_{episodio}|$ vs. $|C_{ejemplar}|$).
• Fórmula:
  $$k_{no\_etiquetado} = \left( \frac{|C_{episodio}|}{|C_{episodio}| + |C_{ejemplar}|} \right) \cdot k$$
  $$k_{ejemplar} = \left( \frac{|C_{ejemplar}|}{|C_{episodio}| + |C_{ejemplar}|} \right) \cdot k$$
• Esto asegura que el conjunto de ejemplares $E_n$ mantenga una representación de todas las clases vistas hasta el momento, mitigando el olvido.

2.3 Estrategia de Muestreo Activo

La selección de muestras específicas dentro del presupuesto asignado está impulsada por un criterio que combina incertidumbre y diversidad.

• Incertidumbre: Medida mediante la entropía de Shannon de las predicciones del modelo.
• Diversidad: Se logra particionando el conjunto candidato en $B$ clústeres (donde $B$ es el presupuesto) de tal manera que la varianza dentro de cada clúster se minimice.
• Optimización: Los autores formulan un problema de partición de conjuntos ponderados para minimizar la varianza ponderada dentro de las particiones, donde el peso es la incertidumbre de la predicción.
  $$\text{argmin}_P \sum_{b=1}^{B} \sum_{x \in X_b} I(x) ||F(x) - c_b||^2$$
  Donde $I(x)$ es la incertidumbre (entropía) y $F(x)$ es la incrustación de características (feature embedding).
• Algoritmo: Un problema NP-duro aproximado mediante K-Means Ponderado. La muestra más cercana al centroide ponderado en cada partición es seleccionada para su anotación.

2.4 Función de Pérdida

La DNN se entrena utilizando una combinación de:

1. Pérdida de Entropía Cruzada Ponderada ($L_{WCE}$): Aplicada a los datos etiquetados ($X^L_n \cup E_{n-1}$) para manejar el desequilibrio de clases, con pesos inversamente proporcionales a la frecuencia de la clase.
2. Pérdida de Destilación de Conocimiento ($L_D$): Aplicada al conjunto de ejemplares $E_{n-1}$ para transferir el conocimiento del modelo anterior ($M_{n-1}$) al modelo actual ($M_n$), previniendo el olvido.
   $$L = L_{WCE} + \lambda L_D$$

3. Contribuciones Clave

1. Nuevo Paradigma de Aprendizaje: Introducción de un entorno de CIL donde no se asume la anotación completa de los datos episódicos, abordando el alto costo y la ineficiencia de los benchmarks actuales de CIL.
2. Marco de Trabajo ACIL: Un algoritmo específico que selecciona ejemplares basados en un criterio dual de incertidumbre y diversidad, utilizando una estrategia de división de presupuesto para asegurar la cobertura tanto de las clases nuevas como de las antiguas.
3. Eficiencia vs. Rendimiento: Demostración de que ACIL puede lograr un rendimiento comparable al de los métodos de CIL de vanguardia (que asumen la anotación completa) mientras reduce drásticamente el número de muestras que requieren anotación humana.

4. Resultados Experimentales

El marco fue evaluado en seis conjuntos de datos de visión: MNIST, SVHN, CIFAR-10, CIFAR-100, COIL y Tiny ImageNet.

• Precisión: ACIL superó significativamente a las líneas base de Aprendizaje Activo (Random, Coreset, BADGE), ya que estos métodos fallaron en retener el conocimiento de episodios previos al solo muestrear desde el conjunto no etiquetado actual. ACIL logró una precisión comparable a, y en algunos casos ligeramente superior a, las líneas base de CIL de anotación completa (iCaRL, GDumb, Rainbow Memory).
• Esfuerzo de Anotación: ACIL resultó en el menor esfuerzo de anotación entre todos los métodos. Por ejemplo, en CIFAR-10, ACIL requirió aproximadamente 4.13 veces menos anotaciones por episodio en comparación con las líneas base de CIL, manteniendo una precisión similar.
• Retención: ACIL demostró una fuerte retención de conocimiento desde el primer episodio, comparable a los métodos de CIL basados en repetición (replay), validando su capacidad para mitigar el olvido catastrófico.
• Robustez: Los experimentos variando el tamaño del conjunto de ejemplares (presupuesto) mostraron que ACIL mantiene tendencias de rendimiento consistentes con las líneas base de CIL a través de diferentes restricciones de memoria.

5. Significado y Reivindicaciones

El artículo afirma que ACIL ofrece una solución práctica para aplicaciones de aprendizaje incremental en el mundo real donde:

• La memoria está restringida: El tamaño del conjunto de ejemplares es fijo, simulando un almacenamiento limitado.
• La anotación es costosa: El marco reduce drásticamente la labor humana requerida para entrenar modelos a lo largo del tiempo.
• Los datos son efímeros: La capacidad de aprender de un conjunto limitado de datos anotados en cada episodio se alinea con las restricciones de privacidad y almacenamiento donde los datos pasados no pueden ser retenidos totalmente.

Los autores concluyen que, al seleccionar inteligentemente un pequeño subconjunto de muestras informativas para propagar, ACIL equilibra con éxito el compromiso entre el costo de anotación y el rendimiento del modelo, haciendo que el aprendizaje continuo sea más factible para entornos con recursos limitados. Se señala que el trabajo futuro podría extender este marco a tareas de regresión.