DeCLIP: Decoupled Prompting for CLIP-based Multi-Label Class-Incremental Learning

El artículo presenta DeCLIP, un marco eficiente en parámetros y sin necesidad de retransmisión que mejora el aprendizaje incremental de clases multi-etiqueta basado en CLIP mediante un esquema de prompts desacoplado por clase y una estrategia de temperado de similitud adaptativa para mitigar el olvido catastrófico y reducir las tasas de falsos positivos.

Lo esencial

Imagina que tienes un superinteligente detective de imágenes llamado CLIP. Este detective ha leído millones de libros y visto millones de fotos, por lo que sabe perfectamente qué es un "gato" o un "coche" si le preguntas en una sola foto. Es un genio para identificar una sola cosa a la vez.

Pero, la vida real es más caótica. Una foto no suele tener solo un gato; a veces tiene un gato, un perro, un árbol y una bicicleta, todos juntos. Además, este detective tiene un problema grave: tiene mala memoria. Si le enseñas a reconocer "gatos" hoy, mañana olvidará cómo eran los "perros" que vio ayer. A esto los científicos le llaman "olvido catastrófico".

El problema se agrava cuando intentamos enseñarle a este detective a reconocer muchas cosas a la vez en fotos nuevas, sin poder guardar las fotos viejas en su memoria (porque eso ocuparía mucho espacio). Además, como no puede ver todas las etiquetas de las fotos pasadas, tiende a alucinar: si ve una foto de un perro, podría gritar: "¡Ahí hay un coche!" con un 100% de seguridad, aunque no haya coches. Eso son falsos positivos.

Aquí es donde entra DeCLIP, la solución que proponen los autores de este paper. Vamos a desglosarlo con analogías sencillas:

1. El Problema: La Confusión de la Fiesta

Imagina que el detective (CLIP) llega a una fiesta (la imagen) donde hay mucha gente (varios objetos).

• El método antiguo: Le dices al detective: "Mira la fiesta y dime quién está aquí". Como todos comparten el mismo espacio, el detective se confunde. Si ve a un perro, piensa que también hay un gato porque en su entrenamiento pasado, los perros y gatos solían estar juntos. Además, si le preguntas sobre un coche que no está, él dice "¡Sí, seguro que está!" porque tiene miedo de equivocarse y prefiere alucinar.
• El resultado: Mucha confusión y muchas alucinaciones (falsos positivos).

2. La Solución DeCLIP: Los "Guías Personales" (Prompting Desacoplado)

En lugar de dejar que el detective mire la fiesta con los ojos abiertos y confusos, DeCLIP le da un guía personal exclusivo para cada objeto.

• La analogía de los lentes mágicos: Imagina que tienes un par de lentes mágicos para cada animal.
  • Cuando quieres buscar un perro, te pones los "lentes de perro". Estos lentes hacen que el detective ignore todo lo demás (el gato, el árbol) y se enfoque solo en las partes de la foto que parecen un perro.
  • Cuando quieres buscar un gato, te pones los "lentes de gato". Ahora el perro desaparece de su visión y solo ve al gato.
• Por qué funciona: Esto se llama desacoplamiento. En lugar de mezclar todo en un solo mensaje, le damos al detective una instrucción específica para cada cosa ("Busca solo perros", "Busca solo gatos"). Como cada objeto tiene su propio "espacio" o "guía", no se mezclan y el detective no se confunde.

3. El Secreto Anti-Olvido: Los "Anclas de Conocimiento"

El detective tiene mala memoria. Si aprende algo nuevo, borra lo viejo.

• La solución: Cada vez que el detective aprende a reconocer un "perro" con sus lentes especiales, guardamos esos lentes en un cofre de seguridad.
• Cómo funciona: Cuando llega una nueva tarea (aprender a reconocer "caballos"), el detective no necesita volver a ver las fotos viejas de perros. Solo saca los "lentes de perro" del cofre y los usa junto con los nuevos. Como los lentes de perro nunca se tocan ni se mezclan con los de caballo, el detective nunca olvida cómo era un perro. ¡No necesita guardar fotos en su memoria (replay-free)!

4. El Freno de Emergencia: "Temperatura Adaptativa" (AST)

Recuerda que el detective tiende a alucinar y decir "¡Sí, hay un coche!" con demasiada seguridad cuando no hay coches.

• El problema: Como el detective no ve todas las etiquetas de las fotos pasadas, cree que si no le dijeron "no hay coche", entonces debe haber uno.
• La solución (AST): Imagina que el detective tiene un termostato de confianza.
  • Al principio, está muy caliente (muy seguro de sí mismo).
  • A medida que aprende más cosas (más tareas), el sistema baja la temperatura automáticamente. Esto hace que el detective se vuelva más modesto y cauteloso.
  • Si no está absolutamente seguro de que hay un coche, baja su confianza y dice "No estoy seguro" en lugar de gritar "¡Sí!". Esto elimina casi por completo las alucinaciones (falsos positivos) sin necesidad de ajustar manualmente los controles.

Resumen de la Magia

DeCLIP es como darle al detective:

1. Lentes individuales para cada objeto (para que no se confunda).
2. Un cofre de seguridad donde guarda sus lentes viejos para nunca olvidar (sin necesidad de guardar fotos).
3. Un termostato que le enseña a ser más humilde y menos alucinado cuando ve cosas nuevas.

El resultado: El detective aprende cosas nuevas sin olvidar las viejas, y deja de inventar cosas que no están en la foto. Y lo mejor de todo: lo hace de manera muy eficiente, sin necesitar una memoria gigante ni gastar muchos recursos. ¡Es como darle un superpoder de organización a un genio con mala memoria!

Resumen técnico

Resumen Técnico: DeCLIP

1. El Problema: Aprendizaje Incremental de Clases Multi-etiqueta (MLCIL)

El Aprendizaje Incremental de Clases Multi-etiqueta (MLCIL) es un paradigma desafiante donde un modelo debe reconocer múltiples clases que coexisten en una misma imagen, mientras que el espacio de etiquetas se expande continuamente a lo largo del tiempo.

Los principales desafíos identificados en el artículo son:

• Olvido Catastrófico: La dificultad de retener conocimiento de clases anteriores al aprender nuevas.
• Altas Tasas de Falsos Positivos (FPR): En MLCIL, se utiliza un esquema de etiquetado parcial a nivel de tarea. Esto significa que, durante el entrenamiento de una tarea actual, las etiquetas de las clases pasadas y futuras presentes en la misma imagen se consideran "no observadas" (no se les asigna etiqueta negativa explícita). Esto lleva a que el modelo no aprenda a distinguir la ausencia de clases antiguas, resultando en predicciones de alta confianza erróneas (falsos positivos).
• Incompatibilidad con CLIP: Los modelos pre-entrenados como CLIP (Contrastive Language-Image Pre-training) están diseñados para el alineamiento de pares imagen-texto de etiqueta única. Extenderlos a MLCIL es complejo porque las categorías co-ocurrentes violan este paradigma de alineación, causando confusión semántica si se utilizan métodos de prompting tradicionales.

2. Metodología: DeCLIP

Los autores proponen DeCLIP, un marco de trabajo libre de replay (no requiere guardar imágenes antiguas) y eficiente en parámetros. La solución se basa en dos componentes principales:

A. Prompting Desacoplado (Semantic Decoupling)
Para resolver la confusión semántica y el olvido, DeCLIP introduce un esquema de prompting uno-a-uno específico por clase:

• Asignación de Espacio de Prompt: A diferencia de métodos anteriores que comparten pools de prompts (muchos-a-muchos) o prompts específicos por tarea (uno-a-muchos), DeCLIP asigna un espacio de prompt dedicado a cada categoría individual.
• Prompts Positivos y Negativos: Para cada clase $c$, se aprenden dos prompts ligeros:
  • Un prompt positivo ($P^+$) que codifica la presencia de la clase.
  • Un prompt negativo ($P^-$) que codifica la ausencia de la clase.
• Descomposición de la Imagen: Esta estrategia descompone una imagen multi-etiqueta en "vistas" específicas por clase. Cada vista se alinea con su correspondiente texto (clase) en el espacio de CLIP, respetando el paradigma de alineación imagen-texto original.
• Anclajes de Conocimiento: Los prompts aprendidos se congelan y preservan como "anclajes" de conocimiento. Al no depender de selectores de prompts que puedan ser perturbados por nuevas tareas, se mitiga el olvido catastrófico sin necesidad de replay.

B. Tempering Adaptativo de Similitud (AST)
Para abordar el problema de los falsos positivos inducidos por el etiquetado parcial:

• Mecanismo: Se introduce una estrategia de Adaptive Similarity Tempering (AST). Esta modula la similitud entre pares de visión y lenguaje (positivo vs. negativo) durante la inferencia.
• Programación de Temperatura: Se utiliza una temperatura $\tau(t)$ dependiente de la tarea que aumenta gradualmente a medida que se acumulan más tareas. Esto reduce la confianza excesiva en las predicciones de clases ausentes sin necesidad de ajustar hiperparámetros específicos para cada conjunto de datos.
• Resultado: AST suprime eficazmente la cola pesada de falsos positivos sin degradar la capacidad de detección de clases presentes.

C. Optimización (Late-Layer Prompting)

• Los prompts se insertan en las últimas cinco capas del codificador visual de CLIP. Los autores observan que las capas profundas contienen información semántica más rica, lo que es crucial para la discriminación de clases específicas, en lugar de las capas superficiales utilizadas en otros métodos.

3. Contribuciones Clave

1. Primer Marco MLCIL Libre de Replay basado en CLIP: DeCLIP es el primer método que logra aprendizaje incremental multi-etiqueta utilizando CLIP sin necesidad de almacenar muestras de memoria.
2. Desacoplamiento Semántico Uno-a-Uno: Propone un esquema de prompting donde cada clase tiene su propio espacio de prompts (positivo y negativo), evitando la confusión semántica de las clases co-ocurrentes y preservando el conocimiento como anclajes estables.
3. Supresión de Falsos Positivos (AST): Introduce una estrategia de temperado de similitud adaptativa que mitiga el alto FPR inherente al etiquetado parcial, mejorando la precisión sin requerir ajuste fino por dataset.
4. Eficiencia: Logra un rendimiento superior con un número mínimo de parámetros entrenables, insertando prompts solo en las capas finales del modelo.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos MS-COCO y PASCAL VOC bajo diversos escenarios de incremento de clases (ej. B40-C10, B0-C10).

• Rendimiento General: DeCLIP supera consistentemente a los métodos anteriores (SLCIL y MLCIL) en todas las métricas (mAP, CF1, OF1), tanto en el rendimiento final ("Last") como en el promedio ("Avg").
  • En MS-COCO (B40-C10), DeCLIP alcanzó un 84.1% de mAP promedio y 81.4% de mAP final, superando a métodos de vanguardia como DPA (81.1%) y MG-CLIP.
  • En PASCAL VOC, logró un 90.7% de mAP final en el escenario B0-C4, superando a todos los competidores.
• Supresión de Falsos Positivos: La introducción de AST redujo drásticamente la tasa de falsos positivos (FPR) del 25.4% al 2.4% en escenarios difíciles, mejorando significativamente las métricas basadas en umbrales (CF1 y OF1).
• Transferencia Zero-Shot: El modelo mostró una excelente capacidad de transferencia cruzada a nuevos datasets (entrenado en COCO, probado en VOC), superando a otros métodos basados en CLIP.
• Comparación con Replay: A pesar de no usar memoria (replay-free), DeCLIP superó a métodos que utilizan grandes cantidades de muestras de memoria (ej. 20 clases/imagen), demostrando su eficacia en la preservación del conocimiento.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la potencia de los modelos de lenguaje-visión pre-entrenados (como CLIP) y la complejidad del aprendizaje continuo en entornos del mundo real (multi-etiqueta).

• Paradigma de Eficiencia: Demuestra que es posible lograr un aprendizaje incremental robusto sin el costo computacional y de almacenamiento de guardar datos históricos (replay), lo cual es crucial para aplicaciones en dispositivos con recursos limitados o con restricciones de privacidad.
• Solución a la Confusión Semántica: Al desacoplar las representaciones de clases co-ocurrentes mediante prompts específicos, ofrece una solución elegante al problema fundamental de cómo adaptar modelos entrenados para una sola etiqueta a escenarios multi-etiqueta.
• Generalización: La estrategia de AST proporciona una solución generalizable para el problema de la sobreconfianza en tareas con etiquetas parciales, un problema que afecta a muchos sistemas de visión por computadora actuales.

En resumen, DeCLIP establece un nuevo estado del arte en el aprendizaje incremental multi-etiqueta, combinando la eficiencia de los prompts con una arquitectura diseñada específicamente para mitigar el olvido y los errores de clasificación en escenarios dinámicos.