Resumen Técnico: CMAP – Prompting Adaptativo Cross-Modal para Aprendizaje Incremental de Tareas Multi-Dominio

1. Definición del Problema

El artículo aborda el Aprendizaje Incremental de Tareas Multi-Dominio (MTIL), un escenario donde un modelo debe aprender tareas secuencialmente desde dominios visualmente diversos sin acceso a datos pasados y sin conocer la identidad de la tarea en el momento de la inferencia. Este escenario presenta dos desafíos principales:

• Olvido Catastrófico: La tendencia de un modelo a sobrescribir el conocimiento adquirido previamente al adaptarse a nuevas tareas.
• Olvido Hacia Adelante: La degradación de la capacidad del modelo para generalizar a tareas no vistas al adaptarse de manera demasiado agresiva a las tareas vistas.

Si bien los métodos de ajuste fino eficiente en parámetros (PEFT) basados en Modelos de Lenguaje-Visión (VLM) congelados como CLIP han mostrado promesa, los enfoques existentes sufren una limitación fundamental: dependen exclusivamente de características visuales para el enrutamiento de tareas, la estimación de confianza y la adaptación del codificador. Esto ignora el rico espacio de incrustaciones textuales cross-modal semánticamente estable inherente a CLIP, tratando un modelo cross-modal como si fuera uno solo visual.

2. Metodología: CMAP

Los autores proponen CMAP (Prompting Adaptativo Cross-Modal), un marco que integra la conciencia cross-modal en cada etapa del proceso de inferencia y adaptación. El método se basa en la línea base IAP (que utiliza un enmascaramiento Hard Gumbel por capa y confianza Gaussiana visual) introduciendo tres mecanismos cross-modal específicos:

2.1 Enrutamiento de Tareas en Espacio Textual

Los métodos existentes enrutan tareas calculando la log-probabilidad de las características visuales bajo Gaussianas visuales específicas de la tarea. CMAP reemplaza esto con similitud coseno a prototipos de texto congelados de CLIP.

• Mecanismo: Para cada tarea $t$, se calcula un prototipo de texto $\tau_t$ promediando las incrustaciones de texto congeladas de todos los nombres de clases en el conjunto de etiquetas de esa tarea.
• Inferencia: En la inferencia, la característica visual de la imagen de entrada se compara contra todos los $\tau_t$ mediante similitud coseno para seleccionar la tarea más probable.
• Ventaja: Esto no requiere parámetros aprendibles adicionales, es invariante al orden de llegada de las tareas y permanece robusto incluso con datos de entrenamiento escasos, ya que depende de conocimiento semántico preentrenado en lugar de estadísticas visuales aprendidas.

2.2 Confianza Visual-Textual Multi-Prototipo (MPVTC)

Trabajos anteriores modelan la confianza de clase utilizando una única Gaussiana visual y umbrales globales fijos. CMAP introduce una estrategia de estimación de confianza más robusta:

• Visualidades Multi-Prototipo: En lugar de un único centroide, cada clase se representa mediante $K$ centroides de clusters visuales (mediante K-means) para manejar distribuciones visuales multimodales (por ejemplo, diferentes ángulos de objetos).
• Alineación Cross-Modal: La puntuación de confianza para una clase combina la similitud máxima con los prototipos visuales con la similitud a la incrustación de texto de la clase.
• Umbrales Adaptativos a la Tarea: En lugar de usar umbrales globales fijos, CMAP calibra automáticamente los umbrales de confianza superior e inferior basándose en los percentiles 80 y 20 de la distribución de entrenamiento para cada tarea específica.
• Salida: Se deriva un peso de prompting dinámico a partir de esta puntuación de confianza conjunta, determinando si aplicar prompts (alta confianza), suprimirlos (baja confianza) o aplicarlos proporcionalmente.

2.3 Enmascaramiento Simétrico Cross-Modal

En la línea base, solo el codificador de imágenes está enmascarado. Si la puerta de la imagen se cierra (por ejemplo, en entradas fuera de distribución), el codificador de texto aún recibe prompts específicos de la tarea, rompiendo la alineación cross-modal que CLIP fue entrenado para mantener.

• Mecanismo: CMAP extiende el mecanismo de enmascaramiento Hard Gumbel simétricamente al codificador de texto.
• Condicionamiento: La decisión de enmascaramiento para el codificador de texto se condiciona a las características de imagen medias del lote.
• Resultado: Tanto los codificadores de imagen como de texto abren o cierran sus mecanismos de inyección de prompts simultáneamente. Esto asegura que la coherencia cross-modal se preserve incluso cuando el modelo encuentra entradas fuera de distribución.

3. Contribuciones Clave

El artículo identifica tres brechas específicas en la literatura existente de MTIL y las aborda de la siguiente manera:

1. Enrutamiento de Tareas en Espacio Textual: Reemplaza el enrutamiento Gaussiano visual con similitud coseno a prototipos de texto congelados, logrando un enrutamiento independiente del orden con cero parámetros aprendibles adicionales.
2. Confianza Visual-Textual Multi-Prototipo (MPVTC): Combina prototipos visuales de K-means con puntuaciones de alineación cross-modal y umbrales adaptativos a la tarea para proporcionar una estimación de confianza fiable a nivel de instancia.
3. Enmascaramiento Simétrico Cross-Modal: Extiende el enmascaramiento por capa al codificador de texto condicionado a características de imagen, asegurando una co-adaptación y co-supresión consistente de ambas modalidades.

4. Resultados Experimentales

El método fue evaluado en la línea base MTIL, abarcando 11 conjuntos de datos y 1,201 clases, bajo dos ordenamientos de tareas (Orden-I y Orden-II) y un escenario de 16 disparos con datos escasos.

• Rendimiento (Orden-I): CMAP logró un 73.6% de Transferencia, 81.4% de Promedio y 88.9% en el Último. Esto supera al estado del arte anterior (IAP) en 4.4, 4.6 y 3.2 puntos porcentuales, respectivamente.
• Eficiencia de Datos: En el escenario de 16 disparos, la brecha en la métrica de Transferencia sobre la línea base Gaussiana visual se amplió a 6.2%, demostrando que los prototipos de texto escalan elegantemente donde las estadísticas visuales se degradan debido a muestras limitadas.
• Eficiencia de Parámetros: El método introduce solo 0.09M parámetros adicionales (para el enmascaramiento de texto), llevando el total de parámetros entrenables a 2.5M. Esto es significativamente menor que el ajuste fino completo (211M) o MoE-Adapter (59.8M) mientras los supera.
• Estudios de Ablación:
  • Eliminar el enrutamiento en espacio textual causó la mayor caída en el rendimiento de Transferencia.
  • Eliminar el enmascaramiento simétrico causó las mayores caídas en las métricas de Promedio y Último, destacando su papel en la retención de conocimiento.
  • Combinar señales de confianza visual y textual produjo mejores resultados que usar cualquier modalidad por separado, confirmando que capturan información complementaria.

5. Significado y Afirmaciones

El artículo afirma que la principal fuente de potencial desaprovechado en los métodos actuales de MTIL es la falla en utilizar el espacio de incrustaciones textuales cross-modal de los VLM preentrenados. Al tratar a CLIP como un modelo solo visual, los métodos existentes pierden la estabilidad semántica y las capacidades de generalización zero-shot inherentes al codificador de texto.

El significado de CMAP radica en demostrar que explotar la alineación cross-modal preentrenada es una estrategia de adaptación más eficiente en parámetros que simplemente escalar la capacidad del modelo o depender de búferes de memoria complejos. Los autores afirman que su enfoque logra un rendimiento de vanguardia en todas las métricas con parámetros entrenables mínimos y sin datos externos, demostrando que las señales cross-modal son críticas para un aprendizaje incremental robusto en escenarios con datos escasos y dominios diversos.