Evolving Prompt Adaptation for Vision-Language Models

El artículo presenta EvoPrompt, un marco innovador que utiliza proyecciones compartidas de modality y una estrategia de entrenamiento evolutivo para adaptar modelos de visión y lenguaje a nuevas tareas con pocos datos sin olvidar el conocimiento preentrenado.

Lo esencial

¡Claro que sí! Imagina que tienes un chef de renombre mundial (este es el modelo de Inteligencia Artificial, llamado VLM) que ha pasado años cocinando en una gran cocina con miles de ingredientes. Este chef sabe cocinar de todo: desde sushi hasta pizza, y puede hacerlo sin recetas, solo con su instinto (esto es lo que llamamos "capacidad zero-shot").

El problema es que ahora quieres que este chef aprenda a hacer un plato muy específico, digamos, "tacos de pescado estilo Tijuana", pero solo tienes tres recetas (pocos datos etiquetados) para enseñarle.

Si le pides al chef que cambie todo su conocimiento para aprender solo los tacos, podría olvidar cómo hacer sushi o pizza. Se le olvida lo que ya sabía. Esto es lo que los científicos llaman "olvido catastrófico".

Aquí es donde entra el EvoPrompt (la propuesta de este paper). Es como un sistema de entrenamiento inteligente para ese chef. En lugar de obligarlo a reescribir todo su libro de cocina, le da unas notas adhesivas (prompts) que se van pegando a sus recetas mientras aprende.

Aquí te explico cómo funciona EvoPrompt con tres ideas clave:

1. El "Proyector de Modos Compartidos" (MPP): El Librero Unificado

Antes, los métodos antiguos ponían una nota adhesiva diferente en cada página del libro de cocina, sin que las páginas se hablaran entre sí. Era como si el chef leyera la página 1, luego la 10, y no supiera que están relacionadas.

EvoPrompt crea un librero central. Imagina que tienes un solo libro maestro donde todas las notas se conectan. Cuando el chef aprende algo nuevo en la página 1, esa información fluye naturalmente hacia la página 10. Esto asegura que el chef no pierda la coherencia de su conocimiento general mientras aprende el nuevo truco.

2. La "Evolución Controlada": Dirección vs. Fuerza

Esta es la parte más genial. Imagina que aprender es como caminar por un bosque.

• La Dirección: Es hacia dónde miras (el norte, el sur).
• La Fuerza (Magnitud): Es qué tan rápido caminas.

En los métodos antiguos, el chef a veces cambiaba de dirección bruscamente y corría tan rápido que se perdía en el bosque (olvidaba lo que sabía).

EvoPrompt hace algo diferente:

1. Congela la dirección: Una vez que el chef encuentra el camino correcto al principio (la dirección de los conocimientos generales), se congela. Ya no puede girar bruscamente.
2. Ajusta la fuerza: Solo le permite cambiar qué tan rápido camina o qué tan fuerte aplica ese conocimiento.

Así, el chef puede aprender a hacer los tacos (ajustar la fuerza) sin dejar de saber que está en el bosque de la cocina (la dirección general se mantiene). Además, a medida que avanza el entrenamiento, el sistema le pide que camine con pasos más pequeños (reduce la complejidad), para no sobrecargarlo y que no se olvide nada.

3. El "Ajuste Geométrico": Mantener el Orden

A veces, cuando aprendemos cosas nuevas, nuestras ideas se vuelven un caos y se mezclan demasiado (como si todos los ingredientes se mezclaran en una sopa sin sabor).

EvoPrompt añade una regla de oro: "Mantén las ideas separadas". Imagina que cada ingrediente (cada característica de la imagen) debe tener su propio espacio en la mesa. Si el chef intenta mezclar todo, el sistema le da un pequeño "empujón" para que vuelva a ordenar la mesa. Esto evita que el chef se confunda y mantenga sus habilidades originales intactas.

¿Qué logran con esto?

Gracias a este método, el chef:

• Aprende el nuevo plato (los tacos) muy rápido y bien, incluso con pocas recetas.
• No olvida cómo hacer sushi o pizza (mantiene su capacidad de generalizar).
• Es muy eficiente: no necesita reescribir todo el libro de cocina, solo añade unas pocas notas inteligentes.

En resumen:
EvoPrompt es como un entrenador personal para la Inteligencia Artificial que le dice: "Oye, aprende lo nuevo, pero no cambies tu esencia. Mantén tu brújula fija (dirección) y solo ajusta tu velocidad (fuerza). Así serás un experto en lo nuevo sin dejar de ser un maestro en lo viejo".

El resultado es un modelo que es el mejor de su clase en aprender cosas nuevas con pocos datos, sin perder su sabiduría original.

Resumen técnico

Resumen Técnico: EvoPrompt

1. El Problema

La adaptación de modelos de visión-lenguaje (VLM) preentrenados a gran escala (como CLIP) a tareas específicas con datos etiquetados limitados (few-shot learning) presenta un desafío crítico: el olvido catastrófico.

• Limitaciones actuales: Los métodos de aprendizaje de prompts (prompt learning) existentes, como CoOp o MaPLe, suelen tratar los prompts como parámetros estáticos o independientes en cada capa. Esto provoca que, durante el ajuste fino (fine-tuning), los prompts se desvíen rápidamente de sus "anclajes semánticos" preentrenados y se sobreajusten a los datos de la tarea específica.
• Consecuencia: Se pierde la capacidad de generalización "zero-shot" original del modelo, degradando su rendimiento en clases no vistas o en dominios diferentes. Además, las arquitecturas actuales a menudo carecen de alineación efectiva entre modalidades (visión y texto) y no gestionan bien el flujo de información jerárquica entre capas.

2. Metodología Propuesta: EvoPrompt

El artículo propone EvoPrompt, un nuevo paradigma que gobierna explícitamente la trayectoria evolutiva de los prompts durante el entrenamiento para lograr una adaptación estable y sin olvido. La metodología se basa en tres pilares principales:

• A. Proyector de Prompts Compartido por Modalidad (MPP - Modality-Shared Prompt Projector):

  • En lugar de inyectar prompts aislados en cada capa, EvoPrompt utiliza un espacio de incrustación unificado y aprendible ($E$).
  • Este espacio se proyecta a prompts específicos por capa mediante adaptadores de bajo rango descompuestos.
  • Ventaja: Esto fomenta la sinergia entre capas (flujo de información jerárquica) y entre modalidades (visión y texto), evitando la redundancia y mejorando la alineación semántica.

• B. Estrategia de Aprendizaje Consciente de la Trayectoria Evolutiva:

  • Desacoplamiento Magnitud-Dirección: La actualización de bajo rango ($\Delta W$) se descompone en un coeficiente de magnitud ($\alpha$) y una matriz de dirección normalizada.
  • Congelamiento de Direcciones: Durante el entrenamiento, las direcciones semánticas aprendidas en etapas tempranas se congelan para preservar el conocimiento fundamental. Solo se ajustan las magnitudes ($\alpha$) y se añaden nuevas direcciones progresivamente.
  • Reducción de Rango Adaptativa: A medida que avanza el entrenamiento, el rango de las matrices de adaptación se reduce gradualmente. Esto actúa como regularización estructural, limitando la capacidad de sobreajuste en las etapas finales y estabilizando la optimización.

• C. Regularización Geométrica de Características (FGR):

  • Se introduce una función de pérdida basada en el marco de correlación máxima Soft-HGR.
  • Objetivo: Forzar la decorrelación (ortogonalidad) entre las dimensiones de las características dentro de cada modalidad. Esto previene el "colapso de representaciones" (donde las características se vuelven redundantes) y asegura un espacio de características bien estructurado.

• D. Función de Pérdida Total:
  El objetivo de entrenamiento combina:

  1. Pérdida de alineación contrastiva estándar (InfoNCE).
  2. Regularización Geométrica de Características ($\mathcal{L}_{fgr}$).
  3. Pérdida de Constancia de Conocimiento ($\mathcal{L}_{kcl}$): Mantiene la proximidad entre las características aprendidas y las características originales del modelo preentrenado (sin prompts) para preservar la capacidad zero-shot.

3. Contribuciones Clave

1. Nuevo Paradigma de Evolución: Se propone la primera metodología que trata el ajuste de prompts como un proceso evolutivo guiado, desacoplando la dirección (conocimiento estable) de la magnitud (adaptación específica).
2. Arquitectura Unificada: Diseño del MPP que conecta visionalmente y textualmente las capas del modelo, superando las limitaciones de diseños aislados por capa.
3. Mecanismo de Estabilidad: La combinación de congelamiento de direcciones históricas y reducción de rango adaptativo previene el sobreajuste sin sacrificar la capacidad de aprendizaje.
4. Regularización Geométrica: Aplicación de principios de correlación máxima para asegurar la ortogonalidad de las características, mejorando la robustez en escenarios con pocos datos.

4. Resultados Experimentales

Los autores evaluaron EvoPrompt en cuatro configuraciones estándar utilizando el modelo base CLIP (ViT-B/16):

• Generalización Base a Nuevo (Base-to-Novel): En 11 conjuntos de datos de clasificación de imágenes, EvoPrompt logró el estado del arte (SOTA). Superó a los métodos anteriores (como MaPLe, PromptSRC, TCP) logrando un promedio de 74.29% en la media armónica (HM), mejorando significativamente tanto en clases base como en clases nuevas.
• Transferencia entre Conjuntos de Datos (Cross-Dataset): Entrenado en ImageNet y probado en 10 datasets externos, EvoPrompt obtuvo la mejor precisión promedio (66.82%), demostrando una capacidad de transferencia superior.
• Generalización de Dominio: En variantes desafiantes de ImageNet (V2, Sketch, A, R), el método mantuvo la mayor robustez, preservando mejor las capacidades de generalización fuera de distribución.
• Aprendizaje Few-Shot: El rendimiento es competitivo en configuraciones de 1 a 16 ejemplos, mostrando una mejora notable a medida que aumenta la cantidad de datos, lo que indica un aprendizaje de representaciones transferibles efectivo.
• Eficiencia Computacional: A pesar de su rendimiento superior, EvoPrompt es altamente eficiente, requiriendo solo 0.764M de parámetros entrenables (menos que MaPLe) y manteniendo una velocidad de inferencia rápida (~1282 FPS).

5. Significado e Impacto

El trabajo EvoPrompt es significativo porque aborda el dilema fundamental en la adaptación de VLMs: cómo aprender tareas específicas sin destruir el conocimiento general preentrenado.

• Solución al Olvido Catastrófico: Al controlar la "trayectoria" de los prompts en lugar de solo optimizar sus valores finales, el método logra un equilibrio perfecto entre plasticidad (aprender lo nuevo) y estabilidad (recordar lo viejo).
• Eficiencia y Escalabilidad: Demuestra que es posible lograr un rendimiento de clase mundial con una sobrecarga de parámetros mínima, lo que es crucial para la implementación de modelos grandes en entornos con recursos limitados.
• Dirección Futura: Establece una nueva línea de investigación sobre el control dinámico y geométrico de los parámetros en el aprendizaje de prompts, sugiriendo que la estructura de la optimización es tan importante como la arquitectura del modelo.

En resumen, EvoPrompt representa un avance técnico sustancial hacia la adaptación robusta, eficiente y sin olvido de los modelos de visión-lenguaje de gran escala.