Prompt Tuning for CLIP on the Pretrained Manifold

El artículo presenta ManiPT, un marco que mejora el ajuste de prompts en modelos CLIP bajo supervisión limitada mediante restricciones de consistencia cosenual y un sesgo estructural que mantienen las representaciones en la variedad preentrenada, mitigando así el sobreajuste y mejorando la generalización en diversas tareas.

Lo esencial

¡Claro que sí! Imagina que tienes un chef de renombre mundial (este es el modelo CLIP, una inteligencia artificial muy inteligente que ya sabe mucho sobre imágenes y texto). Este chef ha pasado años aprendiendo en una gran escuela de cocina, por lo que sabe perfectamente cómo reconocer un perro, un gato o un coche, incluso si nunca ha visto esa raza específica antes.

Sin embargo, ahora quieres que este chef aprenda a cocinar un plato muy específico y nuevo (una tarea nueva) pero solo tienes 5 recetas de ejemplo (pocos datos).

El Problema: "El Chef se Desorienta"

Si le pides al chef que aprenda rápido con tan pocos ejemplos, corre un riesgo: se obsesiona con los detalles irrelevantes.

• La analogía: Imagina que el chef ve 5 fotos de perros. En todas las fotos, el perro está sobre una alfombra roja. Si el chef aprende solo con esos 5 ejemplos, podría pensar: "¡Ah! Un perro es cualquier cosa que esté sobre una alfombra roja".
• La consecuencia: Cuando le muestres una foto de un perro en el césped, el chef fallará. Se ha alejado de su conocimiento general (que un perro es un animal con cuatro patas) para enfocarse en un "truco" (la alfombra roja) que solo funcionaba en esos 5 ejemplos. En el mundo de la IA, a esto le llamamos "desviación del manifold" (el chef se sale de su camino seguro y confiable).

La Solución: ManiPT (El "Sistema de Navegación")

Los autores de este paper, ManiPT, proponen una forma inteligente de entrenar al chef sin que pierda su cabeza. Imagina que ManiPT es un sistema de navegación GPS que le dice al chef: "Mantente cerca de tu ruta original, pero haz pequeños ajustes para este nuevo plato".

ManiPT usa dos trucos principales:

1. La "Brújula de Consistencia" (Restricciones de Coseno)

Imagina que el chef tiene una brújula magnética que siempre apunta al "Norte Verdero" (el conocimiento original que ya tenía).

• Cómo funciona: Cada vez que el chef intenta aprender algo nuevo, ManiPT le dice: "Espera, tu nueva idea debe apuntar casi en la misma dirección que tu brújula original".
• El resultado: Si el chef intenta decir que "un perro es una alfombra roja", la brújula se desvía mucho y ManiPT le corrige: "No, eso no es correcto según tu conocimiento base. Un perro es un animal". Esto evita que el chef se aleje demasiado de la verdad.

2. El "Ajuste Incremental" (Sesgo Estructural)

En lugar de permitir que el chef reescriba todo su libro de recetas desde cero, ManiPT le obliga a escribir pequeñas notas al margen.

• La analogía: Imagina que el libro de recetas original está escrito en piedra (es fijo y no se puede borrar). El chef no puede borrar la piedra, solo puede pegar pequeños post-it encima con nuevas ideas.
• Cómo funciona: La nueva predicción es una mezcla de la receta original (la piedra) y el nuevo post-it. Esto asegura que, aunque el chef intente aprender algo nuevo, nunca olvide lo que ya sabía. Si el post-it dice "alfombra roja", la piedra sigue diciendo "animal", y la mezcla final sigue siendo sensata.

¿Por qué es genial esto?

En el pasado, cuando intentábamos adaptar estos modelos con pocos datos, el chef se volvía "demasiado creativo" y aprendía trucos falsos (como la alfombra roja), fallando cuando veía algo nuevo.

Con ManiPT:

1. No se olvida de lo básico: Se mantiene cerca de su conocimiento original (el "manifold" o terreno seguro).
2. Aprende lo que importa: Solo ajusta lo necesario para la tarea nueva, ignorando los trucos de los pocos ejemplos.
3. Funciona en todo: Ya sea que quieras reconocer gatos en fotos de satélite, coches antiguos o flores raras, ManiPT logra que el chef sea preciso sin volverse loco.

En resumen

Piensa en ManiPT como un entrenador muy estricto pero sabio para un atleta de élite.

• El atleta (el modelo) ya es muy bueno.
• El entrenador le dice: "No cambies tu técnica fundamental (la base), solo haz micro-ajustes para esta carrera específica".
• Gracias a esto, el atleta gana la carrera sin lesionarse ni perder su estilo natural.

El papel demuestra que, al mantener al modelo "aterrizado" en su conocimiento original y solo permitirle hacer ajustes pequeños y seguros, podemos enseñarle cosas nuevas con muy pocos ejemplos y sin que cometa errores tontos. ¡Es la diferencia entre un genio que se confunde y un genio que se adapta!

Resumen técnico

Resumen Técnico: ManiPT - Ajuste de Prompts en el Manifold Preentrenado

1. El Problema: Deriva del Manifold y Sobreajuste

Los modelos de visión-lingüística preentrenados a gran escala, como CLIP, aprenden representaciones generales en un "manifold" (variedad) geométrico de alta calidad. Sin embargo, al aplicar ajuste de prompts (prompt tuning) para adaptarse a tareas específicas con supervisión limitada (pocos datos o few-shot), surge un problema crítico:

• Deriva del Manifold (Manifold Drift): Los métodos de ajuste de prompts existentes tienden a explotar señales discriminativas locales y correlaciones espurias (como patrones de fondo o texturas específicas del conjunto de entrenamiento) para minimizar el error empírico rápidamente.
• Consecuencia: Esto hace que las representaciones aprendidas se desvíen geométricamente del manifold preentrenado original. Aunque esto puede mejorar el rendimiento en los datos de entrenamiento, degrada severamente la capacidad de generalización a clases no vistas, transferencias entre conjuntos de datos o dominios diferentes, ya que el modelo pierde el soporte geométrico robusto del preentrenamiento.
• Limitación de métodos actuales: Las técnicas de regularización existentes suelen actuar sobre logits o parámetros, pero no controlan explícitamente la geometría de las representaciones de características en relación con el modelo CLIP congelado.

2. Metodología: El Marco ManiPT

Los autores proponen ManiPT, un marco que realiza el ajuste de prompts manteniendo las representaciones dentro del vecindario geométrico del manifold preentrenado. La metodología se basa en tres pilares fundamentales:

A. Enriquecimiento de Conocimiento basado en LLM
Para mitigar el aprendizaje de semántica atajo (shortcut learning) bajo supervisión escasa, ManiPT utiliza un Modelo de Lenguaje Grande (LLM) para generar descripciones ricas y estables para cada clase. Estas descripciones se codifican en un banco de características de texto que sirve como prototipo semántico robusto, sirviendo como ancla para las restricciones posteriores.

B. Restricciones de Consistencia Cosenal (Cosine Consistency Constraints)
Para evitar la deriva del manifold, ManiPT impone restricciones de consistidad en ambas modalidades (imagen y texto) utilizando la similitud del coseno:

• Lado Visual: Se minimiza la distancia angular entre las características visuales adaptadas y las características visuales congeladas del modelo CLIP original. Esto asegura que la adaptación visual no se desvíe geométricamente.
• Lado de Texto: Se utiliza el prototipo semántico derivado del LLM como referencia. Se impone una restricción para que las características de texto adaptadas permanezcan alineadas con estas descripciones semánticas robustas, evitando la deriva semántica.

C. Sesgo Estructural (Structural Bias) y Corrección Incremental
Mantenerse cerca del manifold no es suficiente, ya que podrían existir soluciones de "atajo" locales dentro de ese vecindario. Para resolver esto, ManiPT introduce un sesgo estructural mediante una agregación aditiva normalizada:

• En lugar de reemplazar las características congeladas, las características aprendidas por el prompt se suman a las características congeladas y se renormalizan: $f = \frac{z_{frozen} + h_{prompt}}{\|z_{frozen} + h_{prompt}\|}$.
• Efecto Teórico: Esta operación actúa como una contracción geométrica. Obliga al modelo a realizar correcciones incrementales sobre la base preentrenada, guiando la adaptación hacia direcciones transferibles inherentes al preentrenamiento y suprimiendo la dependencia de componentes de atajo específicos del conjunto de datos.

3. Contribuciones Clave

1. Identificación de la Deriva del Manifold: Se establece la deriva geométrica de las representaciones como un factor limitante crítico para la generalización en el ajuste de prompts con pocos datos.
2. Marco ManiPT: Propuesta de un enfoque dual que combina:
   • Restricciones de consistencia cosenual para confinar la adaptación al vecindario geométrico preentrenado.
   • Un sesgo estructural (fusión aditiva) para forzar correcciones incrementales y mitigar el aprendizaje de atajos.
3. Garantías Teóricas: Se proporciona un análisis teórico que demuestra que ManiPT reduce el riesgo de sobreajuste y ofrece un límite superior más bajo en el riesgo poblacional en comparación con el ajuste de prompts estándar bajo supervisión limitada.
4. Rendimiento Superior: Validación experimental extensa que demuestra que ManiPT supera a los métodos de vanguardia en múltiples escenarios.

4. Resultados Experimentales

Los autores evaluaron ManiPT en 15 conjuntos de datos diversos (objetos generales, granularidad fina, escenas, texturas, satélites) bajo cuatro configuraciones principales:

• Generalización a Clases No Vistas (Base-to-Novel): ManiPT logró el mejor rendimiento promedio en el promedio armónico (HM) entre clases base y nuevas, superando a métodos como CoOp, CoCoOp, MaPLe y PromptSRC.
• Transferencia entre Conjuntos de Datos (Cross-Dataset): Entrenado en ImageNet, ManiPT obtuvo la mayor precisión promedio (68.04%) al transferirse a 10 conjuntos de datos no vistos, superando a CoPrompt y TAC.
• Generalización de Dominio: En variantes de ImageNet (como ImageNet-Sketch o ImageNet-A), ManiPT mantuvo una robustez superior, filtrando eficazmente el ruido específico del dominio.
• Clasificación Few-Shot: En configuraciones de 1, 2, 4, 8 y 16 ejemplos, ManiPT superó consistentemente a todas las líneas base, mostrando ganancias particularmente claras en escenarios de extrema escasez de datos (1-shot y 2-shot).
• Análisis de Deriva: Las mediciones cuantitativas de la deriva del manifold (usando PCA) confirmaron que ManiPT mantiene una desviación mínima ($\Delta \approx 0$) en comparación con otros métodos que muestran una deriva significativa.

5. Significado e Impacto

El trabajo ManiPT ofrece una nueva perspectiva teórica y práctica sobre cómo adaptar modelos fundacionales (Foundation Models) sin destruir su conocimiento preexistente.

• Paradigma Geométrico: Cambia el enfoque de la regularización de parámetros a la regularización geométrica de características, asegurando que la adaptación ocurra sobre el manifold preentrenado y no fuera de él.
• Eficiencia y Robustez: Proporciona una solución eficiente en parámetros (solo ajusta los vectores de prompt) que es robusta frente al sobreajuste en escenarios de pocos datos, un desafío crítico en la aplicación real de la IA.
• Dirección Futura: Establece que la preservación de la estructura geométrica preentrenada es tan importante como la capacidad de adaptación, sugiriendo que las futuras metodologías de ajuste deben considerar explícitamente la topología del espacio de características.

En resumen, ManiPT demuestra que al anclar las actualizaciones del modelo a la geometría preentrenada y forzar correcciones incrementales, se puede lograr una generalización superior en tareas de visión-lingüística con datos limitados.