Resumen Técnico: Aprendizaje de Prompts con Restricción de Conceptos para la Adaptación de CLIP en Pocos Pasos (Few-Shot)

1. Planteamiento del Problema

El aprendizaje de prompts en pocos pasos (few-shot prompt learning) ha surgido como una estrategia eficiente para adaptar CLIP (Contrastive Language-Image Pre-training) a tareas de descenso sin realizar el ajuste fino (fine-tuning) de los masivos codificadores de imagen y texto. Métodos como CoOp optimizan un pequeño conjunto de tokens de contexto aprendibles que se anteponen a los nombres de las clases. Sin embargo, existe una limitación crítica: optimizar estos prompts únicamente con supervisión de clases base suele provocar sobreajuste (overfitting). Mientras que el rendimiento en las clases vistas (base) mejora, la capacidad del modelo para generalizar a clases no vistas (nuevas) frecuentemente se degraga.

Este compromiso (trade-off) surge porque las actualizaciones de prompts basadas solo en clases pueden alejar las incrustaciones (embeddings) de texto de las direcciones semánticamente ricas originalmente codificadas por el codificador de texto de CLIP. Los nombres de las clases (por ejemplo, "bosque" o "trenzado") son semánticamente dispersos y carecen de pistas visuales explícitas sobre el material, el patrón o la disposición. En consecuencia, los prompts aprendidos pueden derivar hacia sesgos específicos del conjunto de datos en lugar de preservar la estructura semántica de vocabulario abierto necesaria para la transferencia a nuevas clases.

2. Metodología: Aprendizaje de Prompts con Restricción de Conceptos (CCPL)

Los autores proponen el Aprendizaje de Prompts con Restricción de Conceptos (CCPL), un marco de regularización ligero diseñado para anclar los prompts de clase aprendibles a prototipos de texto a nivel de concepto que permanecen congelados. El método opera bajo las siguientes restricciones y mecanismos:

2.1 Arquitectura Central

• Codificadores Congelados: Al igual que CoOp, CCPL mantiene los codificadores de imagen y texto de CLIP completamente congelados.
• Tokens de Contexto Compartidos: Los únicos parámetros entrenables son un conjunto de $M$ tokens de contexto compartidos ($\theta$), idénticos a la configuración de CoOp.
• Sin Nuevos Componentes Aprendibles: CCPL no introduce parámetros aprendibles adicionales más allá de los tokens de contexto.

2.2 Banco de Conceptos y Construcción de Prototipos

• Banco de Conceptos: Un archivo JSON elaborado manualmente mapea las clases del conjunto de datos con listas de frases de conceptos descriptivas (por ejemplo, para "bosque": "copa densa de árboles", "área boscosa").
• Prototipos Congelados: Para cada clase $c$, se precalcula un prototipo de concepto $\tilde{t}^{con}_c$ promediando las incrustaciones de texto normalizadas de sus frases de concepto asociadas utilizando el codificador de texto congelado de CLIP. Estos prototipos están congelados y nunca se actualizan durante el entrenamiento.
• Alcance: Los prototipos se construyen para todas las clases (base y nuevas) utilizando únicamente los nombres de las clases y las frases de concepto, sin acceder a imágenes o etiquetas de las nuevas clases.

2.3 Objetivo de Entrenamiento

El proceso de entrenamiento minimiza una función de pérdida compuesta sobre las clases base:
$$\mathcal{L}_{CCPL} = \mathcal{L}_{ce} + \lambda_{text}\mathcal{L}_{text}$$

• $\mathcal{L}_{ce}$: Pérdida de entropía cruzada estándar sobre las predicciones de las clases base.
• $\mathcal{L}_{text}$: Una pérdida de consistencia de coseno en el espacio de texto que alinea la incrustación del prompt de clase aprendible ($t^{cls}_c$) con el prototipo de concepto congelado ($t^{con}_c$).
  $$\mathcal{L}_{text} = \frac{1}{|C_{base}|} \sum_{c \in C_{base}} (1 - \cos(t^{cls}_c, t^{con}_c))$$
• Dropout de Conceptos: Para evitar la dependencia excesiva de frases específicas, un subconjunto de frases de concepto se enmascara aleatoriamente (probabilidad $p_{drop}$) durante el cálculo del prototipo para la pérdida de consistencia.

2.4 Estrategia de Inferencia

En la inferencia, CCPL soporta la fusión de logits guiada por conceptos. Los logits finales son una combinación convexa de los logits del prompt de clase ($z^{cls}$) y los logits del prototipo de concepto ($z^{con}$):
$$z_i = (1 - \alpha) z^{cls}_i + \alpha z^{con}_i$$
donde $\alpha \in [0, 1]$ es un hiperparámetro ajustable que controla la fuerza de la guía conceptual. La configuración por defecto utiliza una fusión débil ($\alpha = 0.1$).

3. Contribuciones Clave

1. Formulación: El artículo formula la adaptación de CLIP en pocos pasos como un problema de regularización semántica en el espacio de texto, introduciendo frases de concepto a nivel de clase como anclajes congelados sin añadir parámetros entrenables.
2. Mecanismo: Construye prototipos de concepto congelados a partir de un banco de conceptos a nivel de clase y alinea los prompts aprendibles mediante un objetivo de consistencia de coseno.
3. Robustez y Control: Introduce el dropout de conceptos para la robustez del entrenamiento y un peso de fusión controlable en el tiempo de inferencia ($\alpha$) para gestionar el compromiso entre base y nueva clase.
4. Análisis Empírico: Proporciona experimentos controlados que identifican las condiciones límite donde las restricciones de concepto son efectivas (conjuntos de datos de escenas/texturas) frente a donde son neutrales o menos útiles (categorías de grano fino).

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos (DTD, EuroSAT, OxfordPets) utilizando divisiones de respaldo (fallback splits) generadas automáticamente de forma idéntica y un protocolo de 4 pasos de base-a-nueva con CLIP ViT-B/16.

• EuroSAT (Clasificación de Escenas): CCPL logró la mejora más significativa, aumentando la media armónica ($H$) de base-a-nueva de 66.0% (CoOp) a 68.9%. Esta ganancia fue impulsada principalmente por un salto en la precisión de la clase nueva (56.3% $\to$ 60.6%), mientras que la precisión de la clase base se mantuvo estable.
• DTD (Clasificación de Texturas): CCPL mostró una mejora moderada, elevando $H$ de 62.6% a 63.2 (+0.6). Las ganancias fueron pequeñas, atribuidas al uso de conceptos basados en plantillas simples ("{clase} textura").
• OxfordPets (Razas de Grano Fino): El rendimiento fue casi neutral, con una ligera disminución en $H$ (96.3% $\to$ 96.2%). Los autores señalan que las plantillas genéricas no lograron capturar las sutiles pistas específicas de la raza necesarias para la discriminación de grano fino.
• Estudios de Ablación:
  • Eliminar la regularización en el espacio de texto ($\lambda_{text}=0$) redujo el rendimiento, confirmando el valor del objetivo de alineación.
  • Eliminar la fusión de inferencia ($\alpha=0$) también redujo el rendimiento, indicando que los prototipos congelados portan señales de clasificación útiles incluso sin ser un objetivo de entrenamiento.
  • Compromiso (Trade-off): Aumentar $\alpha$ (por ejemplo, a 0.4) mejoró aún más la precisión de la clase nueva pero degradó significativamente la precisión de la clase base, resaltando un compromiso controlable.

5. Significado y Reivindicaciones

El artículo afirma modestamente que CCPL ofrece una dirección de regularización práctica e interpretable para el aprendizaje de prompts, particularmente para tareas que involucran semántica de nivel de escena o de material (como texturas y escenas satelitales).

• Condiciones Límite: Los autores identifican explícitamente que las restricciones de concepto son más efectivas cuando las frases de concepto se alinean naturalmente con la semántica visual del conjunto de datos. Son menos efectivas para categorías de grano fino (como razas de mascotas) donde las plantillas genéricas no pueden codificar las características discriminativas necesarias.
• Sin Sobreajuste a las Líneas Base: Los autores enfatizan que sus resultados se basan en "divisiones de respaldo generadas automáticamente" y están destinados a una comparación dentro del mismo protocolo contra CoOp, no como una afirmación directa de superioridad sobre todos los métodos de vanguardia en divisiones oficiales.
• Naturaleza Ligera: Se destaca la eficiencia del método, el cual añade una carga computacional insignificante y ningún parámetro aprendible nuevo, lo que lo convierte en una adición de bajo costo a los procesos de aprendizaje de prompts existentes.

En conclusión, CCPL demuestra que anclar los prompts aprendibles a descripciones de conceptos interpretables por humanos puede preservar las capacidades de generalización de vocabulario abierto de CLIP, siempre que los conceptos sean semánticamente relevantes para el dominio objetivo.