Resumen Técnico: PERL (Razonamiento Eficiente en Parámetros en el Espacio Latente de CLIP)

Enunciado del Problema

Los modelos de visión y lenguaje entrenados de forma contrastiva, como CLIP, destacan en la transferencia de cero ejemplos al alinear imágenes y texto en un espacio de incrustaciones compartido. Sin embargo, adaptar estos modelos a tareas específicas posteriores sin degradar su generalización de vocabulario abierto sigue siendo un desafío. Los métodos existentes de adaptación eficiente en parámetros (por ejemplo, prompts aprendidos, adaptadores o transformaciones multimodales) suelen aumentar la capacidad de adaptación añadiendo parámetros entrenables. Los autores investigan si la capacidad de adaptación puede surgir no del aumento del número de parámetros, sino del razonamiento iterativo sobre representaciones latentes. Específicamente, preguntan si un modelo de visión y lenguaje discriminativo congelado puede adaptarse guiando progresivamente las representaciones preentrenadas hacia regiones de decisión relevantes para la tarea mediante cómputo repetido, en lugar de almacenar más parámetros específicos de la tarea.

Metodología

Los autores proponen PERL (Razonamiento Eficiente en Parámetros en el Espacio Latente de CLIP), un marco ligero que aumenta un modelo CLIP congelado con un módulo de razonamiento compartido y compacto aplicado de forma recurrente.

Arquitectura y Mecanismo

1. División del Codificador: Para cada modalidad (visión $v$ y texto $t$), el codificador CLIP congelado se divide en la profundidad $J$ en un módulo base ($B_m$, bloques inferiores) y un módulo de refinamiento ($R_m$, bloques superiores). El módulo base procesa la entrada para producir una representación agrupada inicial ($h^{(0)}_m$).
2. Razonamiento Recurrente: En lugar de un solo paso hacia adelante, PERL realiza $K$ pasos de refinamiento. En cada paso $k$:
   • Un proyector de pensamiento ($\phi_m$) ligero y entrenable, implementado como un MLP de dos capas con un cuello de botella de rango-$r$, mapea la representación agrupada actual $h^{(k-1)}_m$ a un token de razonamiento $z^{(k)}_m$.
   • Este token se añade a la secuencia de tokens generados previamente y a la secuencia base original.
   • El módulo de refinamiento ($R_m$) procesa esta secuencia aumentada para producir una representación agrupada actualizada $h^{(k)}_m$.
   • Crucialmente, el mismo proyector $\phi_m$ se reutiliza en todos los $K$ pasos, lo que significa que la capacidad de adaptación crece con el número de aplicaciones recurrentes en lugar del número de parámetros.
3. Invarianza de Lectura: La predicción final siempre se lee desde la posición original del token CLS (imagen) o EOS (texto), no desde los tokens de pensamiento generados. Los tokens de pensamiento influyen en la lectura mediante autoatención, pero no sirven como salida en sí mismos.
4. Objetivo de Entrenamiento: El modelo se entrena utilizando una combinación de:
   • Pérdida de Entropía Cruzada ($L_{cls}$): Para mejorar la separabilidad específica de la tarea.
   • Pérdida de Anclaje ($L_{anchor}$): Una penalización de similitud coseno entre la incrustación refinada $v^{(K)}_i$ y la incrustación de cero ejemplos original $v^{(0)}_i$. Esto asegura que los refinamientos permanezcan compatibles con la geometría multimodal preentrenada de CLIP, evitando el sobreajuste a conjuntos de soporte pequeños.

Principios de Diseño

• Cómputo como Recurso: La capacidad de adaptación se intercambia por cómputo (pasos iterativos) en lugar de por la cantidad de parámetros.
• Razonamiento Específico por Modalidad: Se utilizan proyectores separados para visión y texto.
• Inserción Intermedia: Los tokens de razonamiento se inyectan en capas intermedias para refinar las representaciones semánticas mientras se preservan las características preentrenadas de bajo nivel.

Contribuciones Clave

1. Cómputo como Recurso de Adaptación: El artículo demuestra que el razonamiento latente iterativo puede proporcionar un refinamiento útil específico de la tarea con una cantidad fija y baja de parámetros, ofreciendo un eje complementario al escalado de parámetros.
2. Marco PERL: Un mecanismo de adaptación recurrente y ligero para modelos CLIP congelados que utiliza un proyector compartido para generar dinámicamente tokens de razonamiento, refinando representaciones latentes sin actualizaciones de gradiente en tiempo de prueba.
3. Compensaciones Fuertes entre Parámetros y Rendimiento: Bajo optimización restringida (una sola época, pocos ejemplos), PERL logra un rendimiento competitivo o superior en comparación con métodos que utilizan órdenes de magnitud más de parámetros.

Resultados Experimentales

Los autores evaluaron PERL en 15 puntos de referencia, incluyendo generalización de base a novedad, transferencia entre conjuntos de datos y variantes fuera de distribución (OOD) de ImageNet.

• Generalización de Base a Novedad: PERL logró la mayor precisión promedio en clases novedosas (75.74%) entre los métodos comparados, superando a marcos más grandes como MMRL++ y PromptSRC. Alcanzó una media armónica (HM) de 74.79 utilizando solo 6K parámetros entrenables, lo que es 817 veces menos que el método comparado más grande (MMRL) y 113 veces menos que MMAC.
• Transferencia entre Conjuntos de Datos: Cuando se entrenó en ImageNet y se evaluó en 10 conjuntos de datos posteriores, PERL logró una precisión objetivo promedio de 65.56%. Se mantuvo competitivo con métodos mucho más grandes (por ejemplo, a 0.13 puntos de MaPLe mientras utilizaba 583 veces menos parámetros) y superó a las líneas base de ajuste fino de prompts compactas.
• Estudios de Ablación:
  • Modalidad: El razonamiento conjunto texto-visión funcionó mejor, aunque el razonamiento solo en texto produjo ganancias más fuertes que el solo en visión.
  • Capa de Inyección: Inyectar razonamiento en capas intermedias (específicamente la capa 7) fue óptimo; la inyección temprana degradó el rendimiento, mientras que la inyección profunda se especializó demasiado a costa de la generalización.
  • Pasos: El rendimiento mejoró constantemente hasta 4 pasos de razonamiento, después de lo cual las ganancias se saturaron.
  • Capacidad: Aumentar el número de proyectores independientes (por ejemplo, por paso o por capa) mejoró aún más el rendimiento, confirmando que el razonamiento iterativo proporciona un eje de capacidad distinto.
• Dinámica: El análisis mostró que el razonamiento iterativo estabiliza progresivamente las predicciones y reasigna la evidencia visual hacia regiones semánticamente consistentes, particularmente para muestras que requieren corrección (transiciones de incorrecto a correcto).

Significado y Afirmaciones

El artículo afirma que el razonamiento latente iterativo proporciona un mecanismo de adaptación complementario al escalado de parámetros en modelos de visión y lenguaje discriminativos congelados.

• Eficiencia: PERL demuestra que un módulo pequeño y compartido reutilizado de forma recurrente puede lograr una adaptación fuerte con un mínimo de parámetros entrenables (~6K), reduciendo significativamente la carga de almacenamiento y entrenamiento para implementaciones multi-tarea o multi-dominio.
• Mecanismo: A diferencia de los métodos que dependen de la acumulación de parámetros específicos de la tarea, PERL muestra que "pensar más tiempo" (refinamiento iterativo) permite al modelo guiar las representaciones preentrenadas hacia regiones de decisión mientras preserva la geometría de cero ejemplos original.
• Compensaciones: Los autores reconocen una compensación: aunque la eficiencia en parámetros es alta, el método incurre en un costo de cómputo (evaluando el módulo de refinamiento $K+1$ veces por modalidad). Sin embargo, esto es favorable en escenarios donde el almacenamiento y el mantenimiento de parámetros son cuellos de botella.
• Limitaciones: Los autores señalan que PERL queda por detrás de los métodos más fuertes de "régimen pesado" (aquellos con grandes presupuestos de adaptación) en texturas específicas fuera de distribución (EuroSAT) y categorías de granos finos (Flowers102), lo que sugiere que las tareas OOD extremadamente difíciles aún pueden beneficiarse de presupuestos de adaptación más grandes.

En resumen, PERL postula que para los modelos fundacionales congelados, la adaptación no necesita surgir únicamente de almacenar más parámetros; también puede surgir de refinar progresivamente las representaciones mediante cómputo iterativo y eficiente en parámetros.