Resumen Técnico: Descubrimiento de la Fusión de Prompts Específica por Capa mediante Búsqueda Diferenciable en Modelos de Visión Fundacionales

1. Planteamiento del Problema

El Ajuste de Prompts Visuales (VPT, por sus siglas en inglés) ha emergido como una estrategia de ajuste fino eficiente en parámetros (PEFT) para adaptar Vision Transformers (ViT) a gran escala a tareas de seguimiento. En el VPT estándar, los tokens de prompt aprendibles se inyectan en los espacios de entrada y de características de un esqueleto (backbone) ViT congelado. La operación central consiste en fusionar estos tokens de prompt con los tokens de imagen antes de que entren en las capas del transformador.

Actualmente, la comunidad depende predominantemente de un esquema de fusión único y fijo —ya sea concatenación o suma— aplicado uniformemente en todas las capas del transformador. El artículo identifica una brecha fundamental en este enfoque: se desconoce si un esquema de fusión único es óptimo para todas las capas y tareas, y si una modalidad de fusión híbrida (combinando diferentes esquemas en distintas capas) podría aprovechar mejor la semántica por capas de los ViT. La literatura existente rara vez explora el diseño de la regla de fusión como un componente aprendible, tratándola a menudo como un hiperparámetro estático.

2. Metodología: Auto-Prompting

Los autores proponen un marco unificado, denominado Auto-Prompting, que trata la fusión entre los prompts y los tokens de imagen como un componente buscable y diferenciable. El método se formula como un problema de optimización bi-nivel resuelto mediante Búsqueda de Arquitectura Neuronal Diferenciable (DARTS).

2.1 Diseño del Espacio de Búsqueda

Para enriquecer el espacio de búsqueda más allá de la concatenación y la suma estándar, los autores introducen dos operadores de fusión adicionales y ligeros:

1. Concatenación ($\Delta_{concat}$): Prefija los tokens de prompt a los tokens de imagen y aplica una matriz de reducción que preserva los tokens para mantener la interfaz fija del esqueleto ($k \times d$).
2. Suma ($\Delta_{add}$): Inyecta un sesgo residual dependiente del prompt resumiendo los prompts mediante la media de la Capa de Normalización (LayerNorm) y propagándolos (broadcasting).
3. Transformación Afín ($\Delta_{affine}$): Aplica Modulación Lineal por Características (FiLM), utilizando resúmenes de prompts para generar parámetros de escala y desplazamiento por canal.
4. Atención Cruzada ($\Delta_{cross}$): Permite un enrutamiento adaptativo al contenido donde los tokens de imagen atienden a una memoria de prompts (tratada como fuente de clave/valor).

2.2 Optimización Bi-nivel

El marco opera en dos fases:

• Bucle Interno (Entrenamiento): Optimiza los parámetros del prompt aprendibles ($\phi$) y los pesos internos de los operadores de fusión en el conjunto de entrenamiento.
• Bucle Externo (Validación): Optimiza los logits de la arquitectura ($\alpha$), que determinan los pesos de mezcla ($\pi$) para los operadores de fusión en cada capa. Esto se realiza mediante una aproximación unroll de un paso con productos de vectores de Hessiano para aproximar el gradiente de la pérdida de validación con respecto a los parámetros de la arquitectura.

El objetivo externo incluye términos de regularización:

• Regularización de Entropía: Fomenta la exploración del espacio de búsqueda para evitar el colapso prematuro hacia un único operador.
• Regularización de Costo: Sesga la búsqueda hacia los operadores más ligeros (Suma/Concatenación) a menos que los más pesados (Transformación Afín/Atención Cruzada) proporcionen ganancias significativas de precisión, asegurando un equilibrio entre precisión y latencia.

2.3 Discretización

Después de la fase de búsqueda, los pesos de mezcla continuos se discretizan seleccionando el operador con la mayor probabilidad para cada capa. Sigue una breve fase de ajuste fino para recuperar el rendimiento con la arquitectura discretizada y podada.

2.4 Perspectiva Teórica: Cuello de Botella de Información (IB)

Los autores interpretan el método a través de la lente del principio de Cuello de Botella de Información (IB). Observan que la optimización conjunta de los prompts y los esquemas de fusión conduce a un sustituto empírico de IB más bajo en comparación con la optimización de solo los prompts. Específicamente, la fusión híbrida aprendida permite que las capas más profundas compriman la variación dependiente de la entrada (reduciendo $I(T; X)$) mientras se alinean mejor con la información de la etiqueta (aumentando $I(T; Y)$), lo que sugiere un intercambio de compresión-relevancia más favorable.

3. Contribuciones Clave

1. Indagación Fundamental: El artículo desafía la suposición de que un único esquema de fusión es suficiente, revelando que la fusión fija (concatenación o suma) no logra un rendimiento óptimo en diversas tareas y capas.
2. Marco de Optimización Novedoso: Propone un método de fusión híbrida formulado como un problema de optimización bi-nivel, resuelto mediante búsqueda de arquitectura diferenciable para aprender conjuntamente los prompts y las reglas de fusión específicas por capa.
3. Expansión del Espacio de Búsqueda: Introduce la Transformación Afín y la Atención Cruzada como nuevas primitivas ligeras al espacio de búsqueda de VPT, permitiendo una base de fusión más expresiva pero eficiente.
4. Validación Exhaustiva: El trabajo proporciona tanto una interpretación teórica (vía IB) como evaluaciones empíricas extensas, respondiendo preguntas clave sobre la necesidad y escalabilidad de la fusión híbrida en el ajuste de prompts visuales.

4. Resultados Experimentales

El método fue evaluado en 34 conjuntos de datos a través de tres benchmarks principales: VTAB-1k (19 conjuntos de datos), FGVC (5 conjuntos de datos de grano fino) y HTA (10 conjuntos de datos diversos). El esqueleto utilizado fue un ViT-Base/16 congelado.

• Ganancias de Rendimiento:

  • VTAB-1k: Logró una precisión media del 77.01%, superando al fuerte baseline VPT-Deep (69.43%) por un +7.58% y a variantes recientes como VFPT (75.49%) por un +1.52%.
  • FGVC: Logró un 92.5% de precisión media, superando a VPT-Deep (85.5%) por un +7.0%.
  • HTA: Logró un 91.6% de precisión media, mejorando sobre VPT-Deep (85.5%) por un +6.1%.
  • Eficiencia de Parámetros: El método ajusta solo el 0.75% de los parámetros del ViT (incluyendo la cabeza específica de la tarea), comparable o incluso inferior a otros métodos SOTA de PEFT.

• Generalización:

  • El método demostró robustez a través de diferentes paradigmas de preentrenamiento (MAE y MoCo v3), superando consistentemente a los baselines tanto bajo objetivos de reconstrucción como de contraste.
  • También fue validado en Swin-Base, mostrando ganancias similares y adaptabilidad a esqueletos jerárquicos.

• Estudios de Ablación:

  • Único vs. Híbrido: Ningún operador único (Concatenación, Suma, Afín o Atención Cruzada) fue uniformemente óptimo. El enfoque híbrido buscable superó consistentemente a cualquier baseline de operador único fijo.
  • Patrones por Capa: El análisis reveló que las capas superficiales prefieren operadores ligeros (Concatenación/Suma) para preservar claves estructurales, mientras que las capas más profundas se desplazan hacia operadores semánticos (Afín/Atención Cruzada) para la calibración de características y el enrutamiento adaptativo al contenido.
  • Eficiencia: Aunque la fase de búsqueda incurre en una sobrecarga de entrenamiento (aproximadamente 1.38x VPT-Deep), el modelo discretizado final añade solo un 7.4% de latencia de inferencia (15.9ms vs. 14.8ms) mientras ofrece mejoras significativas en precisión.

5. Significación y Reivindicaciones

El artículo sostiene que cómo los prompts se fusionan con los tokens de imagen es un factor de primer orden para la generalización en el ajuste de prompts visuales. Al pasar de un esquema de fusión fijo a una fusión híbrida aprendida y específica por capa, el método aprovecha eficazmente las distintas necesidades de representación de las diferentes capas de los ViT.

Los autores afirman que sus hallazgos proporcionan una perspectiva novedosa para la investigación en el ajuste de prompts visuales, cerrando la breancia entre la Búsqueda de Arquitectura Neuronal (NAS) y el ajuste fino ligero. Concluyen que una modalidad de fusión híbrida no solo es óptima, sino también altamente escalable, capaz de incorporar sin problemas nuevos esquemas de fusión única en el espacio de búsqueda. Este enfoque permite que los esqueletos congelados se adapten de manera más efectiva a los cambios de dominio y tareas complejas (particularmente el razonamiento estructurado) sin recurrir a cabezas más pesadas o sesgos inductivos diseñados manualmente.