Robust Adaptation of Foundation Models with Black-Box Visual Prompting

1. El Problema

El aprendizaje por transferencia eficiente de parámetros (PETL) ha ganado atención para adaptar grandes modelos preentrenados (PTM o Foundation Models) a tareas específicas. Sin embargo, los métodos existentes (como el Fine-Tuning completo o el Visual Prompting estándar) dependen de dos suposiciones optimistas que a menudo no se cumplen en aplicaciones del mundo real:

1. Acceso total a los parámetros: Asumen que se puede acceder a los pesos y la arquitectura del modelo para realizar retropropagación (backpropagation). En la realidad, muchos PTM se ofrecen como APIs de caja negra o software propietario donde los parámetros internos están ocultos.
2. Capacidad de memoria suficiente: Asumen que hay memoria RAM/VRAM suficiente para almacenar todas las activaciones intermedias necesarias para calcular gradientes exactos. Los modelos modernos son demasiado grandes para esto en entornos con recursos limitados.

Existe una necesidad crítica de adaptar estos modelos masivos a tareas específicas sin conocer su arquitectura interna y con requisitos mínimos de memoria y computación.

2. Metodología

Los autores proponen BlackVIP (Black-Box Visual Prompting), un marco que permite la adaptación eficiente de modelos de visión preentrenados sin acceso a sus parámetros. El enfoque se basa en dos componentes principales:

A. Coordinador (Coordinator): Reparametrización del Prompt

En lugar de aprender un prompt visual estático e independiente de la entrada (como un marco fijo en los bordes de la imagen), BlackVIP introduce un Coordinador, una red neuronal ligera que genera prompts visuales dependientes de la entrada.

• Funcionamiento: El Coordinador toma una imagen de entrada $x$, la codifica en una representación de características $z_x$ (usando un encoder fijo o estadístico), y la combina con un vector de disparador de tarea ($\phi_t$) para generar un prompt visual $v_\phi(x)$ que tiene el mismo tamaño que la imagen original.
• Ventaja: Esto permite que el prompt adapte semánticamente la imagen completa según el contexto, no solo una región fija.
• Variantes:
  • BlackVIP: Utiliza un encoder preentrenado auto-supervisado (SSL, ej. ViT-MAE) congelado para extraer características.
  • BlackVIP-SE: Una variante más eficiente que reemplaza el encoder de red neuronal por un método estadístico simple: Análisis de Componentes Principales (PCA). Proyecta la imagen en un espacio de baja dimensión, reduciendo drásticamente el tiempo de inferencia y el costo computacional.

B. Optimización: SPSA-GC (Simultaneous Perturbation Stochastic Approximation with Gradient Correction)

Dado que el modelo objetivo es una caja negra (solo devuelve probabilidades de salida), no se pueden calcular gradientes reales. Se utiliza un optimizador de orden cero (zeroth-order).

• SPSA Estándar: Estima el gradiente perturbando los parámetros del Coordinador en dos direcciones aleatorias y observando la diferencia en la pérdida de salida.
• Mejora (SPSA-GC): Los autores introducen una corrección de gradiente basada en el Momentum de Nesterov. El algoritmo estima el gradiente en una posición "mirando hacia adelante" ($\phi_i + \beta m_i$) en lugar de en la posición actual. Esto corrige el ruido inherente a la estimación de gradientes de caja negra, acelerando la convergencia y estabilizando la optimización en espacios de alta dimensión.

3. Contribuciones Clave

1. Propuesta de BlackVIP y BlackVIP-SE: Un nuevo marco de prompting visual de caja negra que no requiere acceso a parámetros ni grandes cantidades de memoria para activaciones intermedias.
2. Algoritmo SPSA-GC: Un nuevo optimizador que combina SPSA con corrección de gradiente tipo Nesterov, logrando una convergencia más rápida y estable que los métodos de optimización de caja negra existentes (como CMA-ES o RL).
3. Análisis Teórico de Robustez: Los autores establecen un vínculo teórico entre el Visual Prompting y la suavización aleatorizada (Randomized Smoothing). Demuestran que los prompts aprendidos asintóticamente siguen distribuciones gaussianas, lo que garantiza teóricamente la robustez del modelo frente a perturbaciones $L_2$ y mejora la generalización.
4. Eficiencia Extrema: BlackVIP-SE reduce los parámetros aprendibles a solo 1K (frente a 69K en métodos anteriores) y elimina la necesidad de un encoder de red neuronal adicional, haciéndolo viable para dispositivos con recursos limitados.

4. Resultados Experimentales

Los métodos se evaluaron en 19 conjuntos de datos diversos (reconocimiento de objetos, escenas, imágenes satelitales, razonamiento visual, etc.):

• Rendimiento: BlackVIP y BlackVIP-SE superaron consistentemente a los métodos de caja negra existentes (como BAR y VP con optimizadores estándar) y a menudo igualaron o superaron a métodos de caja blanca (con acceso a gradientes) en configuraciones de pocos disparos (few-shot).
• Robustez: En escenarios de desplazamiento de distribución (ej. Biased MNIST con correlaciones espurias de color) y cambios de ubicación de objetos (Loc-MNIST), BlackVIP demostró una superioridad notable, logrando adaptar el modelo a la semántica real de la imagen en lugar de depender de características espurias.
• Eficiencia de Consultas (Query Efficiency): Lograron mejoras significativas en la precisión con un número muy bajo de llamadas a la API (aprox. 10,000 llamadas), ofreciendo una excelente relación costo-rendimiento.
• Análisis de Memoria y Tiempo:
  • Memoria: BlackVIP-SE requiere la menor asignación de memoria pico (aprox. 1.3 GB para ViT-B), mucho menos que el Fine-Tuning completo o incluso otros métodos de caja negra.
  • Tiempo: BlackVIP-SE es significativamente más rápido en entrenamiento e inferencia que BlackVIP estándar, siendo competitivo con métodos baselines sin sacrificar precisión.
• Compatibilidad: Funciona bien combinado con métodos de prompting de texto en caja negra y es aplicable a modelos cuantizados (post-training quantization).

5. Significado e Impacto

Este trabajo es fundamental para la democratización y aplicación práctica de los grandes modelos de IA:

• Accesibilidad: Permite a usuarios con recursos limitados (poca memoria, sin acceso al código fuente) adaptar modelos de vanguardia (como CLIP) a sus propios dominios específicos.
• Seguridad y Robustez: Al demostrar teóricamente y empíricamente que el prompting visual mejora la robustez contra perturbaciones y desplazamientos de distribución, ofrece una vía para crear sistemas de IA más seguros y fiables en entornos del mundo real ("in the wild").
• Nueva Dirección de Investigación: Establece un nuevo paradigma para la optimización de modelos de caja negra, alejándose de algoritmos evolutivos inestables o de aprendizaje por refuerzo costoso, hacia métodos de aproximación estocástica corregida que son teóricamente sólidos y prácticos.

En resumen, BlackVIP resuelve el dilema de cómo adaptar modelos masivos a tareas específicas cuando no se tiene control sobre ellos, ofreciendo una solución eficiente, robusta y teóricamente fundamentada.