💻 computer science

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP es un método de eficiencia de consultas y totalmente de solo propagación hacia adelante que optimiza los prompts profundos tanto en las ramas de visión como de texto de modelos CLIP congelados utilizando la aproximación estocástica de perturbación simultánea, superando a los enfoques de orden cero existentes en múltiples evaluaciones al aprovechar la reparametrización de bajo rango transmodal, el impulso de corrección de gradiente y un cronograma de rango dinámico.

Autores originales: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot superinteligente que ha leído todo el internet y ha aprendido a entender tanto imágenes como palabras. Es como un bibliotecario genio que puede decirte instantáneamente de qué trata una foto con solo mirarla, o describir una escena usando frases perfectas. Este robot es un Modelo de Visión-Lenguaje, y es increíblemente poderoso. Pero aquí está el truco: normalmente, para enseñarle al robot un nuevo truco —como reconocer un tipo específico de flor rara o un escaneo médico extraño— tienes que dejar que "recablee" su propio cerebro. Este proceso es pesado, como intentar reorganizar una biblioteca masiva mientras todavía está abierta al público, y requiere mucha potencia de cómputo y memoria.

A veces, sin embargo, no puedes hacer eso. Tal vez el robot vive en un pequeño dispositivo en tu bolsillo que funciona con batería, o tal vez es un servicio secreto con el que solo puedes hablar a través de una ventana de chat que no te permite ver cómo piensa. En estos casos, no puedes recablear el cerebro; solo puedes susurrarle nuevas instrucciones. Esto se llama "ajuste de prompts" (prompt tuning). En lugar de cambiar el cerebro del robot, le das un conjunto especial de pistas o "promas" para ayudarlo a resolver un nuevo rompecabezas. El problema es que encontrar las pistas perfectas suele requerir mucho ensayo y error, y si no puedes ver los pensamientos internos del robot (los gradientes), es como intentar encontrar una aguja en un pajar mientras estás con los ojos vendados. Podrías necesitar miles de intentos para lograrlo, lo cual es demasiado lento y costoso para la vida real.

Aquí es donde entra un nuevo método llamado ZOMP. Piensa en ZOMP como un detective astuto que resuelve el problema de la "aguja con los ojos vendados" cambiando la forma en que busca. En lugar de adivinar cada detalle de la pista de una sola vez, ZOMP utiliza una estrategia inteligente para adivinar primero las partes más importantes y luego rellena lentamente el resto.

Así es como funciona, usando algunas analogías divertidas:

El truco del "Plano Compartido"
Normalmente, cuando intentas enseñarle cosas nuevas al robot, tienes que escribir pistas separadas para sus "ojos" (visión) y su "voz" (texto). Si intentas escribir pistas profundas y complejas para ambos al mismo tiempo, el número de posibilidades se vuelve tan enorme que la búsqueda con los ojos vendados se pierde. ZOMP cambia el juego diciendo: "Usemos un plano compartido". Imagina que las pistas para los ojos y la voz están construidas a partir del mismo pequeño conjunto de piezas de Lego. Solo tienes que averiguar cómo organizar esas pocas piezas, y estas construyen automáticamente las pistas adecuadas tanto para los ojos como para la voz al mismo tiempo. Esto mantiene el espacio de búsqueda pequeño y manejable, a pesar de que las pistas sean profundas y complejas.

La expansión "Indexada por Presupuesto"
Incluso con el plano compartido, intentar organizar todas las piezas a la vez sigue siendo demasiado difícil cuando estás con los ojos vendados. ZOMP utiliza un sistema de "presupuesto". Imagina que tienes un número limitado de intentos (consultas) para encontrar la mejor pista. ZOMP comienza permitiéndose jugar solo con la primera pieza, la más importante. Encuentra la dirección correcta para esa única pieza. Una vez que está seguro de que va por el buen camino, "desbloquea" la siguiente pieza, luego la siguiente, expandiendo la búsqueda lentamente solo cuando tiene una dirección confiable. Es como aprender a conducir: empiezas en un estacionamiento vacío (un espacio de búsqueda diminuto), te sientes cómodo y luego te mueves lentamente a las calles del vecindario y, finalmente, a la autopista. No intentas conducir en la autopista en tu primer día.

La Memoria de "Momento"
Debido a que la búsqueda es con los ojos vendados, las pistas que recibe suelen ser ruidosas e inestables, como intentar caminar en un bote en aguas agitadas. ZOMP añade una memoria de "momento". Piensa en esto como un surfista que no solo reacciona a cada ola, sino que recuerda la dirección general en la que el océano está empujando. Incluso si una ola lo golpea hacia un lado, sigue avanzando en la dirección correcta porque recuerda hacia dónde iba. Esto ayuda al robot a ignorar el ruido y mantenerse en el camino que realmente funciona.

Los Resultados
Los investigadores probaron este método en 13 desafíos diferentes, desde identificar flores hasta reconocer vehículos en imágenes satelitales. Le dieron a ZOMP y a otros métodos exactamente el mismo número de intentos (5,000 consultas). Los resultados mostraron que ZOMP encontró consistentemente mejores pistas que los otros métodos. No solo fue ligeramente mejor; a menudo fue significativamente más preciso, especialmente en tareas complicadas donde el robot suele tener dificultades.

Lo que es realmente genial es que ZOMP no solo mejoró en la tarea específica para la que fue entrenado. También mejoró su capacidad para manejar situaciones nuevas y extrañas que nunca había visto (como reconocer un boceto de un objeto en lugar de una foto). Esto sugiere que, al buscar de manera cuidadosa y eficiente, ZOMP aprendió una forma más inteligente de usar el conocimiento existente del robot, en lugar de simplemente memorizar los ejemplos de entrenamiento.

En resumen, ZOMP demuestra que no necesitas recablear el cerebro del robot para hacerlo más inteligente. Al usar un plano compartido, expandir la búsqueda lentamente y mantener una memoria constante de la dirección, puedes enseñarle trucos nuevos a una IA poderosa incluso cuando solo puedes susurrarle y tienes un número limitado de intentos. Es una forma práctica y eficiente de sacar el máximo provecho de estos modelos gigantes sin necesidad de una supercomputadora en tu bolsillo.

Resumen Técnico: ZOMP (Zeroth-Order Multi-Modal Prompt Tuning)

Declaración del Problema

El ajuste fino (fine-tuning) de modelos de lenguaje y visión (VLM) de gran escala como CLIP suele depender de la retropropagación (backpropagation o BP) a través de todo el modelo. Sin embargo, esto es inviable en dos escenarios cada vez más comunes: dispositivos de borde con restricciones de memoria donde el grafo de computación hacia atrás no puede caber, y despliegues de modelos propietarios donde los pesos son inaccesibles a través de APIs de inferencia. En estos entornos, el ajuste debe depender únicamente de pasos de propagación hacia adelante (optimización de orden cero).

Los métodos existentes de ajuste de prompts sin retropropagación (BP-free) intentan abordar esto estimando los gradientes mediante perturbaciones aleatorias (por ejemplo, estrategias evolutivas o Gradiente Descendiente Estocástico de orden cero). Sin embargo, estos métodos enfrentan un compromiso crítico:

Superficial o de una sola modalidad: Para mantener la eficiencia de consulta, métodos previos como BAR, BlackVIP y ZIP restringen el ajuste a prompts superficiales o de una sola modalidad (por ejemplo, solo texto). Evitan el prompting multimodal profundo (inyectar vectores aprendibles en múltiples capas de ambos codificadores de imagen y texto) porque la varianza de las estimaciones de gradiente de orden cero crece con la dimensionalidad del espacio de búsqueda.
Límites de convergencia: Se sabe que el prompting multimodal profundo genera una precisión superior bajo BP, pero la alta dimensionalidad lo hace impracticable bajo presupuestos de consulta realistas cuando se utilizan métodos de orden cero.

El problema central es reconciliar la expresividad del prompting profundo y multimodal con las restricciones de eficiencia de consulta de la optimización de orden cero.

Metodología: ZOMP

ZOMP (Zeroth-Order Multi-Modal Prompt tuning) propone un método de pura propagación hacia adelante que permite el ajuste de prompts profundos y multimodales mediante la reestructuración del espacio de parámetros y la trayectoria de optimización. El método se basa en tres componentes clave:

1. Reparametrización de Bajo Rango Cross-Modal
En lugar de optimizar las matrices de prompts directamente, ZOMP adopta una forma factorizada inspirada en LoRA y MMLoP. Para cada capa $l$ , el prompt visual $P_v^{(l)}$ y el prompt de texto $P_t^{(l)}$ se generan como:
$P_v^{(l)} = U^{(l)} V_v^{(l)}, \quad P_t^{(l)} = U^{(l)} V_t^{(l)}$
Aquí, $U^{(l)}$ es un factor pequeño y compartido común a ambas modalidades, mientras que $V_v^{(l)}$ y $V_t^{(l)}$ son factores específicos de cada modalidad.

Beneficio: Esto vincula los dos codificadores, asegurando que una única perturbación del factor compartido $U^{(l)}$ mueva ambos prompts de manera coherente. Reduce la dimensionalidad efectiva de búsqueda y permite que el rango $r$ sea tratado como una "perilla" ajustable.

2. Programación de Rango Progresivo Indexada por Presupuesto
Para gestionar la varianza de las estimaciones de orden cero, ZOMP no optimiza todos los componentes de rango simultáneamente desde el principio. En su lugar, emplea un esquema indexado por la fracción del presupuesto de consulta.

Mecanismo: El optimizador comienza buscando solo un subespacio de bajo rango pequeño (por ejemplo, rango-1). A medida que se consume el presupuesto de consulta, el rango se desbloquea progresivamente (por ejemplo, de rango 1 al rango completo $r$ ).
Inicialización: Todos los factores de modalidad $V$ se inicializan en cero. Esto asegura que los componentes recién desbloqueados no contribuyan con nada inicialmente, haciendo que la transición entre rangos sea preservadora de la función y evitando el "choque de inicialización" que desperdiciaría consultas.

3. Momento de Corrección de Gradiente
Las estimaciones de orden cero son inherentemente ruidosas. ZOMP incorpora un término de momento basado en SPSA-GC (Simultaneous Perturbation Stochastic Approximation con Corrección de Gradiente).

Mecanismo: El búfer de momento acumula estimaciones de gradiente pasadas, suavizando la trayectoria.
Sinergia: La fase inicial de bajo rango proporciona una dirección de bajo ruido para que el momento se fije. A medida que el rango se expande y la varianza aumenta, el búfer de momento preserva la dirección de descenso encontrada en la fase de baja varianza, evitando que el optimizador se desvíe por el ruido.

Flujo del Algoritmo:
El algoritmo (Algoritmo 1) itera a través del presupuesto de consulta. En cada paso, muestrea direcciones de perturbación enmascaradas a los componentes de rango actualmente activos, calcula la estimación de gradiente SPSA, aplica la corrección de momento y actualiza los parámetros. La máscara de rango se actualiza según el recuento acumulado de consultas.

Contribuciones Clave

Prompting Multimodal Profundo bajo Orden Cero: ZOMP es el primer método sin BP que implementa con éxito el prompting profundo a través de codificadores tanto de visión como de texto. Logra esto utilizando la factorización de bajo rango cross-modal para hacer tratable el espacio de búsqueda de alta dimensión.
Mecanismos de Entrenamiento Sinérgicos: El artículo introduce y valida un esquema de rango indexado por presupuesto junto con un momento de corrección de gradiente. Los estudios de ablación muestran que ninguno de los mecanismos es suficiente por sí solo; el esquema proporciona un punto de partida de bajo ruido para el momento, mientras que el momento permite al optimizador sobrevivir al pico de varianza cuando el espacio de búsqueda se ensancha.
Rendimiento de Vanguardia (State-of-the-Art): ZOMP demuestra una precisión de pocos disparos (few-shot), eficiencia de consulta y capacidades de generalización superiores en comparación con las líneas base de orden cero existentes (BAR, BlackVIP, BPT-VLM y ZIP).

Resultados Experimentales

Los autores evaluaron ZOMP en 13 evaluaciones de visión-lenguaje bajo un presupuesto de 5,000 consultas igualado, utilizando un backbone CLIP ViT-B/16 congelado.

Clasificación de Pocos Disparos (Few-Shot): ZOMP alcanzó una precisión promedio del 68.2% en 13 conjuntos de datos, superando al método previo más fuerte (ZIP, 62.2%) por 6.0 puntos. Superó a todas las líneas base en cada conjunto de datos individual, con ganancias particularmente grandes en dominios especializados (por ejemplo, +15.9 en EuroSAT, +10.3 en CLEVR).
Generalización de Base-a-Nuevo: En configuraciones donde los prompts se entrenan en clases base y se prueban en clases nuevas, ZOMP alcanzó una media armónica (HM) del 71.2%, superando a ZIP (67.5%) por 3.7 puntos. Esto indica que el método no se sobreajusta a las clases base a expensas de las nuevas.
Transversalidad de Datasets y Fuera de Distribución (OOD): Los prompts entrenados en ImageNet se transfirieron a 12 otros conjuntos de datos y 4 variantes de ImageNet sin ajustes adicionales. ZOMP logró el mejor rendimiento promedio tanto en CDT (56.9%) como en OOD (59.1%), demostrando una generalización robusta.
Eficiencia de Consulta: A pesar de tener el mayor número de parámetros entrenables (46.2k) entre los métodos probados, ZOMP alcanzó la precisión objetivo en el menor número de consultas. Esto contradice la expectativa de que la optimización de orden cero se degrada con el conteo de parámetros, demostando que el esquema de bajo rango mitiga eficazmente este problema.
Ablación de Componentes: Eliminar el esquema de rango o el momento resultó en caídas significativas de rendimiento, confirmando su naturaleza complementaria. Eliminar el intercambio cross-modal (usando factores $U$ independientes) también redujo el rendimiento, validando el beneficio de los factores compartidos.

Significado y Reivindicaciones

El artículo afirma que ZOMP cierra la brecha entre la expresividad teórica del prompting profundo y multimodal y las restricciones prácticas del ajuste sin retropropagación. Al explotar conjuntamente la multimodalidad y la estructura de bajo rango, ZOMP proporciona una ruta práctica para el ajuste de prompts eficiente para dispositivos de borde y APIs propietarias.

Los autores aseguran que sus resultados demuestran que el prompting profundo y multimodal no es inherentemente incompatible con la optimización de orden cero; más bien, requiere una reparametrización y un esquema de optimización específicos para gestionar la varianza. El trabajo sugiere que el "techo" observado anteriormente en los métodos sin BP fue una consecuencia del diseño del espacio de búsqueda y no una limitación fundamental del enfoque de orden cero en sí mismo.