💻 computer science

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP è un metodo completamente forward-only e efficiente in termini di query che ottimizza i deep prompt sia nei rami visivi che in quelli testuali di modelli CLIP congelati utilizzando l'approssimazione stocastica per perturbazione simultanea, superando gli approcci esistenti di ordine zero su molteplici benchmark grazie all'utilizzo di una riparametrizzazione a basso rango cross-modale, del momentum di correzione del gradiente e di un programma di rango dinamico.

Autori originali: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Pubblicato 2026-08-11

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot super intelligente che ha letto l'intero internet e ha imparato a comprendere sia immagini che parole. È come un bibliotecario geniale che può dirti istantaneamente di cosa tratta una foto solo guardandola, o descrivere una scena usando frasi perfette. Questo robot è chiamato Modello Visione-Linguaggio, ed è incredibilmente potente. Ma ecco il problema: di solito, per insegnare al robot un nuovo trucco — come riconoscere un tipo specifico di fiore raro o una strana scansione medica — devi lasciargli "ricablare" il proprio cervello. Questo processo è pesante, come cercare di riorganizzare una biblioteca enorme mentre è ancora aperta al pubblico, e richiede molta potenza di calcolo e memoria.

A volte, però, non puoi farlo. Magari il robot vive su un piccolo dispositivo tascabile alimentato a batteria, o è un servizio segreto con cui puoi parlare solo attraverso una finestra di chat che non ti permette di vedere come pensa. In questi casi, non puoi ricablarne il cervello; puoi solo sussurrare nuove istruzioni. Questo si chiama "prompt tuning". Invece di cambiare il cervello del robot, gli dai un set speciale di indizi o "prompt" per aiutarlo a risolvere un nuovo puzzle. Il problema è che trovare gli indizi perfetti richiede solitamente molta sperimentazione, e se non puoi vedere i suoi pensieri interni (i gradienti), è come cercare di trovare un ago in un pagliaio bendati. Potresti aver bisogno di migliaia di tentativi prima di riuscirci, il che è troppo lento e costoso per la vita reale.

È qui che entra in gioco un nuovo metodo chiamato ZOMP. Pensa a ZOMP come a un investigatore astuto che risolve il problema dell' "ago nel pagliaio bendato" cambiando il modo in cui cerca. Invece di indovinare ogni singolo dettaglio dell'indizio tutto in una volta, ZOMP usa una strategia intelligente per indovinare prima le parti più importanti, poi riempie lentamente il resto.

Ecco come funziona, usando alcune metafore divertenti:

Il trucco del "Progetto Condiviso"
Di solito, quando provi a insegnare nuove cose al robot, devi scrivere indizi separati per i suoi "occhi" (visione) e la sua "voce" (testo). Se provi a scrivere indizi profondi e complessi per entrambi contemporaneamente, il numero di possibilità diventa così enorme che la ricerca bendata si perde. ZOMP cambia le regole del gioco dicendo: "Usiamo un progetto condiviso". Immagina che gli indizi per gli occhi e la voce siano entrambi costruiti a partire dallo stesso piccolo set di mattoncini LEGO. Devi solo capire come disporre quei pochi mattoncini e questi costruiranno automaticamente gli indizi giusti sia per gli occhi che per la voce. Questo mantiene lo spazio di ricerca piccolo e gestibile, anche se gli indizi sono profondi e complessi.

L'espansione "Indicizzata per Budget"
Anche con il progetto condiviso, cercare di disporre tutti i mattoncini in una volta sola è ancora troppo difficile quando sei bendato. ZOMP usa un sistema di "budget". Immagina di avere un numero limitato di tentativi (query) per trovare l'indizio migliore. ZOMP inizia permettendosi di giocare solo con il primissimo e più importante mattoncino. Trova la direzione giusta per quel singolo pezzo. Una volta che è sicuro di essere sulla strada giusta, "sblocca" il mattoncino successivo, poi il prossimo, espandendo lentamente la ricerca solo quando ha una direzione affidabile. È come imparare a guidare: inizi in un parcheggio vuoto (uno spazio di ricerca minuscolo), ti senti a tuo agio e poi ti sposti lentamente nelle strade del quartiere e, infine, in autostrada. Non provi a guidare in autostrada il tuo primissimo giorno.

La memoria del "Momento"
Poiché la ricerca è bendata, gli indizi che riceve sono spesso rumorosi e instabili, come cercare di camminare su una barca in acque agitate. ZOMP aggiunge una memoria di "momento". Pensa a questo come a un surfista che non si limita a reagire a ogni singola onda, ma ricorda la direzione generale in cui l'oceano sta spingendo. Anche se un'onda lo sbilancia lateralmente, continua a muoversi nella direzione giusta perché ricorda dove stava andando. Questo aiuta il robot a ignorare il rumore e a mantenere la rotta che funziona davvero.

I Risultati
I ricercatori hanno testato questo metodo su 13 diverse sfide, dall'identificazione dei fiori al riconoscimento di veicoli in immagini satellitari. Hanno dato a ZOMP e agli altri metodi lo stesso identico numero di tentativi (5.000 query). I risultati hanno mostrato che ZOMP ha costantemente trovato indizi migliori rispetto agli altri metodi. Non è stato solo leggermente migliore; è stato spesso significativamente più accurato, specialmente in compiti difficili dove il robot di solito fatica.

La cosa davvero interessante è che ZOMP non è migliorato solo nel compito specifico per cui è stato addestrato. È migliorato anche nel gestire situazioni nuove e strane (come riconoscere uno schizzo di un oggetto invece di una foto). Questo suggerisce che, cercando con cura ed efficienza, ZOMP ha imparato un modo più intelligente di usare le conoscenze esistenti del robot, piuttosto che limitarsi a memorizzare gli esempi di addestramento.

In breve, ZOMP dimostra che non è necessario ricablarne il cervello per renderlo più intelligente. Usando un progetto condiviso, espandendo la ricerca lentamente e mantenendo una memoria costante della direzione, puoi insegnare a un potente IA nuovi trucchi anche quando puoi solo sussurrargli e hai un numero limitato di tentativi. È un modo pratico ed efficiente per ottenere il massimo da questi modelli giganteschi senza bisogno di un supercomputer in tasca.

Riepilogo Tecnico: ZOMP (Zeroth-Order Multi-Modal Prompt Tuning)

Definizione del Problema

Il fine-tuning di grandi modelli vision-language (VLM) come CLIP si basa tipicamente sulla backpropagation (BP) attraverso l'intero modello. Tuttavia, ciò è impraticabile in due scenari sempre più comuni: dispositivi edge con risorse di memoria limitate, dove il grafo computazionale del backward non può essere ospitato, e deployment di modelli proprietari dove i pesi sono inaccessibili tramite API di inferenza. In questi contesti, il tuning deve fare affidamento esclusivamente sui passaggi in avanti (ottimizzazione di ordine zero o zeroth-order).

I metodi esistenti di prompt tuning privi di backpropagation (BP-free) tentano di affrontare questo problema stimando i gradienti tramite perturbazioni casuali (ad esempio, strategie evolutive o Stochastic Gradient Descent di ordine zero). Tuttavia, questi metodi affrontano un compromesso critico:

Superficialità o Singola Modalità: Per mantenere l'efficienza delle query, i metodi precedenti come BAR, BlackVIP e ZIP limitano il tuning a prompt superficiali o a singole modalità (ad esempio, solo testo). Essi evitano il prompting multimodale profondo perché la varianza delle stime del gradiente di ordine zero cresce con la dimensionalità dello spazio di ricerca.
Limiti di Convergenza: Il prompting multimodale profondo (iniettare vettori apprendibili in più strati sia degli encoder di immagine che di testo) è noto per fornire una precisione superiore sotto BP, ma l'alta dimensionalità lo rende impraticabile sotto budget di query realistici quando si utilizzano metodi di ordine zero.

Il problema centrale è conciliare l'espressività del prompting multimodale profondo con i vincoli di efficienza delle query dell'ottimizzazione di ordine zero.

Metodologia: ZOMP

ZOMP (Zeroth-Order Multi-Modal Prompt tuning) propone un metodo completamente basato sul passaggio in avanti (forward-only) che consente il deep prompt tuning multimodale ristrutturando lo spazio dei parametri e la traiettoria di ottimizzazione. Il metodo si basa su tre componenti chiave:

1. Ripartetrizzazione Low-Rank Cross-Modale
Invece di ottimizzare direttamente le matrici dei prompt, ZOMP adotta una forma fattorizzata ispirata a LoRA e MMLoP. Per ogni strato $l$ , il prompt visivo $P_v^{(l)}$ e il prompt testuale $P_t^{(l)}$ sono generati come:
$P_v^{(l)} = U^{(l)} V_v^{(l)}, \quad P_t^{(l)} = U^{(l)} V_t^{(l)}$
Qui, $U^{(l)}$ è un piccolo fattore condiviso comune a entrambe le modalità, mentre $V_v^{(l)}$ e $V_t^{(l)}$ sono fattori specifici per modalità.

Beneficio: Questo lega i due encoder, assicurando che una singola perturbazione del fattore condiviso $U^{(l)}$ muova entrambi i prompt in modo coerente. Riduce la dimensionalità effettiva della ricerca e permette al rango $r$ di essere trattato come un "pomello" regolabile.

2. Programmazione del Rango Progressivo Indicizzata al Budget (Budget-Indexed Progressive Rank Schedule)
Per gestire la varianza delle stime di ordine zero, ZOMP non ottimizza tutti i componenti di rango simultaneamente sin dall'inizio. Al contrario, impiega una programmazione indicizzata alla frazione del budget di query.

Meccanismo: L'ottimizzatore inizia ricercando solo un sottospazio a basso rango (ad esempio, rango-1). Man mano che il budget di query viene consumato, il rango viene progressivamente sbloccato (ad esempio, dal rango 1 al rango completo $r$ ).
Inizializzazione: Tutti i fattori specifici per modalità $V$ sono inizializzati a zero. Ciò assicura che i componenti appena sbloccati non contribuiscano inizialmente, rendendo la transizione tra i rangi preservante della funzione e prevenendo lo "shock da inizializzazione" che sprecherebbe le query.

3. Momento di Correzione del Gradiente (Gradient-Correction Momentum)
Le stime di ordine zero sono intrinsecamente rumorose. ZOMP incorpora un termine di momento basato su SPSA-GC (Simultaneous Perturbation Stochastic Approximation with Gradient Correction).

Meccanismo: Il buffer di momento accumula le stime passate del gradiente, smussando la traiettoria.
Sinergia: La fase iniziale a basso rango fornisce una direzione a basso rumore su cui il momento può agganciarsi. Man mano che il rango si espande e la varianza aumenta, il buffer di momento preserva la direzione di discesa trovata nella fase a bassa varianza, impedendo all'ottimizzatore di essere deviato dal rumore.

Flusso dell'Algoritmo:
L'algoritmo (Algoritmo 1) itera attraverso il budget di query. In ogni step, campiona direzioni di perturbazione mascherate ai componenti del rango attualmente attivi, calcola la stima del gradiente SPSA, applica la correzione del momento e aggiorna i parametri. La maschera del rango viene aggiornata in base al conteggio cumulativo delle query.

Contributi Chiave

Prompting Multimodale Profondo sotto l'Ordine Zero: ZOMM è il primo metodo privo di BP che implementa con successo il prompting profondo attraverso entrambi gli encoder di visione e testo. Ciò lo ottiene utilizzando la fattorizzazione low-rank cross-modale per rendere trattabile l'elevata dimensionalità dello spazio di ricerca.
Meccanismi di Training Sinergici: Il paper introduce e valida una programmazione del rango indicizzata al budget accoppiata al momento di correzione del gradiente. Gli studi di ablazione mostrano che nessuno dei due meccanismi è sufficiente da solo; la programmazione fornisce un punto di partenza a basso rumore per il momento, mentre il momento permette all'ottimizzatore di sopravvivere allo spike di varianza quando lo spazio di ricerca si amplia.
Prestazioni allo Stato dell'Arte: ZOMP dimostra una precisione few-shot, un'efficienza di query e capacità di generalizzazione superiori rispetto ai precedenti baseline BP-free (BAR, BlackVIP, BPT-VLM e ZIP).

Risultati Sperimentali

Gli autori hanno valutato ZOMP su 13 benchmark vision-language utilizzando un budget di 5.000 query corrispondente, impiegando un backbone CLIP ViT-B/16 congelato.

Classificazione Few-Shot: ZOMP ha raggiunto un'accuratezza media del 68,2% su 13 dataset, superando il precedente metodo più forte (ZIP, 62,2%) di 6,0 punti. Ha superato tutti i baseline su ogni singolo dataset, con guadagni particolarmente elevati in domini specializzati (ad esempio, +15,9 su EuroSAT, +10,3 su CLEVR).
Generalizzazione Base-a-Nuovo (Base-to-New): In scenari in cui i prompt sono addestrati su classi base e testati su nuove classi, ZOMP ha ottenuto una media armonica (HM) del 71,2%, superando ZIP (67,5%) di 3,7 punti. Ciò indica che il metodo non va in overfitting sulle classi base a scapito di quelle nuove.
Cross-Dataset e Out-of-Distribution (OOD): I prompt addestrati su ImageNet sono stati trasferiti a 12 altri dataset e 4 varianti di ImageNet senza ulteriore tuning. ZOMP ha ottenuto la migliore prestazione media sia nei setting CDT (56,9%) che OOD (59,1%), dimostrando una robusta generalizzazione.
Efficienza delle Query: Nonostante avere il maggior numero di parametri addestrabili (46,2k) tra i metodi testati, ZOMP ha raggiunto l'accuratezza target con il minor numero di query. Questo contraddice l'aspettativa che l'ottimizzazione di ordine zero degradi con l'aumento del numero di parametri, provando che la programmazione low-rank mitiga efficacementamente questo problema.
Ablazione dei Componenti: Rimuovere o la programmazione del rango o il momento ha causato cali significativi di prestazioni, confermando la loro natura complementare. Rimuovere la condivisione cross-modale (usando fattori $U$ indipendenti) ha inoltre ridotto le prestazioni, validando il beneficio dei fattori condivisi.

Significato e Rivendicazioni

Il paper sostiene che ZOMP colmi il divario tra l'espressività teorica del prompting multimodale profondo e i vincoli pratici del tuning privo di backpropagation. Sfruttando congiuntamente la multimodalità e la struttura low-rank, ZOMP fornisce una via pratica per un efficiente prompt tuning per dispositivi edge e API proprietarie.

Gli autori affermano che i loro risultati dimostrano che il prompting profondo e multimodale non è intrinsecamente incompatibile con l'ottimizzazione di ordine zero; richiede invece una specifica riparametrizzazione e una programmazione di ottimizzazione per gestire la varianza. Il lavoro suggerisce che il "tetto" precedentemente osservato nei metodi BP-free fosse una conseguenza del design dello spazio di ricerca piuttosto che un limite fondamentale dell'approccio di ordine zero stesso.