💻 computer science

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP is een query-efficiënte, volledig forward-only methode die diepe prompts optimaliseert in zowel de visuele als de tekstuele takken van bevroren CLIP-modellen met behulp van simultane perturbatie stochastische benadering, waarbij het bestaande zeroth-order benaderingen over meerdere benchmarks overtreft door gebruik te maken van cross-modale low-rank herparameterisering, gradiënt-correctie momentum en een dynamisch rank-schema.

Oorspronkelijke auteurs: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die het hele internet heeft gelezen en heeft geleerd om zowel plaatjes als woorden te begrijpen. Het is als een geniale bibliothecaris die direct kan vertellen waar een foto over gaat door er alleen maar naar te kijken, of een scène kan beschrijven met perfecte zinnen. Deze robot wordt een Vision-Language Model genoemd en is ongelooflijk krachtig. Maar hier is het addertje onder het gras: meestal, om de robot een nieuwe truc te leren — zoals het herkennen van een specifiek type zeldzame bloem of een vreemde medische scan — moet je de robot toestaan om zijn eigen brein te "herbedraden". Dit proces is zwaar, zoals proberen een enorme bibliotheek te reorganiseren terwijl deze nog steeds open is voor het publiek, en het vereist veel rekenkracht en geheugen.

Soms kun je dat echter niet. Misschien leeft de robot op een klein, op batterijen werkend apparaat in je zak, of misschien is het een geheime dienst waar je alleen via een chatvenster mee kunt communiceren, wat je niet toestaat om te zien hoe hij denkt. In die gevallen kun je het brein van de robot niet herbedraden; je kunt alleen nieuwe instructies naar hem fluisteren. Dit wordt "prompt tuning" genoemd. In plaats van het brein van de robot te veranderen, geef je hem een speciale set aanwijzingen of "prompts" om hem te helpen een nieuwe puzzel op te lossen. Het probleem is dat het vinden van de perfecte aanwijzingen meestal veel trial-and-error vereist, en als je de interne gedachten van de robot (gradiënten) niet kunt zien, is het alsof je probeert een naald in een hooiberg te vinden terwijl je geblinddoekt bent. Je zou duizenden gissingen nodig kunnen hebben om het goed te krijgen, wat te traag en te duur is voor het echte leven.

Hier komt een nieuwe methode genaamd ZOMP om de hoek kijken. Denk aan ZOMP als een slimme detective die het "geblinddoekte naald-probleem" oplost door te veranderen hoe ze zoeken. In plaats van elke individuele detail van de aanwijzing tegelijkertijd te raden, gebruikt ZOMP een slimme strategie om eerst de belangrijkste delen te raden, en vult dan langzaam de rest aan.

Zo werkt het, met een paar leuke metaforen:

De "Gedeelde Blauwdruk" Truc
Normaal gesproken, wanneer je probei de robot nieuwe dingen te leren, moet je aparte aanwijzingen schrijven voor zijn "ogen" (visie) en zijn "stem" (tekst). Als je probeert om voor beide tegelijkertijd diepe, complexe aanwijzingen te schrijven, worden de mogelijkheden zo enorm groot dat de geblinddoekte zoektocht verdwaalt. ZOMP verandert het spel door te zeggen: "Laten we een gedeelde blauwdruk gebruiken." Stel je voor dat de aanwijzingen voor de ogen en de stem beide zijn gebouwd uit dezelfde kleine set Lego-steentjes. Je hoeft alleen maar uit te vogelen hoe je die paar steentjes arrangeert, en ze bouwen automatisch de juiste aanwijzingen voor zowel de ogen als de stem tegelijkertijd. Dit houdt de zoekruimte klein en beheersbaar, ook al zijn de aanwijzingen diep en complex.

De "Budget-Geïndexeerde" Expansie
Zelfs met de gedeelde blauwdruk is het proberen te arrangeren van alle steentjes tegelijkertijd nog steeds te moeilijk wanneer je geblinddoekt bent. ZOMP gebruikt een "budget"-systeem. Stel je voor dat je een beperkt aantal gissingen (queries) hebt om de beste aanwijzing te vinden. ZOMP begint door zichzelf alleen toe te staan te spelen met het allereerste, belangrijkste steentje. Het vindt de juiste richting voor dat ene stukje. Zodra het zeker is dat het op het juiste pad zit, "ontgrendelt" het het volgende steentje, en het volgende, en breidt de zoektocht langzaam uit wanneer het een betrouwbare richting heeft gevonden. Het is als het leren rijden: je begint op een leeg parkeerterrein (een kleine zoekruimte), raakt gewend aan het rijden, en beweegt je dan langzaam naar de woonwijken, en uiteindelijk naar de snelweg. Je probeert niet op je eerste dag al op de snelweg te rijden.

Het "Momentum" Geheugen
Omdat de zoektocht geblinddoekt is, zijn de aanwijzingen die het krijgt vaak luidruchtig en wankel, zoals proberen te lopen op een boot in onstuimig water. ZOMp voegt een "momentum"-geheugen toe. Denk hierbij aan een surfer die niet alleen op elke golf reageert, maar zich de algemene richting herinnert waarin de oceaan duwt. Zelfs als een golf de surfer zijdelings wegduwt, blijft hij in de juiste richting bewegen omdat hij weet waar hij naartoe ging. Dit helpt de robot om de ruis te negeren en vast te houden aan het pad dat daadwerkelijk werkt.

De Resultaten
De onderzoekers hebben deze methode getest op 13 verschillende uitdagingen, van het identificeren van bloemen tot het herkennen van voertuigen in satellietbeelden. Ze gaven ZOMP en andere methoden exact hetzelfde aantal gissingen (5.000 queries). De resultaten lieten zien dat ZOMP consequent betere aanwijzingen vond dan de andere methoden. Het werd niet alleen iets beter; het was vaak aanzienlijk nauwkeuriger, vooral bij lastige taken waarbij de robot normaal gesproken moeite heeft.

Wat echt cool is, is dat ZOMP niet alleen beter werd in de specifieke taak waarop het getraind was. Het werd ook beter in het afhandelen van nieuwe, vreemde situaties (zoals het herkennen van een schets van een object in plaats van een foto). Dit suggereert dat door zorgvuldig en efficiënt te zoeken, ZOMP een slimmere manier heeft geleerd om de bestaande kennis van de robot te gebruiken, in plaats van alleen de trainingsvoorbeelden uit het hoofd te leren.

Kortom, ZOMP bewijst dat je het brein van de robot niet hoeft te herbedraden om hem slimmer te maken. Door een gedeelde blauwdruk te gebruiken, de zoektocht langzaam uit te breiden en een gestaag geheugen van de richting te behouden, kun je een krachtige AI nieuwe trucs leren, zelfs wanneer je alleen tegen hem kunt fluisteren en een beperkt aantal pogingen hebt. Het is een praktische, efficiënte manier om het meeste uit deze enorme modellen te halen zonder dat je een supercomputer in je zak nodig hebt.

Technische Samenvatting: ZOMP (Zeroth-Order Multi-Modal Prompt Tuning)

Probleemstelling

Het finetunen van grote visie-taalmodellen (VLMs) zoals CLIP vertrouwt doorgaans op backpropagation (BP) door het gehele model. Dit is echter onhaalbaar in twee steeds vaker voorkomende scenario's: rekenkrachtbeperkte edge-apparaten waar het backward computation graph niet in het geheugen past, en propriëtaire modeldeployments waarbij de gewichten niet toegankelijk zijn via inference API's. In deze instellingen moet tuning uitsluitend vertrouwen op forward passes (zeroth-order optimalisatie).

Bestaande backpropagation-vrije (BP-vrije) prompt tuning-methoden proberen dit aan te pakken door gradiënten te schatten via willekeurige perturbaties (bijv. evolutionaire strategieën of Zeroth-Order Stochastic Gradient Descent). Deze methoden kampen echter met een kritieke afweging:

Ondiep of Single-Modality: Om de query-efficiëntie te behouden, beperken eerdere methoden zoals BAR, BlackVIP en ZIP de tuning tot ondiepe prompts of enkele modaliteiten (bijv. alleen tekst). Ze vermijden diepe, multi-modale prompting omdat de variantie van zeroth-order gradiënt-schattingen groeit met de dimensionaliteit van de zoekruimte.
Convergentiebeperkingen: Diepe multi-modale prompting (het injecteren van leerbare vectoren in meerdere lagen van zowel de beeld- als de tekstencoders) staat bekend om het leveren van superieure nauwkeurigheid onder BP, maar de hoge dimensionaliteit maakt het onpraktisch onder realistische query-budgetten wanneer zeroth-order methoden worden gebruikt.

Het kernprobleem is het verzoenen van de expressiviteit van diepe, multi-modale prompting met de query-efficiëntiebeperkingen van zeroth-order optimalisatie.

Methodologie: ZOMP

ZOMP (Zeroth-Order Multi-Modal Prompt tuning) stelt een volledig forward-only methode voor die diepe, multi-modale prompt tuning mogelijk maakt door de parameterruimte en het optimalisatiepad te herstructureren. De methode rust op drie kerncomponenten:

1. Cross-Modal Low-Rank Reparameterisatie
In plaats van prompt-matrices direct te optimaliseren, hanteert ZOMP een gefactoriseerde vorm geïnspireerd door LoRA en MMLoP. Voor elke laag $l$ worden de visuele prompt $P_v^{(l)}$ en de tekstuele prompt $P_t^{(l)}$ gegenereerd als:
$P_v^{(l)} = U^{(l)} V_v^{(l)}, \quad P_t^{(l)} = U^{(l)} V_t^{(l)}$
Hier is $U^{(l)}$ een kleine, gedeelde factor die gemeenschappelijk is voor beide modaliteiten, terwijl $V_v^{(l)}$ en $V_t^{(l)}$ modaliteit-specifieke factoren zijn.

Voordeel: Dit koppelt de twee encoders aan elkaar, waardoor een enkele perturbatie van de gedeelde factor $U^{(l)}$ beide prompts coherent beweegt. Het vermindert de effectieve zoekdimensionaliteit en maakt het mogelijk om de rang $r$ te behandelen als een regelbare "knop".

2. Budget-Geïndexeerde Progressieve Rank Schedule
Om de variantie van zeroth-order schattingen te beheersen, optimaliseert ZOMP niet alle rank-componenten simultaan vanaf het begin. In plaats daarvan wordt een schedule gehanteerd die geïndexeerd is door de fractie van het query-budget.

Mechanisme: De optimizer begint door alleen een kleine, low-rank subspace te doorzoeken (bijv. rank-1). Naarmate het query-budget wordt verbruikt, wordt de rank progressief ontgrendeld (bijv. van rank 1 naar de volledige rank $r$ ).
Initialisatie: Alle modaliteit-specifieke factoren $V$ worden geïnitialiseerd op nul. Dit zorgt ervoor dat nieuw ontgrendelde componenten aanvankelijk niets bijdragen, waardoor de overgang tussen ranks functie-behoudend werkt en "initialisatie-shock" wordt voorkomen die queries zou verspillen.

3. Gradient-Correction Momentum
Zeroth-order schattingen zijn inherent ruizig. ZOMP incorporeert een momentum-term gebaseerd op SPSA-GC (Simultaneous Perturbation Stochastic Approximation met Gradient Correction).

Mechanisme: De momentum-buffer accumuleert eerdere gradiënt-schattingen, wat het traject gladstrijkt.
Synergie: De low-rank fase in een vroeg stadium biedt een low-noise richting waar de momentum zich op kan vastleggen. Naarmate de rank expandeert en de variantie toeneemt, behoudt de momentum-buffer de neerwaartse richting die in de low-variance fase is gevonden, waardoor de optimizer niet uit koers wordt gebracht door ruis.

Algoritme Flow:
Het algoritme (Algoritme 1) iterereert door het query-budget. In elke stap sampelt het perturbatie-richtingen die gemaskeerd zijn tot de momenteel actieve rank-componenten, berekent de SPSA gradiënt-schatting, past momentum-correctie toe en werkt de parameters bij. De rank-mask wordt bijgewerkt op basis van het cumulatieve query-aantal.

Belangrijkste Bijdragen

Diepe Multimodale Prompting onder Zeroth-Order: ZOMP is de eerste BP-vrije methode die succesvol diepe prompting implementeert over zowel beeld- als tekstencoders. Dit wordt bereikt door cross-modal low-rank factorisatie te gebruiken om de hoog-dimensionale zoekruimte hanteerbaar te maken.
Synergetische Trainingsmechanismen: Het artikel introduceert en valideert een budget-geïndexeerde rank schedule gekoppeld aan gradient-correction momentum. Ablatie-studies tonen aan dat geen van beide mechanismen alleen voldoende is; de schedule biedt een low-noise startpunt voor de momentum, terwijl de momentum de optimizer in staat stelt te overleven tijdens de variantie-piek wanneer de zoekruimte breder wordt.
State-of-the-Art Prestaties: ZOMP demonstreert superieure few-shot nauwkeurigheid, query-efficiëntie en generalisatievermogen vergeleken met bestaande BP-vrije baselines (BAR, BlackVIP, BPT-VLM en ZIP).

Experimentele Resultaten

De auteurs evalueerden ZOMP op 13 visie-taal benchmarks onder een gelijkwaardig budget van 5.000 queries met behulp van een bevroren CLIP ViT-B/16 backbone.

Few-Shot Classificatie: ZOMP behaalde een gemiddelde nauwkeurigheid van 68,2% over 13 datasets, waarmee het de sterkste eerdere methode (ZIP, 62,2%) met 6,0 punten versloeg. Het overtrof alle baselines op elke individuele dataset, met bijzonder grote winsten op gespecialiseerde domeinen (bijv. +15,9 op EuroSAT, +10,3 op CLEVR).
Base-to-New Generalisatie: In settings waar prompts getraind zijn op base-klassen en getest worden op nieuwe klassen, behaalde ZOMP een harmonisch gemiddelde (HM) van 71,2%, wat hoger is dan ZIP (67,5%) met 3,7 punten. Dit geeft aan dat de methode niet overfit op base-klassen ten koste van nieuwe klassen.
Cross-Dataset & Out-of-Distribution (OOD): Prompts getraind op ImageNet werden getransformeerd naar 12 andere datasets en 4 ImageNet-varianten zonder verdere tuning. ZOMP behaalde de beste gemiddelde prestaties in zowel de CDT (56,9%) als de OOD (59,1%) settings.
Query Efficiëntie: Ondanks het hebben van het hoogste aantal trainbare parameters (46,2k) onder de geteste methoden, bereikte ZOMP de doelnauwkeurigheid in de minste hoeveelheid queries. Dit spreekt de verwachting tegen dat zeroth-order optimalisatie verslechtert met het aantal parameters, wat bewijst dat de low-rank schedule dit probleem effectief mitigeert.
Component Ablatie: Het verwijderen van ofwel de rank schedule of de momentum resulteerde in significante prestatieverliezen, wat hun complementaire aard bevestigt. Het verwijderen van de cross-modale sharing (door onafhankelijke $U$ factoren te gebruiken) verminderde ook de prestaties, wat het voordeel van gedeelde factoren valideert.

Betekenis en Claims

Het artikel claimt dat ZOMP de kloof tussen de theoretische expressiviteit van diepe multi-modale prompting en de praktische beperkingen van backpropagation-vrije tuning dicht. Door gezamenlijk gebruik te maken van multi-modaliteit en low-rank structuur, biedt ZOMP een praktische route voor efficiënte prompt tuning voor edge-apparaten en propriëtaire API's.

De auteurs stellen dat hun resultaten aantonen dat diepe, multi-modale prompting niet inherent incompatibel is met zeroth-order optimalisatie; het vereist eerder een specifieke herparameterisatie en optimalisatieschedule om variantie te beheersen. Het werk suggereert dat de voorheen geobserveerde "plafond" in BP-vrije methoden een gevolg was van de zoekruimte-ontwerp en niet van een fundamentele beperking van de zeroth-order benadering zelf.