💻 computer science

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP est une méthode entièrement de type « forward-only » et efficace en termes de requêtes qui optimise les prompts profonds dans les branches vision et texte de modèles CLIP gelés en utilisant l'approximation stochastique par perturbation simultanée, surpassant les approches d'ordre zéro existantes sur de multiples benchmarks en exploitant la reparamétrisation de bas rang cross-modale, le momentum de correction de gradient et un calendrier de rang dynamique.

Auteurs originaux : Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Publié 2026-08-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super intelligent qui a lu tout l'internet et a appris à comprendre à la fois les images et les mots. C'est comme un bibliothécaire de génie qui peut instantanément vous dire de quoi parle une photo rien qu'en la regardant, ou décrire une scène avec des phrases parfaites. Ce robot s'appelle un Modèle Vision-Langage, et il est incroyablement puissant. Mais voici le hic : d'habitude, pour apprendre au robot un nouveau tour — comme reconnaître un type spécifique de fleur rare ou un scanner médical étrange — vous devez le laisser « recâbler » son propre cerveau. Ce processus est lourd, comme si l'on essayait de réorganiser une immense bibliothèque alors qu'elle est encore ouverte au public, et cela nécessite énormément de puissance de calcul et de mémoire.

Parfois, pourtant, vous ne pouvez pas faire cela. Peut-être que le robot vit sur un petit appareil minuscule alimenté par une batterie dans votre poche, ou peut-être que c'est un service secret à qui vous ne pouvez parler qu'à travers une fenêtre de chat qui ne vous permet pas de voir comment il réfléchit. Dans ces cas, vous ne pouvez pas recâbler le cerveau ; vous pouvez seulement lui murmurer de nouvelles instructions. C'est ce qu'on appelle le « prompt tuning » (ajustement par invite). Au lieu de changer le cerveau du robot, vous lui donnez un ensemble spécial d'indices ou de « prompts » pour l'aider à résoudre un nouveau puzzle. Le problème est que trouver les indices parfaits nécessite généralement beaucoup de tâtonnements et d'essais, et si vous ne pouvez pas voir les pensées internes du robot (les gradients), c'est comme essayer de trouver une aiguille dans une botte de foin les yeux bandés. Vous pourriez avoir besoin de milliers de tentatives pour réussir, ce qui est trop lent et trop coûteux pour la vie réelle.

C'est là qu'intervient une nouvelle méthode appelée ZOMP. Considérez ZOMP comme un détective ingénieux qui résout le problème de « l'aiguille les yeux bandés » en changeant la façon dont il cherche. Au lieu de deviner chaque détail de l'indice d'un seul coup, ZOMP utilise une stratégie intelligente pour deviner d'abord les parties les plus importantes, puis remplit lentement le reste.

Voici comment cela fonctionne, en utilisant quelques métaphores amusantes :

L'astuce du « Plan Partagé »
D'habitude, quand vous essayez d'apprendre de nouvelles choses au robot, vous devez écrire des indices séparés pour ses « yeux » (vision) et sa « voix » (texte). Si vous essayez d'écrire des indices profonds et complexes pour les deux en même temps, le nombre de possibilités devient si énorme que la recherche les yeux bandés s'y perd. ZOMP change la donne en disant : « Utilisons un plan partagé ». Imaginez que les indices pour les yeux et la voix sont tous deux construits à partir du même petit ensemble de briques LEGO. Vous n'avez qu'à découvrir comment assembler ces quelques briques, et elles construisent automatiquement les bons indices pour les yeux et la voix en même temps. Cela garde l'espace de recherche petit et gérable, même si les indices sont profonds et complexes.

L'expansion « Indexée par le Budget »
Même avec le plan partagé, essayer d'assembler toutes les briques à la fois est encore trop difficile quand on est les yeux bandés. ZOMP utilise un système de « budget ». Imaginez que vous avez un nombre limité de tentatives (requêtes) pour trouver le meilleur indice. ZOMP commence par ne s'autoriser à jouer qu'avec la toute première brique, la plus importante. Il trouve la bonne direction pour cette pièce unique. Une fois qu'il est sûr de sa voie, il « débloque » la brique suivante, puis la suivante, élargissant lentement la recherche seulement lorsqu'il a une direction fiable. C'est comme apprendre à conduire : vous commencez dans un parking vide (un espace de recherche minuscule), vous vous mettez à l'aise, puis vous pasz lentement dans les rues du quartier, et enfin sur l'autoroute. Vous n'essayez pas de conduire sur l'autoroute dès votre premier jour.

La Mémoire de « l'Élan »
Parce que la recherche se fait les yeux bandés, les indices que l'on reçoit sont souvent bruyants et instables, comme si l'on marchait sur un bateau dans une mer agitée. ZOMP ajoute une mémoire d'« élan » (momentum). Considérez cela comme un surfeur qui ne se contente pas de réagir à chaque vague, mais qui se souvient de la direction générale vers laquelle l'océan pousse. Même si une vague le fait dévier sur le côté, il continue d'avancer dans la bonne direction parce qu'il se souvient où il allait. Cela aide le robot à ignorer le bruit et à rester sur le chemin qui fonctionne réellement.

Les Résultats
Les chercheurs ont testé cette méthode sur 13 défis différents, allant de l'identification de fleurs à la reconnaissance de véhicules sur des images satellites. Ils ont donné à ZOMP et aux autres méthodes exactement le même nombre de tentatives (5 000 requêtes). Les résultats ont montré que ZOMP trouvait systématiquement de meilleurs indices que les autres méthodes. Il n'était pas seulement légèrement meilleur ; il était souvent nettement plus précis, surtout sur les tâches difficiles où le robot rencontre habituellement des difficultés.

Ce qui est vraiment génial, c'est que ZOMP ne s'est pas contenté de devenir meilleur pour la tâche spécifique sur laquelle il a été entraîné. Il est également devenu meilleur pour gérer de nouvelles situations étranges qu'il n'avait jamais vues auparavant (comme reconnaître le croquis d'un objet au lieu d'une photo). Cela suggère qu'en cherchant avec soin et efficacité, ZOMP a appris une manière plus intelligente d'utiliser les connaissances existantes du robot, plutôt que de simplement mémoriser les exemples d'entraînement.

En résumé, ZOMP prouve que vous n'avez pas besoin de recâbler le cerveau du robot pour le rendre plus intelligent. En utilisant un plan partagé, en élargissant la recherche lentement et en gardant une mémoire constante de la direction, vous pouvez apprendre de nouveaux tours à une IA puissante même lorsque vous ne pouvez que lui murmurer des instructions et que vous disposez d'un nombre limité d'essais. C'est une façon pratique et efficace de tirer le meilleur parti de ces modèles géants sans avoir besoin d'un supercalculateur dans votre poche.

Résumé Technique : ZOMP (Zeroth-Order Multi-Modal Prompt Tuning)

Énoncé du Problème

Le réglage fin (fine-tuning) des modèles de langage-vision (VLM) de grande taille comme CLIP repose généralement sur la rétropropagation (backpropagation ou BP) à travers l'ensemble du modèle. Cependant, cela est irréalisable dans deux scénarios de plus en plus courants : les appareils de bord (edge devices) à mémoire limitée où le graphe de calcul de la rétropropagation ne peut pas tenir, et les déploiements de modèles propriétaires où les poids sont inaccessibles via des API d'inférence. Dans ces configurations, le réglage doit reposer uniquement sur des passages vers l'avant (optimisation d'ordre zéro).

Les méthodes existantes de réglage de prompts sans rétropropagation (BP-free) tentent de répondre à cela en estimant les gradients via des perturbations aléatoires (par exemple, des stratégies évolutionnaires ou le SGD d'ordre zéro). Cependant, ces méthodes font face à un compromis critique :

Faible profondeur ou modalité unique : Pour maintenir l'efficacité des requêtes, les méthodes antérieures comme BAR, BlackVIP et ZIP limitent le réglage à des prompts superficiels ou à une seule modalité (par exemple, le texte uniquement). Elles évitent le prompting multimodal profond car la variance des estimations de gradient d'ordre zéro augmente avec la dimensionnalité de l'espace de recherche.
Limites de convergence : Le prompting multimodal profond (injection de vecteurs apprenables dans plusieurs couches des encodeurs d'image et de texte) est reconnu pour produire une précision supérieure sous BP, mais sa haute dimensionnalité le rend peu pratique sous des budgets de requêtes réalistes lorsqu'on utilise des méthodes d'ordre zéro.

Le problème central est de concilier l'expressivité du prompting multimodal profond avec les contraintes d'efficacité de requête de l'optimisation d'ordre zéro.

Méthodologie : ZOMP

ZOMP (Zeroth-Order Multi-Modal Prompt tuning) propose une méthode entièrement basée sur le passage vers l'avant qui permet un réglage de prompt multimodal profond en restructurant l'espace des paramètres et la trajectoire d'optimisation. La méthode repose sur trois composantes clés :

1. Reparamétrisation de bas rang transmodale (Cross-Modal Low-Rank Reparameterization)
Au lieu d'optimiser directement les matrices de prompts, ZOMP adopte une forme factorisée inspirée de LoRA et MMLoP. Pour chaque couche $l$ , le prompt visuel $P_v^{(l)}$ et le prompt textuel $P_t^{(l)}$ sont générés comme suit :
$P_v^{(l)} = U^{(l)} V_v^{(l)}, \quad P_t^{(l)} = U^{(l)} V_t^{(l)}$
Ici, $U^{(l)}$ est un petit facteur partagé commun aux deux modalités, tandis que $V_v^{(l)}$ et $V_t^{(l)}$ sont des facteurs spécifiques à chaque modalité.

Avantage : Cela lie les deux encodeurs, garantissant qu'une perturbation unique du facteur partagé $U^{(l)}$ déplace les deux prompts de manière cohérente. Cela réduit la dimensionnalité de recherche effective et permet au rang $r$ d'être traité comme un « bouton » de réglage.

2. Programmation de rang progressif indexée sur le budget (Budget-Indexed Progressive Rank Schedule)
Pour gérer la variance des estimations d'ordre zéro, ZOMP n'optimise pas tous les composants de rang simultanément dès le début. Au lieu de cela, il emploie un programme indexé par la fraction du budget de requêtes.

Mécanisme : L'optimiseur commence par rechercher uniquement un sous-espace de bas rang (par exemple, de rang 1). À mesure que le budget de requêtes est consommé, le rang est progressivement débloqué (par exemple, du rang 1 jusqu'au rang complet $r$ ).
Initialisation : Tous les facteurs spécifiques à la modalité $V$ sont initialisés à zéro. Cela garantit que les nouveaux composants débloqués ne contribuent en rien initialement, rendant la transition entre les rangs préservatrice de la fonction et évitant le « choc d'initialisation » qui gaspillerait des requêtes.

3. Momentum de correction de gradient (Gradient-Correction Momentum)
Les estimations d'ordre zéro sont intrinsèquement bruitées. ZOMP incorpore un terme de momentum basé sur le SPSA-GC (Simultaneous Perturbation Stochastic Approximation with Gradient Correction).

Mécanisme : Le tampon de momentum accumule les estimations de gradient passées, lissant la trajectoire.
Synergie : La phase initiale de bas rang fournit une direction à faible bruit sur laquelle le momentum peut se verrouiller. À mesure que le rang s'étend et que la variance augmente, le tampon de momentum préserve la direction de descente trouvée lors de la phase à faible variance, empêvant l'optimiseur d'être dérouté par le bruit.

Flux de l'algorithme :
L'algorithme (Algorithme 1) itère à travers le budget de requêtes. À chaque étape, il échantillonne des directions de perturbation masquées aux composants de rang actuellement actifs, calcule l'estimation de gradient SPSA, applique la correction de momentum et met à jour les paramètres. Le masque de rang est mis à jour en fonction du nombre cumulé de requêtes.

Contributions Clés

Prompting multimodal profond sous ordre zéro : ZOMM est la première méthode sans BP qui implémente avec succès le prompting profond à travers les encodeurs de vision et de texte. Elle y parvient en utilisant une factorisation de bas rang transmodale pour rendre traitable l'espace de recherche de haute dimension.
Mécanismes d'entraînement synergiques : L'article introduit et valide un programme de rang indexé sur le budget couplé à un momentum de correction de gradient. Les études d'ablation montrent que ni mécanisme n'est suffisant seul ; le programme fournit un point de départ à faible bruit pour le momentum, tandis que le momentum permet à l'optimiseur de survivre au pic de variance lorsque l'espace de recherche s'élargit.
Performance de l'état de l'art : ZOMP démontre une précision de few-shot, une efficacité de requête et des capacités de généralisation supérieures par rapport aux bases de référence BP-free existantes (BAR, BlackVIP, BPT-VLM et ZIP).

Résultats Expérimentaux

Les auteurs ont évalué ZOMP sur 13 benchmarks de vision-langage sous un budget de 5 000 requêtes correspondant, en utilisant un backbone CLIP ViT-B/16 gelé.

Classification Few-Shot : ZOMP a atteint une précision moyenne de 68,2 % sur 13 jeux de données, surpassant la méthode la plus forte précédente (ZIP, 62,2 %) de 6,0 points. Il a dépassé toutes les bases de référence sur chaque jeu de données individuel, avec des gains particulièrement importants sur des domaines spécialisés (ex: +15,9 sur EuroSAT, +10,3 sur CLEVR).
Généralisation Base-vers-Nouveau : Dans les configurations où les prompts sont entraînés sur des classes de base et testés sur de nouvelles classes, ZOMP a atteint une moyenne harmonique (HM) de 71,2 %, dépassant ZIP (67,5 %) de 3,7 points. Cela indique que la méthode ne fait pas de surapprentissage sur les classes de base au détriment des nouvelles.
Transversalité des jeux de données et hors distribution (OOD) : Des prompts entraînés sur ImageNet ont été transférés vers 12 autres jeux de données et 4 variantes d'ImageNet sans ajustement supplémentaire. ZOMP a obtenu la meilleure performance moyenne tant en CDT (56,9 %) qu'en OOD (59,1 %), démontrant une généralisation robuste.
Efficacité de requête : Malgré le nombre le plus élevé de paramètres entraînables (46,2k) parmi les méthodes testées, ZOMP a atteint la précision cible avec le moins de requêtes. Cela contredit l'attente selon laquelle l'optimisation d'ordre zéro se dégrade avec le nombre de paramètres, prouvant que le programme de bas rang atténue efficacement ce problème.
Ablation des composants : Supprimer soit le programme de rang, soit le momentum entraîne des chutes de performance significatives, confirmant leur nature complémentaire. Supprimer le partage transmodal (en utilisant des facteurs $U$ indépendants) a également réduit les performances, validant le bénéfice des facteurs partagés.

Signification et Revendications

L'article affirme que ZOMP comble l'écart entre l'expressivité théorique du prompting multimodal profond et les contraintes pratiques du réglage sans rétropropagation. En exploitant conjointement la multimodalité et la structure de bas rang, ZOMP offre une voie pratique pour un réglage de prompt efficace pour les appareils de bord et les API propriétaires.

Les auteurs soutiennent que leurs résultats démontrent que le prompting multimodal profond n'est pas intrinsèquement incompatible avec l'optimisation d'ordre zéro ; il nécessite plutôt une reparamétrisation spécifique et un programme d'optimisation pour gérer la variance. Le travail suggère que le « plafond » précédemment observé dans les méthodes BP-free était une conséquence de la conception de l'espace de recherche plutôt qu'une limitation fondamentale de l'approche d'ordre zéro elle-même.