🤖 AI

Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models

Ce papier présente Gate-and-Merge, un cadre en zéro-shot pour la personnalisation compositionnelle dans les modèles vision-langage qui apprend des concepts indépendamment via des adaptateurs LoRA et les fusionne lors de l'inférence en utilisant un mécanisme de porte pour garantir des performances désintriquées et sans interférence, sans entraînement sur les co-occurrences.

Auteurs originaux : Guodong Ding, Angela Yao

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guodong Ding, Angela Yao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robotique ultra-intelligent (un modèle vision-langage) qui connaît tout sur le monde — chats, chiens, voitures et arbres. Mais il ne connaît pas votre chat spécifique, votre jouet préféré, ni votre style artistique unique.

Habituellement, pour enseigner à ce robot vos objets personnels, vous devriez lui montrer des centaines de photos de votre chat et de votre chien et de votre jouet, tous mélangés dans une seule grande session d'apprentissage. C'est comme essayer d'enseigner à un chef de cuisine à préparer un plat spécifique en ne lui permettant de s'entraîner que lorsque tous les ingrédients sont déjà sur le comptoir. C'est désordonné, et si vous voulez ajouter un nouvel ingrédient plus tard, vous devez tout recommencer.

Ce papier présente une nouvelle méthode appelée "Gate-and-Merge" (Porte et Fusion) qui résout ce problème. Voici comment elle fonctionne, en utilisant des analogies simples :

1. L'approche de l'« Outil Spécialisé » (Apprendre seul)

Au lieu de tout mélanger, les chercheurs enseignent au robot chacun de vos objets un par un, de manière isolée.

Le Token : Ils attribuent à chaque objet une étiquette spéciale (comme un surnom unique, par exemple <MonChat>).
L'Adaptateur LoRA : Imaginez cela comme un petit « manuel d'instructions » léger ou une clé spécialisée que le robot garde dans sa poche. Lorsqu'ils enseignent au robot <MonChat>, ils écrivent uniquement un nouveau manuel pour <MonChat>. Ils ne touchent pas au cerveau principal du robot ni à ses connaissances sur les autres chats.
Le Résultat : Le robot possède maintenant une poche remplie de manuels d'instructions séparés et propres. Un pour votre chat, un pour votre chien, un pour votre jouet. Ils ne se confondent pas entre eux car ils sont stockés séparément.

2. La « Porte » (Décider quoi utiliser)

Maintenant, imaginez que vous montriez au robot une photo de votre chat assis à côté de votre chien et que vous demandiez : « Qui est sur cette photo ? »

Le robot doit déterminer quels manuels d'instructions sortir de sa poche.
La Porte agit comme un gardien de sécurité intelligent. Elle examine deux indices :
1. Ce que vous avez dit : Si vous mentionnez <MonChat>, le gardien ouvre la porte pour le manuel du chat.
2. Ce que vous avez montré : Si le robot voit une image qui ressemble à votre chat, le gardien ouvre la porte pour le manuel du chat.
Le gardien ne laisse passer que les manuels pertinents et bloque ceux qui ne correspondent pas (comme le manuel d'une voiture, si vous n'avez montré que des animaux). Cela empêche le robot de se confondre ou de « halluciner ».

3. La « Fusion » (Combiner les outils)

Une fois que le gardien a sélectionné les bons manuels (par exemple, le manuel du Chat et celui du Chien), le robot doit les utiliser ensemble pour répondre à votre question.

Le Problème : Si vous empilez simplement deux manuels d'instructions l'un sur l'autre, les pages pourraient se mélanger, ou les instructions pourraient se contredire (par exemple, l'un dit « regardez à gauche », l'autre dit « regardez à droite »). Cela fait échouer le robot.
La Solution : Le mécanisme de « Fusion » agit comme un éditeur prudent. Il examine les instructions des deux manuels et ne combine que les parties qui s'accordent entre elles. Si un manuel dit « ajoutez un peu de rouge » et l'autre « ajoutez un peu de bleu », l'éditeur les mélange avec soin. Si un manuel tente d'effacer quelque chose que l'autre veut conserver, l'éditeur empêche cela.
Cela crée une version temporaire et surpuissante du robot qui comprend à la fois votre chat et votre chien en même temps, sans jamais les avoir vus ensemble auparavant.

Pourquoi est-ce une grande avancée ?

Pas de « Formation de groupe » : Vous n'avez pas besoin de montrer au robot des photos de votre chat et de votre chien ensemble pour lui apprendre. Vous pouvez les enseigner séparément, et le robot pourra tout de même les comprendre ensemble plus tard.
Confidentialité : Le robot n'a pas besoin de stocker des milliers de photos brutes de vos objets personnels. Il stocke simplement les petits « manuels d'instructions » (adaptateurs LoRA), qui sont beaucoup plus petits et plus sûrs.
Meilleure précision : Le papier montre qu'en utilisant ce système « Gate-and-Merge », le robot est bien meilleur pour reconnaître et décrire des scènes avec plusieurs objets personnels par rapport à d'autres méthodes qui tentent d'apprendre tout d'un coup ou qui s'appuient sur la recherche dans une base de données.

En bref, Gate-and-Merge revient à donner à un robot un ensemble d'outils modulaires, plug-and-play. Il apprend chaque outil séparément, vérifie quels outils sont nécessaires pour la tâche à accomplir, puis les combine soigneusement pour accomplir le travail parfaitement, même s'il s'agit d'une nouvelle combinaison d'outils qu'il n'a jamais utilisée ensemble auparavant.

Résumé technique : Gate-and-Merge pour la personnalisation compositionnelle en zéro-shot des modèles vision-langage

Définition du problème

Les modèles vision-langage (VLM) possèdent de solides capacités de généralisation pour les tâches du monde ouvert, mais manquent de la capacité de comprendre des concepts personnalisés définis par l'utilisateur (par exemple, des visages spécifiques, des animaux de compagnie ou des styles artistiques) qui sont absents des données de pré-entraînement. Bien que les méthodes de personnalisation existantes puissent apprendre un seul concept, elles peinent avec la personnalisation compositionnelle : la capacité de reconnaître ou de décrire des scènes contenant plusieurs concepts définis par l'utilisateur simultanément, sans entraînement préalable sur leur co-occurrence.

Les approches actuelles font face à des limitations significatives :

Les méthodes basées sur les paramètres (par exemple, des invites apprenables ou des embeddings de concepts) entremêlent souvent les concepts pendant l'entraînement, rendant difficile leur isolement et leur recomposition dans des configurations nouvelles.
Les méthodes basées sur la récupération évitent les mises à jour de paramètres mais dépendent de bases de données externes, soulevant des préoccupations en matière de confidentialité et échouant à internaliser les concepts pour des tâches de raisonnement.
Les solutions existantes manquent généralement d'un mécanisme pour composer plusieurs concepts appris indépendamment au moment de l'inférence sans dégrader les performances en raison d'interférences.

Méthodologie : Gate-and-Merge

L'article propose Gate-and-Merge, un cadre en zéro-shot conçu pour permettre la personnalisation compositionnelle sans nécessiter d'entraînement sur la co-occurrence ni de bases de données externes. Le cadre fonctionne en deux phases distinctes :

1. Apprentissage d'un seul concept (Phase d'entraînement)

Chaque concept défini par l'utilisateur $c$ est appris indépendamment comme une représentation modulaire et légère composée de deux éléments :

Jeton de concept ( $\langle c \rangle$ ) : Un nouveau jeton ajouté au vocabulaire du tokenizer avec un vecteur d'embedding entraînable $e_c$ et une ligne de tête de sortie correspondante $w_c$ . Cela sert d'identifiant textuel pour le concept.
Adaptateur LoRA ( $\delta_c$ ) : Un module d'adaptation de faible rang ( $\delta_c = A_c B_c$ ) appliqué aux poids du modèle de langage. Cela permet au modèle de s'adapter à l'apparence visuelle du concept sans modifier l'encodeur visuel figé.

L'encodeur visuel reste figé tout au long de l'entraînement pour maintenir un espace de caractéristiques stable et partagé, garantissant que les caractéristiques visuelles restent compatibles entre différents concepts. Le modèle est entraîné sur un petit ensemble de support d'images et de textes en utilisant un objectif standard de modélisation de langage masqué.

2. Composition multi-concepts (Phase d'inférence)

À l'inférence, le modèle doit gérer des entrées contenant plusieurs concepts (par exemple, une image avec le concept $A$ et le concept $B$ ) sans les avoir vus ensemble pendant l'entraînement. Le cadre emploie un mécanisme Gate-and-Merge :

Gating (Sélection) : Un mécanisme de porte détermine quels modules de concepts sont pertinents pour l'entrée actuelle (image $x$ et requête $q$ ) en évaluant deux indices :
- Pertinence textuelle : Vérifie si le jeton de concept $\langle c \rangle$ est explicitement mentionné dans la requête.
- Pertinence visuelle : Calcule la similarité cosinus entre les caractéristiques des patches d'image et les caractéristiques prototypes du concept.
- Un concept est activé s'il est soit mentionné textuellement, soit visuellement soutenu au-dessus d'un seuil $\tau$ .
Fusion (Merging) : Une fois l'ensemble pertinent de concepts $S$ identifié, leurs mises à jour LoRA correspondantes sont fusionnées directement dans l'espace des poids. Pour prévenir les interférences destructrices causées par une sommation naïve des mises à jour :
- Sparsification : Chaque mise à jour LoRA est aléatoirement abandonnée (masquage de Bernoulli) et redimensionnée pour ne conserver que les signaux dominants, réduisant ainsi les conflits inter-concepts.
- Moyenne consciente du signe : La méthode impose une cohérence des signes. Pour chaque coordonnée de poids, les mises à jour avec des signes conflictuels sont rejetées, et seules les mises à jour cohérentes en signe sont moyennées. Cela garantit que l'adaptateur fusionné préserve l'identité de chaque concept tout en les combinant.

Le modèle composé final est $M_{comp} = M \oplus \delta_{merge}$ , où $\delta_{merge}$ est l'adaptateur fusionné. Ce processus est sans entraînement à l'inférence.

Contributions clés

Cadre Gate-and-Merge : Un cadre modulaire pour la personnalisation compositionnelle en zéro-shot qui apprend les concepts indépendamment et les compose à l'inférence sans supervision de co-occurrence.
Représentation modulaire : Une conception représentant chaque concept via un module LoRA léger et un jeton de concept unique, soutenant une personnalisation évolutive et respectueuse de la vie privée.
Composition sans entraînement : Un mécanisme qui active et fusionne sélectivement les modules LoRA en fonction d'indices textuels et visuels dépendants de l'entrée, utilisant la sparsification et la fusion consciente du signe pour atténuer les interférences.
Validation empirique : Démonstration par des expériences extensives que la méthode surpasse les approches de personnalisation basées sur les paramètres existantes dans les contextes à concept unique et multi-concepts.

Résultats expérimentaux

Les auteurs ont évalué la méthode sur un benchmark construit à partir d'un ensemble de données multi-concepts, couvrant 118 concepts distincts (individus du monde réel, objets, personnages de fiction).

Reconnaissance visuelle : Dans les tâches nécessitant l'identification d'un ou plusieurs concepts dans une image, Gate-and-Merge a obtenu des performances supérieures par rapport aux bases de référence comme MyVLM et Yo'LLaVA. Notamment, dans le contexte difficile "Multiple-Multiple" (identification simultanée de plusieurs concepts interrogés), la méthode proposée a atteint 69,9 % de précision, surpassant significativement Yo'LLaVA (29,3 %) et maintenant un rappel équilibré élevé.
Questions-réponses textuelles et visuelles : La méthode a démontré une robustesse tant dans le raisonnement purement textuel que dans les questions-réponses visuelles multimodales (VQA), obtenant les performances les plus équilibrées à travers les contextes à concept unique et multi-concepts.
Légendage : Bien que les méthodes basées sur la récupération (RAP-MLLM) aient montré un rappel élevé dans les contextes à concept unique, elles dépendaient fortement de la "copier-coller" de textes stockés. Gate-and-Merge a fourni un ancrage de concept plus robuste, générant des légendes intégrant mieux les preuves visuelles, bien que les performances aient naturellement diminué dans les scénarios de légendage multi-concepts par rapport aux tâches à concept unique.
Études d'ablation :
- Ratio de parcimonie ( $p$ ) : Les performances ont culminé à un ratio de parcimonie de 0,7–0,8, confirmant qu'une parcimonie modérée supprime efficacement les interférences tout en conservant les signaux d'adaptation.
- Seuil de gating ( $\tau$ ) : Un seuil de 0,3 a produit des résultats optimaux, équilibrant la suppression des activations non pertinentes avec la rétention des concepts valides.

Importance et affirmations

L'article affirme que Gate-and-Merge comble le fossé critique dans la personnalisation des VLM en permettant un raisonnement compositionnel sans besoin d'entraînement conjoint ni de stockage de données externes. En maintenant les concepts désentremêlés pendant l'entraînement et en les fusionnant intelligemment à l'inférence, la méthode permet aux modèles de gérer des combinaisons nouvelles de concepts définis par l'utilisateur.

Les auteurs positionnent ce travail comme une étape vers une personnalisation modulaire et évolutive où les concepts peuvent être ajoutés, supprimés ou combinés dynamiquement. Ils reconnaissent les limites, notant que des concepts fortement entremêlés pourraient nécessiter des mécanismes plus expressifs et que la sparsification comporte un risque de perte de détails fins. Cependant, les résultats suggèrent que cette approche offre une solution stable et efficace pour intégrer des connaissances personnalisées dans les VLM pour des scénarios complexes et multi-concepts.