GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

Résumé Technique : GraSP-VL

Énoncé du Problème
Les modèles vision-langage (VLM) figés, tels que CLIP, génèrent des embeddings contenant des signaux sémantiques multi-granulaires allant de l'identité de l'objet aux attributs, aux relations et aux significations de légendes complètes. Cependant, ces modèles exposent ces signaux via une interface de vecteur de longueur fixe. Cela crée un « décalage d'interface » : un seul vecteur d'embedding est utilisé pour des requêtes nécessitant différents niveaux de résolution sémantique (par exemple, identifier un « chien » par rapport à un « chien brun qui court »). Les méthodes actuelles pour raccourcir les embeddings, telles que la troncature, la projection ou la compression, ne garantissent pas que les vecteurs plus courts résultants correspondent à des granularités sémantiques spécifiques. Par exemple, les premières dimensions d'un embedding CLIP figé ne sont pas intrinsèquement garanties pour représenter des sémantiques au niveau de l'objet, et les techniques standard de réduction de dimensionnalité comme l'ACP ne comprennent pas la hiérarchie intentionnelle des entités, des attributs et des relations.

Méthodologie : GraSP-VL
Les auteurs proposent GraSP-VL (Préfixes Sélectifs de Granularité pour les représentations Vision-Langage), une méthode conçue pour transformer la longueur de l'embedding en une interface d'accès sémantique contrôlable sans réentraîner le VLM sous-jacent.

• Transforme Quasi-Orthogonale Partagée : GraSP-VL apprend une transforme unique et partagée $F_\theta$ appliquée aux embeddings d'images et de texte d'un VLM figé. La transforme est instanciée comme une matrice orthogonale $R$ paramétrée via une transforme de Cayley ($R = (I + A_\theta)^{-1}(I - A_\theta)$), où $A_\theta$ est une matrice antisymétrique dérivée de paramètres entraînables. Cela garantit que la transforme est quasi-isométrique, préservant exactement la similarité cosinus de l'espace de dimension complète ($\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$).
• Interface Sémantique Matryoshka : La méthode implémente un principe de « Matryoshka Sémantique ». Au lieu de traiter la longueur du préfixe uniquement comme un budget de compression, elle attribue des rôles sémantiques spécifiques à différentes longueurs de préfixe via un contrat d'interface explicite :
  • Les préfixes courts (par exemple, $D/16$) sont assignés à des rôles grossiers (identité de l'objet).
  • Les préfixes plus longs (par exemple, $D/8, D/4, D/2$) exposent progressivement des distinctions plus fines (attributs, relations/actions, légendes complètes).
• Objectif Sélectif de Granularité : L'objectif d'entraînement combine cinq termes couplés pour imposer cette structure :
  1. Alignement Multi-Granulaire ($L_{align}$) : Aligne chaque longueur de préfixe sur sa vue linguistique assignée (objet, attribut, relation, légende complète).
  2. Rétention Cumulative ($L_{ret}$) : Garantit que les préfixes plus longs conservent les sémantiques grossières des plus courts, empêchant le remplacement d'informations.
  3. Classement Sélectif sur Négatifs Durs ($L_{rank}$) : Utilise des négatifs durs typés (objet, attribut, relation, action, ordre, complet) pour imposer que des distinctions spécifiques ne soient résolubles qu'à partir ou après leur frontière de préfixe assignée.
  4. Invariance des Préfixes Tôt ($L_{inv}$) : Décourage la séparation prématurée des paires positives/négatives avant la frontière de préfixe assignée, garantissant que les préfixes courts restent grossiers et ne surajustent pas aux détails fins.
  5. Préservation de l'Espace Complet ($L_{pres}$ & $L_{ortho}$) : Surveille que la géométrie de l'espace de dimension complète reste inchangée.

Contributions Clés

1. Cadre GraSP-VL : Une transforme de préfixe partagée pour les VLM figés qui réorganise l'accès aux signaux existants, exposant des sémantiques du grossier au fin via la longueur du préfixe tout en préservant la géométrie originale de l'espace complet.
2. Principe de Matryoshka Sémantique : Une formalisation où la longueur de l'embedding se voit attribuer une granularité sémantique par un contrat explicite plutôt que de dépendre de frontières naturelles découvertes.
3. Objectif Sélectif de Granularité : Une fonction de perte novatrice combinant alignement, rétention, discrimination sur négatifs durs, invariance des préfixes tôt et préservation de la géométrie.
4. Protocole Diagnostique : Un cadre d'évaluation rigoureux qui sépare la sélectivité sémantique de la simple troncature, de l'ACP, des adaptations génériques et des permutations de coordonnées, utilisant une « chaîne de falsification » pour valider la nécessité de l'interface apprise.

Résultats Expérimentaux
La méthode a été évaluée sur un pool de 20 147 exemples provenant de COCO et Flickr30K, avec des tests de transfert supplémentaires sur SugarCrepe-clean et CIFAR-100.

• Performance en Escalier : GraSP-VL a obtenu un score en escalier de 53,01 et une sélectivité sur négatifs durs de 89,76 %. Cela surpasse significativement les bases de référence incluant la troncature directe, l'ACP, les rotations aléatoires, les méthodes de style MRL, les méthodes de style Matryoshka et les méthodes de compression de style SMEC.
• Préservation de la Géométrie : La méthode a maintenu une dérive de l'espace complet inférieure à $10^{-6}$, préservant efficacement la surface de décision du VLM original pour les requêtes de dimension complète.
• Sélectivité vs Dérive : Contrairement aux adaptateurs MLP génériques qui ont atteint une haute sélectivité mais ont réécrit l'espace d'embedding complet (dérive élevée), GraSP-VL a atteint une haute sélectivité avec une dérive quasi nulle.
• Transférabilité :
  • Sur SugarCrepe-clean (un benchmark externe non utilisé lors de l'entraînement), GraSP-VL a atteint 86,03 % de précision sur les objets et 11,96 d'émergence externe moyenne.
  • Il a préservé la précision zero-shot en dimension complète sur CIFAR-100.
  • L'approche s'est généralisée à travers différents backbones (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) avec des dimensions variables.
• Bases de Référence : L'étude a démontré que les coordonnées brutes, l'ACP et les permutations apprises échouent à produire l'échelle sémantique intentionnelle. Seul le mélange dense et quasi-isométrique fourni par GraSP-VL a réussi à organiser les signaux.

Signification et Revendications
Le papier positionne GraSP-VL comme une solution d'ingénierie d'interface plutôt que comme une découverte de points de rupture sémantiques universels. Les auteurs revendiquent :

• Les embeddings de VLM figés contiennent des signaux multi-granulaires suffisants pour être réorganisés en une interface de préfixe contrôlable.
• L'interface « Matryoshka Sémantique » permet aux utilisateurs de sélectionner une longueur de préfixe correspondant à la résolution sémantique requise (entité, attribut, relation ou légende complète) sans réentraîner le modèle de base ni détruire l'espace d'embedding original.
• Cette approche est particulièrement précieuse pour les systèmes de récupération où la compatibilité avec les index de vecteurs complets existants et les embeddings mis en cache est critique, car la transforme peut être appliquée hors ligne aux embeddings de la galerie.
• Les auteurs déclarent explicitement que les points de rupture dimensionnels choisis (par exemple, $D/16$ pour les objets) sont des contrats d'interface spécifiés par l'utilisateur, et non nécessairement des constantes naturelles inhérentes au VLM. Le succès de la méthode réside dans la réalisation de ce contrat tout en préservant la géométrie complète, plutôt que dans la preuve que le VLM stocke naturellement ces signaux dans cet ordre spécifique.