Résumé Technique : SaMer – Fusion de Tokens Préservant l'Évidence des Objets pour la Recherche Vision-Langage

Énoncé du Problème

Les systèmes de recherche vision-langage multi-vecteurs, tels que ColPali et ColQwen2, parviennent à une recherche fine en préservant l'évidence au niveau du token via l'interaction tardive par similarité maximale (MaxSim). Cependant, cette approche entraîne des coûts de stockage et de calcul importants car elle nécessite de stocker et de comparer des centaines, voire des milliers de patchs d'embeddings côté image pour chaque image.

Les stratégies de compression de tokens existantes, comme l'élagage (pruning) ou la fusion basée sur les caractéristiques, tentent de réduire ces coûts. Cependant, les auteurs identifient un mode de défaillance critique dans ces méthodes : l'effondrement de l'instance d'objet (object-instance collapse). Lorsque la compression repose uniquement sur la similarité des caractéristiques, des patchs visuellement similaires provenant de différentes instances d'objets (par exemple, deux personnes ou deux voitures différentes) peuvent être fusionnés en une seule représentation. Cela fait s'effondrer des évidences distinctes que les futurs tokens de la requête pourraient avoir besoin de sélectionner. De plus, l'élagage rejette l'évidence visuelle avant que la requête ne soit connue, risquant ainsi de supprimer les tokens spécifiques nécessaires à une correspondance. Le défi central est de compresser les tokens côté image sans perdre l'évidence au niveau de l'objet et de la région, nécessaire pour une correspondance sélectionnable par la requête.

Méthodologie : SaMer

Les auteurs proposent SaMer (Semantic-aware Merging), un cadre de fusion de tokens sensible aux objets, conçu pour compresser les tokens visuels post-projecteur en $K$ centroïdes représentatifs tout en préservant l'interface d'interaction tardive originale.

1. Assignation Douce Caractéristique-Spatiale

SaMer compresse $N$ tokens visuels post-projecteur en $K$ tokens fusionnés ($K \ll N$). Il emploie un mécanisme d'assignation douce caractéristique-spatiale où chaque token visuel $v_i$ est assigné à un représentant $k$ basé sur une métrique de distance combinant :

• Similarité des Caractéristiques : $1 - v_i^\top \mu_k$, regroupant les tokens sémantiquement similaires.
• Cohérence Spatiale : $\gamma \|p_i - s_k\|_2^2$, empêchant les régions visuellement similaires mais spatialement distantes de fusionner de manière agressive.

Les représentants sont formés comme des centroïdes pondérés normalisés ($r_k$) plutôt que comme des tokens jetés, garantissant que la représentation compressée reste compatible avec le score MaxSim.

2. Priorité de Fusion Sensible aux Objets (Entraînement Uniquement)

Pour éviter le mélange entre instances, SaMer utilise des annotations d'objets uniquement pendant l'entraînement comme un "prior" de fusion, et non comme une perte de mise en correspondance (grounding loss) auxiliaire.

• Mécanisme : Le système estime la distribution des étiquettes de boîte englobante (bbox) pour chaque représentant en utilisant une assignation dure avec arrêt de gradient (stop-gradient).
• Pénalité : Une pénalité d'incohérence d'instance ($P_{inst}$) est ajoutée à la métrique de distance. Si l'assignation d'un token à un représentant risquerait de mélanger les évidences de différentes instances d'objets (c'est-à-dire si l'étiquette de la bbox du token diffère de l'étiquette dominante du représentant), le poids d'assignation est réduit.
• Inférence : Lors de l'inférence, SaMer ne nécessite aucune boîte englobante de vérité terrain ni détecteur d'objets. Il effectue une assignation douce caractéristique-spatiale sans annotation, en s'appuyant sur la couche de projection adaptée durant l'entraînement pour préserver implicitement la structure des objets.

3. Adaptation de la Projection Uniquement Sensible à la Compression

Pour aligner la représentation compressée avec l'espace de recherche, SaMer adapte uniquement la couche de projection partagée tout en maintenant l'encodeur de vision et le backbone linguistique gelés.

• La couche de projection est entraînée à l'aide d'une perte de recherche InfoNCE multi-positive sur les scores MaxSim compressés ($S_K$).
• Cela garantit que les tokens fusionnés restent efficaces pour le scoring d'interaction tardive sans modifier les représentations du backbone ni nécessiter une nouvelle architecture de recherche.

Contributions Clés

1. Cadrage du Problème : Les auteurs recadrent la compression de tokens visuels pour la recherche par interaction tardive comme un problème de préservation de l'évidence, identifiant l'effondrement de l'instance d'objet comme un mode de défaillance primaire de la fusion basée sur les caractéristiques.
2. Cadre SaMer : Ils proposent une méthode de fusion de tokens sensible aux objets qui utilise les annotations d'objets lors de l'entraînement comme un prior de fusion pour décourager la fusion entre instances, ne nécessant aucune annotation ou détecteur lors de l'inférence.
3. Efficacité et Performance : Ils démontrent que SaMer, avec $K=64$, élimine plus de 93 % des tokens côté image et réduit le stockage de ColPali de 16,09×, tout en améliorant simultanément les performances de recherche (R@1) et le grounding de type phrase par rapport aux baselines d'élagage et de pooling.

Résultats Expérimentaux

Les auteurs ont évalué SaMer sur Flickr30K, MSCOCO, ImageCoDe et DocVQA.

• Performance de Recherche :
  • Sur Flickr30K, SaMer a amélioré le R@1 de ColPali de 77,0 à 82,4 et celui de ColQwen2 de 73,6 à 79,3.
  • Sur MSCOCO, le R@1 de ColPali est passé de 47,4 à 51,6.
  • SaMer surpasse systématiquement les baselines de compression (H-Pool, HPC, SAP) sous des budgets de tokens équivalents ($K=64$) et des réglages d'adaptation.
• Qualité du Grounding :
  • SaMer a démontré un meilleur grounding de type phrase. Des métriques telles que BoxMass (concentration de la pertinence à l'intérieur des régions annotées) sont passées de 47,8 à 54,2, et CoverageIoU est passé de 13,1 à 16,4.
  • Cela indique que SaMer préserve mieux l'évidence d'objet sélectionnable par la requête que l'élagage ou le pooling simple, qui dispersent souvent la pertinence vers l'arrière-plan ou des objets proches.
• Efficacité :
  • Pour ColPali, SaMer a réduit le stockage de 16,09× et les opérations MaxSim de 16,1×.
  • Le débit de requête (QPS) a augmenté de 4,3× sur Flickr30K et de 9,1× sur MSCOCO.
  • Pour ColQwen2, le stockage a été réduit de 3,73× (Flickr30K) et de 1,99× (MSCOCO), avec des gains de débit correspondants.

Signification et Revendications

L'article soutient que l'efficacité de la compression de la recherche ne dépend pas seulement de la réduction du nombre de tokens, mais de la préservation de l'évidence que les futurs tokens de la requête doivent pouvoir sélectionner.

Les auteurs affirment que :

1. La fusion sensible aux objets est supérieure au pooling basé uniquement sur les caractéristiques : Fusionner simplement des patchs similaires peut provoquer l'effondrement d'instances d'objets distinctes, tandis que le prior de SaMer sensible aux objets maintient la distinction nécessaire à une recherche fine.
2. Les priors lors de l'entraînement permettent l'efficacité lors de l'inférence : En utilisant les annotations d'objets uniquement comme un prior de fusion pendant l'entraînement, SaMer atteint une compression cohérente avec les objets sans la surcharge de calcul liée à l'exécution de détecteurs lors de l'inférence.
3. L'adaptation de la projection seule est suffisante : L'alignement de l'espace de recherche via la seule couche de projection permet au système de maintenir des performances élevées avec des backbones gelés, rendant la méthode "plug-and-play" pour les chercheurs multi-vecteurs existants.

Les résultats suggèrent qu'une recherche multi-vectrice efficace nécessite un équilibre entre la compression et la préservation de l'évidence de niveau objet, sélectionnable par la requête.