💻 computer science

What is the Right Embedding Space for Contrastive Learning in REC?

L'article présente C-REX, un cadre d'apprentissage contrastif supervisé de type plug-in qui améliore le comptage d'expressions de référence en déplaçant l'échantillonnage négatif du texte vers les jetons visuels au sein des images, atteignant ainsi des performances de pointe grâce à une discrimination visuelle et une généralisation fines et améliorées.

Auteurs originaux : Kostas Triaridis, Panagiotis Kaliosis, E-Ro Nguyen, Jingyi Xu, Dimitris Samaras, Hieu Le

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kostas Triaridis, Panagiotis Kaliosis, E-Ro Nguyen, Jingyi Xu, Dimitris Samaras, Hieu Le

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à compter des objets dans une pièce en désordre. Si vous dites simplement « compte les chaises », le robot pourrait compter toutes les chaises, même les cassées ou celles qui sont peintes d'une couleur différente. Mais que se passe-t-il si vous voulez que le robot compte uniquement « les chaises rouges avec des roues » ? C'est une tâche délicate appelée Référence d'Expression de Comptage (Referring Expression Counting). C'est comme demander à un ami de trouver « l'homme au chapeau bleu » dans une foule de gens portant des chapeaux. Le défi est que le robot doit comprendre les détails infimes de l'image (le chapeau bleu) et les faire correspondre parfaitement aux mots que vous avez prononcés.

Pour faire cela, les ordinateurs utilisent souvent une technique appelée Apprentissage Contrastif (Contrastive Learning). Voyez cela comme un jeu de « Trouvez les différences ». L'ordinateur apprend en regardant une image et une phrase, puis en essayant de déterminer quelles parties de l'image correspondent à la phrase et lesquelles ne correspondent pas. Habitement, l'ordinateur compare l'image aux mots côte à côte, en essayant de les faire « s'emboîter » dans son cerveau. Mais parfois, la façon dont l'ordinateur comprend les images et la façon dont il comprend les mots ne s'alignent pas parfaitement, comme si l'on essayait de faire entrer un pion carré dans un trou rond. Ce document pose une question simple mais cruciale : y a-t-il un meilleur endroit pour que l'ordinateur joue à ce jeu de « Trouvez les différences » ?

Les auteurs de cet article, Kostas Triaridis et son équipe, suggèrent que l'ordinateur joue le jeu dans la mauvaise pièce. Au lieu de comparer des images à des mots (ce qui est désordonné et déroutant), ils proposent que l'ordinateur ne compare que des images à d'autres images. Ils appellent leur nouvelle méthode C-REX.

Voici comment fonctionne C-REX, en utilisant une analogie amusante : Imaginez que vous êtes un enseignant essayant de trier une pile de photos d'animaux mélangées.

L'ancienne méthode (Image-Texte) : Vous tenez une photo de chien et une carte qui dit « Chien ». Ensuite, vous tenez une photo de chat et une carte qui dit « Chien ». Vous essayez d'apprendre à l'élève à faire correspondre la photo à la carte. Mais parfois, l'élève est confus parce que la carte et la photo ne se ressemblent pas du tout. De plus, vous n'avez que quelques cartes à lui montrer, donc l'élève n'a pas assez de pratique.
La nouvelle méthode (C-REX) : Vous jetez les cartes. À la place, vous montrez simplement à l'élève une énorme pile de photos. Vous dites : « Regarde cette photo de chien. Maintenant, regarde toutes ces autres photos. Lesquelles sont aussi des chiens ? Lesquelles ne sont définitivement pas des chiens ? » Parce que vous avez des centaines de photos dans la pile, l'élève peut s'exercer à repérer les différences encore et encore. Il apprend à voir les petits détails qui font qu'un chien est un chien, sans être distrait par les mots déroutants.

L'article conclut que cette approche « uniquement par l'image » est bien meilleure. En se concentrant entièrement sur les détails visuels à l'intérieur de l'image, l'ordinateur apprend à distinguer des choses très similaires — comme une personne faisant du vélo par rapport à une personne faisant de la moto — avec beaucoup plus de précision. Les auteurs ont testé cela sur trois modèles informatiques différents et ont constaté que C-REX les rendait nettement plus intelligents. En fait, les modèles ont été jusqu'à 28 % meilleurs pour compter correctement (mesuré par un score appelé MAE) et 24,5 % meilleurs pour gérer les grosses erreurs (mesuré par l'RMSE).

Les chercheurs ont également montré que ce tour de force ne sert pas seulement à compter des choses spécifiques avec des mots ; cela fonctionne pour compter n'importe quel type d'objet aussi. Ils l'ont même testé sur un cerveau de robot très avancé et polyvalent (un grand modèle de langage) et ont constaté que la méthode spécialisée C-REX était toujours bien plus performante pour cette tâche.

En résumé, l'article suggère que lorsqu'on apprend aux ordinateurs à compter des choses spécifiques dans une foule, nous ne devrions pas compter sur leur capacité à faire correspondre les mots aux images. Au lieu de cela, nous devrions les laisser comparer des images à des images, en leur offrant un immense terrain de jeu d'exemples visuels pour apprendre. Ce simple changement les rend beaucoup plus précis, stables et prêts pour le monde réel.

Résumé Technique : C-REX pour le Comptage par Expression de Référence

Énoncé du Problème

Le comptage par expression de référence (Referring Expression Counting - REC) exige que les modèles comptent des sous-ensembles spécifiques d'objets au sein d'une image sur la base de descriptions textuelles fines (par exemple, « personne montant une moto » par rapport à « personne marchant »). Le défi central réside dans la distinction d'objets visuellement similaires qui ne diffèrent que par des indices contextuels ou d'attributs subtils.

Les méthodes existantes de pointe en REC traitent cela via l'apprentissage contrastif (CL) image-texte. Ces approches entraînent les modèles à aligner les jetons visuels avec des invites textuelles positives tout en les éloignant des invites textuelles négatives. Cependant, les auteurs identifient deux limitations critiques de cette stratégie :

Rareté des Négatifs : Le nombre d'expressions de référence négatives disponibles pour une seule image est limité (généralement moins de 5), alors que l'apprentissage contrastif bénéficie théoriquement de grands lots d'échantillons négatifs diversifiés pour apprendre des représentations robustes.
Désalignement des Plongements (Embeddings) : L'efficacité du CL image-texte repose fortement sur l'alignement entre les espaces de plongement image et texte. Les auteurs soutiennent que cet alignement est souvent imparfait, ce qui conduit à des plongements visuels qui enchevêtrent des objets sémantiquement distincts mais visuellement similaires, entravant ainsi la discrimination fine.

Méthodologie : C-REX

Pour surmonter ces limitations, les auteurs proposent C-REX (Contrastive Learning for Referring Expression Counting), un cadre qui déplace entièrement l'apprentissage contrastif vers l'espace de plongement visuel, éliminant ainsi la dépendance aux plongements textuels pour l'objectif contrastif.

Mécanisme Central

Au lieu de contraster les jetons d'image contre les jetons de texte, C-REX contraste les jetons d'image contre d'autres jetons d'image au sein de la même image.

Définition des Échantillons : Pour une image et une expression de référence (RE) données, le modèle prédit l'emplacement des objets. En utilisant l'Appariement Bipartite (Bipartite Matching), les jetons prédits sont appariés à des points de vérité terrain (ground-truth).
- Positifs ( $I^+$ ) : Jetons d'image appariés aux objets de vérité terrain correspondant à la RE spécifique.
- Négatifs ( $I^-$ ) : Tous les autres jetons d'image de l'image (incluant des objets de la même classe avec des attributs différents, des classes différentes ou des jetons d'arrière-plan).
Modification de la Fonction de Perte : Les auteurs adaptent la perte contrastive supervisée standard [35]. Une modification clé est que seuls les échantillons positifs sont utilisés comme ancres.
- Le CL supervisé standard cherche souvent à rapprocher tous les échantillons d'une même classe. Cependant, dans C-REX, l'ensemble négatif ( $I^-$ ) est hétérogène (contenant des voitures, des piétons, de l'arrière-plan, etc.). Le regroupement de ces négatifs diversifiés serait contre-productif.
- Par conséquent, la fonction de perte est formulée pour rapprocher les jetons positifs tout en les éloignant de tous les jetons négatifs, sans forcer les négatifs à se regrouper.
- L'objectif est défini par :
  $\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$
Intégration : C-REX agit comme un module "plug-in". Il remplace la perte contrastive image-texte dans les architectures REC existantes (GroundingREC, CAD-GD) ou est ajouté aux côtés des pertes de comptage standard pour les modèles basés sur la détection (GroundingDINO). L'entrée textuelle est toujours utilisée pour conditionner le backbone visuel via l'attention croisée (cross-attention), mais le signal de supervision pour la discrimination provient uniquement de l'espace visuel.

Extension au Comptage Agnostique à la Classe

Le cadre est adapté pour le comptage agnostique à la classe en définissant les positifs basés sur une classe cible plutôt que sur une RE spécifique. Bien que l'amélioration soit moins prononcée que dans le REC (car les distinctions au niveau de la classe sont déjà plus faciles à apprendre), elle apporte néanmoins des gains de performance.

Contributions Clés

Transition vers le CL dans l'Espace Image : L'article démontre que réaliser l'apprentissage contrastif entièrement dans l'espace de plongement de l'image est supérieur au CL image-texte pour le REC, offrant un signal plus stable et évitant les problèmes d'alignement.
Échantillonnage de Négatifs Scalable : En utilisant les jetons visuels non appariés comme négatifs, C-EXP augmente le réservoir d'échantillons négatifs, passant de quelques invites textuelles à des centaines de jetons visuels par image, ce qui renforce considérablement la stabilité de la supervision.
Cadre Plug-and-Play : C-REX est conçu pour être agnostique à l'architecture, s'intégrant de manière transparente dans les modèles REC existants sans changements structurels.
Performances de Pointe (State-of-the-Art) : La méthode atteint de nouveaux résultats de pointe sur le jeu de données REC-8K à travers plusieurs backbones et architectures.

Résultats Expérimentaux

Les auteurs ont évalué C-REX sur les jeux de données REC-8K et FSC-147 en utilisant trois architectures : GroundingREC, CAD-GD et GroundingDINO.

Gains de Performance : Sur le jeu de données REC-8K, C-REX a amélioré les performances jusqu'à 28 % en Erreur Absolue Moyenne (MAE) (observé sur l'ensemble de validation pour GroundingREC avec le backbone Swin-T) et 24,5 % en Erreur Quadratique Moyenne (RMSE) (observé sur l'ensemble de test pour GroundingDINO avec le backbone Swin-T) par rapport aux bases de référence.
Consistance : Des améliorations ont été observées dans toutes les plages de densité d'objets (0–20, 21–50, 51–100, 100+), avec des gains particuliers dans les tâches de discrimination fine (ex: distinguer une « voiture bleue » d'une « voiture noire » ou une « personne sur un vélo » d'une « personne sur une moto »).
Études d'Ablation :
- Image-Espace vs Image-Texte : Le CL pur dans l'espace image a surpassé à la fois le CL image-texte et la combinaison des deux, suggérant que les signaux image-texte sont sous-optimaux ou redondants lorsque les signaux image-espace sont optimisés.
- Sélection des Positifs : L'utilisation de l'appariement bipartite pour sélectionner les positifs a surpassé les stratégies basées sur la similitude des jetons avec les invites textuelles.
- Modification de la Perte : La perte modifiée (utilisant uniquement les positifs comme ancres) a nettement surpassé la formulation standard de la perte contrastive supervisée.
Robustesse : C-REX a montré une meilleure robustesse face aux paraphrases des expressions de référence par rapport aux modèles de base.
Comparaison avec les VLM : Les modèles REC spécialisés équipés de C-REX ont significativement surpassé les modèles de vision-langage à usage général (Molmo2-4B) dans les configurations zero-shot et few-shot, soulignant la nécessité d'un entraînement spécifique à la tâche pour le comptage.

Signification et Revendications

L'article affirme que le « bon espace de plongement » pour l'apprentissage contrastif dans le REC est l'espace de plongement visuel, et non l'espace image-texte. En découplant l'objectif contrastif de la modalité textuelle, le modèle apprend des représentations visuelles fines plus riches et plus stables. Les auteurs soulignent que cette approche résout la rareté des échantillons négatifs et l'instabilité de l'alignement cross-modal, menant à une meilleure généralisation dans les scénarios de comptage en monde ouvert. Le cadre est présenté comme un outil polyvalent capable d'améliorer non seulement le REC, mais aussi d'autres tâches de comptage nécessitant une discrimination fine, comme le comptage agnostique à la classe.