Interpretable Zero-shot Referring Expression Comprehension with Query-driven Scene Graphs

Le papier présente SGREC, une méthode de compréhension d'expressions de référence en zéro-shot qui améliore la précision et l'interprétabilité en utilisant des graphes de scène pilotés par la requête comme intermédiaires structurés pour combiner les capacités de perception visuelle des modèles vision-langage avec le raisonnement sémantique des grands modèles de langage.

L'essentiel

Imaginez que vous êtes un détective privé très intelligent, mais qui a un problème : il ne parle pas le langage des images. Vous avez une photo devant vous et une description écrite (une "expression de référence") comme "le vase rouge bizarre qui contient des fleurs". Votre mission est de trouver exactement quel objet sur la photo correspond à cette description, sans avoir jamais vu cette photo ou ce type de vase auparavant.

C'est le défi de la Recherche d'Objet par Expression (ou Referring Expression Comprehension).

Voici comment les chercheurs de cette nouvelle méthode, appelée SGREC, ont résolu ce casse-tête, expliqué simplement :

1. Le Problème : Les deux experts qui ne se parlent pas

Jusqu'à présent, il y avait deux types d'experts pour résoudre ce problème, mais aucun n'était parfait :

• Les "Visionnaires" (comme CLIP) : Ils sont excellents pour comparer une image et un mot. Si vous dites "chien", ils trouvent le chien. Mais s'ils doivent comprendre des relations complexes comme "le chien assis sur le banc à gauche du chat", ils se perdent. C'est comme un expert qui voit bien les couleurs mais qui est malade de l'orientation spatiale.
• Les "Génies du Langage" (comme les LLM) : Ce sont des cerveaux surpuissants qui comprennent parfaitement les nuances, les relations et la logique. Mais ils sont aveugles ! Ils ne peuvent pas "voir" l'image directement pour en extraire les détails.

2. La Solution : Le "Traducteur de Scène" (SGREC)

L'équipe a créé un système en trois étapes qui fait le pont entre ces deux mondes. Imaginez que vous avez un chef de chantier (le modèle de vision) et un architecte (le modèle de langage).

Étape 1 : Le Tri (Le Chef de chantier)

Au lieu de regarder toute la photo d'un coup, le système demande au chef de chantier : "Regarde la photo et repère uniquement les objets dont on parle dans la phrase."
Si la phrase est "le vase rouge", il ne va pas s'embêter à décrire chaque arbre ou chaque nuage. Il va isoler les vases. C'est comme si vous demandiez à un assistant de ne vous montrer que les pièces d'un puzzle qui concernent le ciel, pour ne pas vous noyer dans les détails inutiles.

Étape 2 : La Création du "Plan de la Scène" (Le Traducteur)

C'est ici que la magie opère. Le système ne se contente pas de montrer les objets. Il crée un Graphique de Scène (un peu comme un organigramme ou une carte au trésor).
Pour chaque objet trouvé, il remplit une fiche très détaillée :

• Où est-il ? (Ses coordonnées exactes, comme une adresse GPS).
• À quoi il ressemble ? (Une description textuelle riche : "un vase rouge tordu avec des fleurs").
• Avec qui il interagit ? (Qui est à côté de qui ? Qui contient quoi ?).

Imaginez que le système transforme la photo en une liste de personnages d'un roman avec leurs relations. Au lieu de dire "voici une image", il dit : "Voici un vase (ID 1) qui contient des fleurs, et un autre vase (ID 2) qui est à sa droite."

Étape 3 : La Déduction (L'Architecte)

Maintenant, le "Génie du Langage" (le LLM) reçoit cette liste structurée. Il ne regarde plus une image floue, il lit un texte clair et logique.
Il peut alors raisonner : "Ah, la phrase demande le vase 'bizarre'. Le vase ID 1 est décrit comme 'tordu', donc c'est lui !"
Le génie du langage peut aussi faire des calculs simples grâce aux coordonnées GPS fournies : "Le vase ID 2 est à gauche du vase ID 1, donc ce n'est pas celui de gauche."

Pourquoi c'est génial ?

• Pas d'entraînement nécessaire : Contrairement aux anciennes méthodes qui devaient apprendre sur des milliers d'exemples spécifiques, cette méthode fonctionne immédiatement sur n'importe quelle nouvelle image ou phrase. C'est comme si vous donniez à un détective un manuel de logique universel au lieu de lui faire apprendre chaque crime par cœur.
• Explicable : Le système ne vous donne pas juste une réponse. Il vous explique pourquoi il a choisi cet objet, en citant les détails du "Plan de la Scène". C'est transparent, comme un détective qui vous montre ses preuves.
• Résultats : Sur les tests, cette méthode bat les meilleurs systèmes actuels, même ceux qui ont été entraînés sur des millions de données. Elle comprend mieux les relations complexes (comme "le deuxième objet à gauche") que les anciens modèles.

En résumé

SGREC, c'est comme donner à un traducteur (le LLM) une carte détaillée (le Graphique de Scène) au lieu de lui montrer une photo floue. Grâce à cette carte, le traducteur peut utiliser toute sa puissance de raisonnement pour trouver l'objet exact, même s'il n'a jamais vu cette photo auparavant. C'est une victoire de l'intelligence structurée sur la simple reconnaissance de motifs.

Résumé technique

1. Problématique : La Compréhension d'Expressions de Référence (REC) Zero-Shot

La tâche de Compréhension d'Expressions de Référence (Referring Expression Comprehension - REC) consiste à localiser un objet spécifique dans une image à partir d'une requête textuelle naturelle (ex: "le vase rouge à gauche").

Le défi principal abordé dans ce papier est le mode Zero-Shot, où le modèle doit effectuer cette tâche sans données d'entraînement spécifiques à la tâche. Les approches existantes souffrent de limitations majeures :

• Modèles Vision-Language (VLM) comme CLIP : Ils mesurent la similarité de caractéristiques entre le texte et les régions de l'image. Bien qu'efficaces pour l'alignement global, ils peinent à capturer les détails visuels fins et les relations complexes entre les objets (spatiales, d'interaction).
• Grands Modèles de Langage (LLM) : Ils excellent dans le raisonnement sémantique de haut niveau mais ne peuvent pas directement extraire ou abstraire les caractéristiques visuelles brutes en sémantique textuelle sans aide.
• Manque d'interprétabilité : Les méthodes actuelles fonctionnent souvent comme des "boîtes noires", offrant peu d'explications sur la décision de localisation.

2. Méthodologie : Le Framework SGREC

Les auteurs proposent SGREC, un cadre novateur qui utilise des Graphes de Scène (Scene Graphs) pilotés par la requête comme intermédiaires structurés pour combler le fossé entre la vision et le langage. Le processus se déroule en trois étapes principales (illustrées dans la Figure 3 du papier) :

Étape 1 : Ancrage des Objets (Object Grounding)

Le système identifie d'abord les objets pertinents dans l'image en fonction de la requête utilisateur.

• Extraction de Noms et Catégories : Utilisation de SpaCy pour extraire les noms (nouns) de la requête et les mapper aux catégories de détection (COCO).
• Inférence du Sujet : Utilisation d'un VLM (LLaVA) pour inférer le sujet principal de la requête, même si celui-ci est ambigu (ex: transformer "la chose de gauche" en "chaise").
• Sélection : Les objets détectés sont filtrés en calculant la similarité cosinus entre les étiquettes de détection et les noms/catégories/sujets extraits de la requête.

Étape 2 : Génération de Graphe de Scène Piloté par la Requête

Une fois les objets pertinents identifiés, un graphe de scène structuré est généré. Ce graphe ($SG = (V, E)$) contient :

• Nœuds (Objets) : Chaque nœud inclut :
  • Les coordonnées de la boîte englobante (pour le raisonnement spatial).
  • Les attributs (couleur, état) issus du détecteur.
  • Descripteurs (Captions) : Des descriptions textuelles riches générées par un VLM pour chaque région, décrivant l'apparence, les actions et le contexte (ex: "un bol jaune rempli de ragoût").
• Arêtes (Interactions) : Les relations entre les objets sont prédites par le VLM sous forme de triplets relationnels (Objet 1, Relation, Objet 2), en mettant en évidence visuellement les objets concernés pour éviter la confusion.

Étape 3 : Inférence par LLM

Le graphe de scène (série sous format JSON structuré) et la requête originale sont injectés dans un Grand Modèle de Langage (LLM).

• L'LLM analyse la structure textuelle du graphe pour raisonner sur les relations spatiales, les attributs et les interactions.
• Il sélectionne l'ID de l'objet cible et fournit une explication détaillée justifiant son choix, assurant ainsi l'interprétabilité du processus.

3. Contributions Clés

1. Nouveau Framework Zero-Shot : Intégration inédite des graphes de scène et des LLM pour la localisation d'objets sans fine-tuning spécifique.
2. Module de Génération de Graphe de Scène : Création d'une représentation structurée qui capture non seulement la position, mais aussi les descriptions sémantiques riches et les interactions implicites, servant d'entrée optimisée pour le raisonnement des LLM.
3. Interprétabilité : Le système fournit des explications textuelles pour chaque décision, rendant le processus de localisation transparent.
4. Performance SOTA : Démonstration que la modélisation relationnelle structurée est plus efficace que le simple passage à l'échelle des modèles ou l'alignement direct image-texte.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks standards RefCOCO, RefCOCO+ et RefCOCOg.

• Performance Globale : SGREC atteint les meilleures performances (Top-1 Accuracy) sur la plupart des splits, surpassant les méthodes de l'état de l'art (comme ZeroshotREC, Grounding-DINO en mode zero-shot, et d'autres approches basées sur CLIP).
  • RefCOCO val : 66,78 %
  • RefCOCO+ testB : 53,43 %
  • RefCOCOg val : 73,28 %
• Comparaison Zero-Shot vs Supervisé : SGREC surpasse significativement les méthodes zero-shot existantes et rivalise avec des méthodes faiblement supervisées, prouvant la puissance de l'approche sans données d'entraînement spécifiques.
• Analyse d'Abattage (Ablation Studies) :
  • L'ajout de captions (descriptions d'objets) améliore considérablement les performances, surtout pour les requêtes basées sur l'apparence (RefCOCO+).
  • La modélisation des interactions (relations entre objets) est cruciale pour les requêtes complexes (RefCOCOg).
  • L'utilisation de LLMs plus grands (ex: Qwen-72B) améliore les résultats, confirmant que la capacité de raisonnement linguistique est un facteur clé.
• Robustesse : Le modèle reste performant même dans des scènes denses (plus de 20 objets détectés) et généralise bien aux mots-clés "longue traîne" (low-frequency nouns).

5. Signification et Impact

Ce travail est significatif car il propose un changement de paradigme pour la REC Zero-Shot :

• Dépassement des limites de CLIP : Il ne repose plus uniquement sur l'alignement de vecteurs, mais sur une compréhension sémantique structurée.
• Exploitation des LLM : Il transforme le problème de vision par ordinateur en un problème de raisonnement textuel, exploitant la puissance des LLMs pour comprendre les relations complexes sans nécessiter de réentraînement coûteux.
• Interprétabilité : Dans un domaine où les décisions des modèles sont souvent opaques, SGREC offre une traçabilité claire de la logique de localisation, ce qui est essentiel pour les applications critiques.

En conclusion, SGREC démontre que l'utilisation de graphes de scène comme intermédiaires structurés permet de combiner la perception visuelle fine des VLMs et le raisonnement logique des LLMs, établissant un nouvel état de l'art pour la localisation d'objets sans supervision.