UGround: Towards Unified Visual Grounding with Unrolled Transformers

UGround propose un paradigme unifié de localisation visuelle qui remplace l'utilisation de la dernière couche cachée par une sélection dynamique de couches intermédiaires dans des transformateurs déroulés, via une stratégie de « masques comme prompts » guidée par l'apprentissage par renforcement, afin de corriger les erreurs cumulatives et d'intégrer des indices spatiaux explicites pour couvrir un large éventail de tâches de segmentation.

L'essentiel

🌟 UGround : Le "Super-Héros" qui voit vraiment ce qu'on lui demande

Imaginez que vous demandez à un ami très intelligent de vous montrer un objet précis sur une photo. Par exemple : "Montre-moi l'oiseau qui mange un ver" ou "Montre-moi la partie de l'image où il y a un danger".

Jusqu'à présent, les systèmes d'IA faisaient cela un peu comme un jeu de téléphone arabe :

1. L'IA lit votre texte.
2. Elle le passe à travers 40 couches de "filtres" (comme des filtres à café super complexes) pour comprendre le sens.
3. Le problème : Elle ne regarde que le résultat final, la dernière couche, pour donner la réponse.
4. La conséquence : Comme dans le jeu de téléphone, le message s'est un peu déformé au fil du voyage. De plus, l'IA utilise un simple mot-clé (comme un code secret <SEG>) pour dire "c'est ici", mais ce mot ne contient pas de coordonnées GPS précises. C'est comme si vous disiez "regarde là-bas" sans pointer du doigt.

UGround arrive pour changer la donne avec deux idées géniales.

---

1. L'idée du "Téléphone Arabe" inversé (Le choix dynamique)

Dans les anciennes méthodes, l'IA était obligée d'attendre la toute dernière étape de sa réflexion pour décider où regarder. C'est comme si un chef d'orchestre n'écoutait que le dernier musicien avant de donner le signal de fin, ignorant tout le travail des 39 autres musiciens.

UGround, c'est différent :
Imaginez que l'IA a une télécommande magique. Au lieu de s'arrêter à la fin, elle peut choisir dynamiquement à quel moment de sa réflexion elle veut "sauter" pour regarder l'image.

• Elle peut dire : "Attends, la réponse est déjà claire à la 15ème couche, je vais m'arrêter là et montrer l'image !"
• Ou : "Non, il faut creuser un peu plus, je vais aller à la 30ème couche."

C'est comme si, au lieu de faire passer un message de personne en personne jusqu'au bout, vous laissiez le messager choisir le meilleur moment pour livrer le colis directement au destinataire, évitant ainsi les erreurs d'interprétation accumulées en cours de route.

2. L'idée du "Doigt qui pointe" (Le masque comme indice)

Avant, l'IA utilisait un mot magique (<SEG>) pour dire "c'est ici". C'est un peu comme donner une adresse à quelqu'un en disant juste "c'est la maison". Ça marche, mais c'est imprécis.

UGround utilise une carte thermique (un "masque") :
Au lieu d'un mot, l'IA génère une carte de chaleur (comme une carte météo) qui montre exactement où l'objet se trouve, avec des zones rouges (très important) et bleues (pas important).

• C'est comme si, au lieu de dire "regarde l'arbre", vous dessiniez un cercle rouge autour de l'arbre sur la photo avant de la montrer à l'IA.
• Cela donne des indices spatiaux précis (des coordonnées) directement à l'outil qui découpe l'image (appelé SAM).

🎯 Pourquoi c'est révolutionnaire ? (L'Unification)

Avant UGround, il fallait souvent un modèle différent pour chaque type de demande :

• Un modèle pour les objets simples ("Montre-moi le chat").
• Un autre pour les raisonnements complexes ("Montre-moi ce qui pourrait blesser un enfant").
• Un autre encore pour dire "Non, il n'y a pas de chat ici" (quand la demande est fausse).

UGround est un "couteau suisse" :
Grâce à sa capacité à choisir le bon moment de réflexion et à utiliser des cartes précises, un seul modèle peut tout faire :

• Trouver un objet simple.
• Faire du raisonnement complexe.
• Gérer plusieurs objets à la fois.
• Et même dire poliment : "Hé, il n'y a pas de chat dans cette photo, mais il y a un chien qui ressemble un peu !".

🚀 En résumé

UGround, c'est comme donner à l'IA :

1. Un œil de lynx capable de s'arrêter au moment parfait de sa réflexion pour ne pas perdre le fil.
2. Un doigt pointeur précis au lieu d'un simple mot vague.
3. Une polyvalence totale pour répondre à n'importe quelle question, même les plus pièges.

C'est une avancée majeure qui rend les IA plus intelligentes, plus précises et plus capables de comprendre le monde réel, avec toutes ses nuances et ses pièges.

Résumé technique

1. Problématique et Contexte

Le Visual Grounding (ancrage visuel) vise à aligner des expressions de référence textuelles avec leurs régions correspondantes dans une image. Bien que des progrès aient été réalisés, les approches existantes souffrent de limitations majeures lorsqu'elles sont confrontées à des tâches émergentes complexes (segmentation par raisonnement, multiples cibles, ou rejet de fausses hypothèses).

Les auteurs identifient deux défis fondamentaux dans les paradigmes actuels basés sur les grands modèles multimodaux (LMM) :

1. Dépendance à la dernière couche cachée fixe : Les méthodes traditionnelles utilisent uniquement les embeddings de la dernière couche d'un empilement de transformateurs (ex: LLaVA) pour générer le token <SEG>. Cela crée un effet de "téléphone arabe" où les erreurs s'accumulent couche par couche sans correction intermédiaire, amplifiant le bruit avant d'atteindre le modèle de vision (ex: SAM).
2. Manque d'indices spatiaux explicites : L'utilisation du token <SEG> (un simple placeholder textuel) comme prompt pour le modèle de segmentation projette implicitement les embeddings textuels dans l'espace visuel sans fournir d'indices spatiaux directs (comme des coordonnées), ce qui rend la localisation moins précise.

De plus, il n'existe pas de cadre unifié capable de gérer simultanément la segmentation par expression explicite, le raisonnement implicite, les cibles multiples et le rejet des requêtes erronées (fausses prémices).

2. Méthodologie : UGround

Pour surmonter ces obstacles, les auteurs proposent UGround, un paradigme unifié reposant sur des Transformateurs "déroulés" (Unrolled Transformers) et une nouvelle stratégie appelée Policy-Prompted Masking (PPM).

A. Architecture Unifiée

UGround intègre un LMM (basé sur LLaVA) pour le raisonnement et un modèle de segmentation (SAM) pour la génération de masques. L'innovation réside dans la manière dont le LMM interagit avec SAM.

B. Policy-Prompted Masking (PPM)

Le cœur de UGround est le PPM, composé de deux éléments clés :

1. Stochastic Skip Connection (SSC) - Connexion Stochastique :

   • Au lieu de forcer le token <SEG> à utiliser la dernière couche, le PPM sélectionne dynamiquement une couche intermédiaire $\ell^*$ parmi les $L$ couches du transformateur.
   • Cette sélection est traitée comme un problème d'apprentissage par renforcement (RL). Un agent choisit une couche selon une distribution de politique $\pi_\theta$.
   • Le mécanisme agit comme un "saut" (skip-connection) : la couche sélectionnée se connecte directement à SAM, contournant les couches suivantes. Cela permet de récupérer des représentations plus discriminatives et moins bruitées.
   • Ce processus est stochastique (échantillonnage aléatoire à chaque passage avant), agissant comme une forme de Monte Carlo Dropout, ce qui améliore la robustesse et l'estimation de l'incertitude.

2. Mask as Prompt (MasP) - Masque comme Prompt :

   • Au lieu d'envoyer le token <SEG> brut à SAM, UGround calcule une carte de similarité (similarity map) entre l'embedding du token <SEG> (de la couche sélectionnée) et les tokens d'image.
   • Cette carte de similarité est utilisée comme un masque de logit doux (soft logit mask) pour prompter SAM.
   • Contrairement au token textuel, cette carte fournit des indices spatiaux explicites (régions d'activation) directement dans l'espace visuel.
   • De plus, la carte de similarité est supervisée explicitement par une perte (BCE et Dice) contre un masque de vérité terrain lissé (Gaussian heatmap), guidant le modèle sur où il doit porter son attention.

C. Objectifs d'Entraînement

Le modèle est optimisé via une combinaison de pertes :

• Perte de génération de texte ($L_{txt}$).
• Perte de segmentation du masque ($L_{mask}$).
• Perte de politique pour la sélection de couche ($L_{policy}$) via l'algorithme REINFORCE.
• Perte de contrainte sur la carte de similarité ($L_M$) pour guider l'attention spatiale.

3. Contributions Clés

1. Unification par les attributs : UGround est le premier cadre à unifier la segmentation par expression de référence (RES), la segmentation par raisonnement (RS), les cibles multiples et le rejet des fausses prémices (FP) dans un seul système, en se basant sur les variations d'attributs des tâches plutôt que sur des architectures spécialisées.
2. Déroulement des Transformateurs : L'approche "Unrolled" permet au décodeur de vision d'accéder aux couches intermédiaires via des connexions de saut stochastiques, brisant la dépendance à la dernière couche et réduisant l'accumulation d'erreurs.
3. Supervision explicite de l'attention : En utilisant la carte de similarité comme prompt et en l'optimisant explicitement contre la vérité terrain, le modèle apprend à localiser spatialement les objets avec une précision accrue.

4. Résultats Expérimentaux

Les auteurs ont évalué UGround sur plusieurs benchmarks de pointe :

• ReasonSeg (Segmentation par raisonnement) : UGround-7B surpasse l'état de l'art (RSVP-GPT) avec une amélioration de +9.0% en cIoU sur l'ensemble de test. UGround-13B bat READ-13B de +2.7% en cIoU.
• RefCOCO(+/g) (Segmentation par expression) : UGround-7B dépasse GLaMM-7B, atteignant 76.1% de cIoU sur RefCOCOg test(U), une amélioration de +1.2%.
• gRefCOCO (Cibles multiples et fausses prémices) : UGround montre une capacité exceptionnelle à identifier les cibles vides (N-acc), surpassant GSVA-7B de +12.1% en précision de classification des cibles nulles.

Des études d'ablation confirment que la sélection dynamique de couche et l'utilisation de la carte de similarité comme prompt sont les composants les plus impactants.

5. Signification et Impact

UGround représente une avancée significative dans la vision par ordinateur et le traitement du langage naturel :

• Efficacité Architecturale : En démontrant que les couches intermédiaires des LMM contiennent des informations spatiales précieuses souvent ignorées, UGround propose une nouvelle façon d'exploiter ces modèles sans augmenter massivement la complexité computationnelle (grâce au mécanisme de saut stochastique).
• Robustesse et Sécurité : La capacité à rejeter les fausses prémices (ex: "segmentez l'objet absent") est cruciale pour des applications réelles sûres, évitant les hallucinations de segmentation.
• Unification : Ce travail ouvre la voie à des systèmes de perception unifiés capables de gérer une grande variété de scénarios (du simple au complexe, du positif au négatif) sans nécessiter de modèles distincts pour chaque tâche.

En résumé, UGround redéfinit le paradigme du visual grounding en passant d'une approche statique et textuelle à une approche dynamique, spatiale et unifiée, exploitant pleinement la richesse des représentations intermédiaires des transformateurs.