VespaSeg: A Resource-Aware Ground-then-Segment Pipeline for Referring Expression Segmentation

Imaginez que vous essayez de retrouver un ami spécifique dans un concert bondé et chaotique. Vous ne pouvez pas simplement crier « Trouvez mon ami ! » et vous attendre à ce que le garde de sécurité sache de qui vous parlez. Vous devez donner une description : « La personne au chapeau rouge tenant une guitare bleue ». C'est le défi quotidien des ordinateurs qui tentent de comprendre le langage humain. Dans le monde de l'intelligence artificielle, cela s'appelle la Segmentation par Expression de Référence (Referring Expression Segmentation). C'est le tour de magie où un ordinateur regarde une photo, lit une phrase comme « le chien poursuivant la balle », puis dessine un contour parfait autour de ce chien précisément, pixel par pixel.

Pendant longtemps, les robots effectuant ce travail étaient comme des chars d'assaut géants et lourds. Ils étaient incroyablement intelligents mais nécessitaient des quantités massives d'électricité et des supercalculateurs pour fonctionner, ce qui les rendait lents et coûteux à utiliser dans la vie réelle, comme sur un aspirateur robot ou une application de téléphone. La grande question que posent les chercheurs est la suivante : pouvons-nous construire un système qui soit tout aussi doué pour trouver des choses, mais qui soit petit, rapide et assez léger pour être transporté dans votre poche ? Ce document plonge précisément dans ce problème, tentant de remplacer les chars d'assaut lourds par une équipe agile en deux parties qui travaille ensemble pour résoudre l'énigme sans se ruiner.

---

La danse en deux étapes : VespaSeg

Rencontrez VespaSeg. Voyez cela comme une équipe de deux personnes ingénieuses résolvant un mystère plutôt qu'un seul détective géant et surmené. L'auteur a réalisé qu'essayer de tout faire avec un seul cerveau géant est trop lourd. Il a donc divisé le travail en deux étapes distinctes : le Localisage (Grounding) et la Segmentation.

Étape 1 : L'Éclaireur (Le Localisateur/Grounding)
D'abord, il faut trouver où se trouve l'objet. Imaginez un éclaireur dans un jeu vidéo qui reçoit une commande textuelle : « Trouve le coffre au trésor ». L'éclaireur n'a pas encore besoin de savoir à quoi ressemble le coffre en haute définition ; il doit juste pointer un doigt et dessiner un carré grossier autour de lui. Dans VespaSeg, cela est effectué par un modèle d'IA « compact » (un petit cerveau efficace) qui lit votre phrase et dessine une boîte de délimitation (bounding box). C'est comme si l'éclaireur criait : « C'est dans ce coin-là ! »

Étape 2 : Le Traceur (Le Segmentateur/Segmenting)
Une fois la boîte dessinée, un second spécialiste prend le relais. Il s'agit de MobileSAM, un modèle conçu spécifiquement pour être léger et rapide. Sa seule tâche est de regarder cette boîte et de dire : « D'accord, je vois la boîte. Maintenant, laissez-moi tracer les bords exacts de l'objet à l'intérieur ». Il transforme ce carré grossier en un masque parfait, précis au pixel près.

La beauté de cette configuration est que si vous avez une photo contenant dix objets différents à trouver, le « Traceur » n'a à effectuer le travail lourd d'analyse de l'image qu'une seule fois. Il sauvegarde la « mémoire de l'image » (l'embedding de l'image) et la réutilise simplement pour chaque nouvelle boîte dessinée par l'« Éclaireur ». C'est comme prendre une photo d'une pièce une seule fois, puis pointer différents meubles dans cette même photo sans avoir à re-photographier toute la pièce à chaque fois.

Ce qu'ils ont découvert : Vitesse vs Taille

Les chercheurs ont testé cette équipe en utilisant différents « Éclaireurs » (modèles de localisation) pour voir lequel était le meilleur partenaire. Ils ont comparé plusieurs options, incluant Florence-2 et Moondream2.

Voici la grande surprise qu'ils ont mise au jour : Plus gros n'est pas toujours mieux.

Ils ont testé une version « Large » du modèle Florence-2 contre une version « Base » (plus petite). On pourrait penser que le modèle plus grand et plus puissant gagnerait à chaque fois. Mais dans cette configuration spécifique, le modèle plus petit Florence-2-base a en fait obtenu de meilleurs résultats !

• Précision : Le modèle plus petit a obtenu un score de 73,73 (mesuré par l'Intersection over Union moyenne, ou mIoU), tandis que le modèle plus grand a obtenu 72,82.
• Vitesse : Le modèle plus petit était 1,70 fois plus rapide, traitant 22,8 requêtes par seconde contre le rythme plus lent du modèle plus grand.
• Mémoire : Le modèle plus petit utilisait 1,17 Go de moins de mémoire sur la carte graphique.

Il s'avère que pour cette danse spécifique de « localisation puis segmentation », le partenaire plus petit et plus agile était plus efficace et plus précis que le géant.

Ajuster le moteur

L'équipe a également joué avec les paramètres pour voir s'ils pouvaient rendre le système encore plus rapide sans perdre en précision. Ils ont découvert deux astuces géniales :

1. Raccourcir les instructions : L'IA génère généralement jusqu'à 64 « tokens » (petits morceaux de données) pour décrire la boîte. Ils ont découvert qu'ils pouvaient réduire ce nombre à seulement 32 tokens sans perdre de précision. C'est comme dire à l'éclaireur : « Donne-moi juste les coordonnées, pas de bavardages inutiles ».
2. Entraîner les bonnes parties : Ils ont utilisé une technique appelée LoRA (Low-Rank Adaptation), qui consiste à enseigner de nouveaux tours à l'IA en ne modifiant qu'une infime fraction de son cerveau (environ 1,63 % de ses paramètres) au lieu de réentraîner l'ensemble. Cela a aidé le « Traceur » (MobileSAM) à bien mieux dessiner les contours, faisant passer son score de 82,22 à 86,61 lorsqu'on lui donne des boîtes parfaites.

Le revers de la médaille : Un travail en cours

Bien que les résultats soient passionnants, l'auteur prend grand soin de ne pas prétendre avoir résolu tous les problèmes du monde. Il souligne quelques limitations importantes :

• Le test était spécifique : Ils ont testé sur un ensemble spécifique de 3 811 paires image-phrase (en ne prenant que la première phrase pour chaque objet). Cela diffère des ensembles de test complets et standards utilisés dans l'industrie, qui comptent plus de 10 000 phrases. Ainsi, bien que les chiffres semblent excellents, ils pourraient être un peu optimistes pour le monde réel, plus complexe.
• Le matériel : Les tests de vitesse ont été effectués sur une carte graphique très puissante et coûteuse (une NVIDIA RTX 6000 Ada). Ils admettent que nous ne savons pas encore comment cela fonctionnerait sur un téléphone ordinaire ou un petit robot.
• Pas de solution miracle : Si la première étape (l'Éclaireur) se trompe sur la boîte, la seconde étape (le Traceur) ne peut pas la corriger. Le système est aussi bon que son maillon le plus faible.

Ce qu'il faut retenir

VespaSeg nous montre que nous n'avons pas besoin d'une IA géante et gourmande pour comprendre notre langage et pointer des choses. En divisant le travail en une étape de « trouver la boîte » et une étape de « dessiner le contour », et en utilisant des modèles plus petits et plus intelligents, nous pouvons obtenir des résultats presque aussi précis que les grands géants, tout en étant beaucoup plus rapides et en consommant moins d'énergie. Cela suggère un avenir où vos appareils pourront comprendre ce que vous dites et pointer exactement ce que vous voulez dire, sans avoir besoin d'un supercalculateur dans votre poche. Cependant, avant de pouvoir dire qu'il s'agit de la réponse finale, l'équipe doit tester cela sur les jeux de données complets et standards, ainsi que sur des appareils réels, pour voir si cela résiste à la pression.