🤖 AI

FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

Cet article présente FOCUS, un cadre d'entraînement en deux étapes qui combine des contraintes de support visuel et l'optimisation de politique relative de groupe (GRPO) pour parvenir à une localisation d'objets en contexte robuste et agnostique aux catégories sans supervision explicite, permettant à un modèle de 7 milliards de paramètres de surpasser de manière significative des modèles de 72 milliards de paramètres beaucoup plus grands.

Auteurs originaux : Mohammed Asad Karim, Vinay Kumar Verma

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammed Asad Karim, Vinay Kumar Verma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami qui est incroyablement doué pour lire des livres, mais qui est incapable de trouver des objets dans une chambre en désordre. Si vous lui demandez : « Trouve la tasse rouge », il cherchera n'importe quelle tasse rouge parce qu'il sait ce qu'est une « tasse ». Mais et si vous lui disiez : « Trouve cette tasse rouge spécifique avec l'éclat sur le bord, exactement comme celle sur cette photo » ? Un ami intelligent classique pourrait quand même se tromper et saisir une autre tasse rouge, car il s'appuie sur sa connaissance générale des « tasses » plutôt que sur les indices visuels précis que vous lui avez donnés.

Ce document présente une nouvelle façon d'enseigner aux modèles de vision par ordinateur (l'IA qui voit et comprend les images) à faire exactement cela : trouver un objet spécifique en se basant uniquement sur des exemples visuels, sans dépendre du nom ou de la catégorie de l'objet.

Voici la décomposition de leur approche, FOCUS, en utilisant des analogies simples :

Le Problème : L'échafaudage du « Badge Nom »

Les modèles d'IA actuels sont comme des élèves qui apprennent à résoudre des problèmes mathématiques en mémorisant le nom des chiffres plutôt qu'en comprenant la logique.

Le problème : Lorsque ces modèles essaient de trouver un objet dans une nouvelle photo, ils ignorent souvent les détails visuels spécifiques (comme la forme, la position ou des rayures uniques) et devinent plutôt en fonction du nom de l'objet (par exemple, « C'est un chien, donc il doit ressembler à un chien typique »).
Le résultat : Si vous montrez la photo d'un chien portant un chapeau et que vous lui demandez de trouver « ce chien spécifique » au milieu d'une foule d'autres chiens, il pourrait choisir le mauvais parce qu'il pense au concept de « chien » en général, et non à ce chien précisément.

La Solution : FOCUS (Forcing In-Context Object Localization)

Les auteurs ont créé une méthode d'entraînement en deux étapes pour forcer l'IA à arrêter de deviner en fonction des noms et à commencer à regarder les preuves visuelles.

Étape 1 : L'entraînement du « Projecteur » (Optimisation de l'attention)

Imaginez que vous apprenez à un enfant à trouver un jouet caché. Au lieu de dire « Trouve l'ours en peluche », vous pointez une image du jouet et dites : « Regarde juste ici ».

Ce qu'ils ont fait : Ils ont supprimé toutes les étiquettes textuelles (comme « chat », « voiture », « chien ») du processus d'entraînement. L'IA ne voit qu'une série d'images : certaines avec un cadre dessiné autour de l'objet cible, et une image finale où elle doit deviner où se trouve ce même objet.
L'astuce : Ils ont ajouté une règle spéciale (une « fonction de perte » ou loss function) qui agit comme un projecteur. Si les « yeux » internes de l'IA (l'attention) regardent la mauvaise partie de l'image ou ignoreent le cadre dans l'image d'exemple, le système lui donne un « pouce vers le bas ». Cela force l'IA à apprendre : « Je dois regarder la forme et la position spécifiques montrées dans l'exemple, et non pas simplement deviner en fonction de ce que je pense que l'objet est appelé. »

Étape 2 : Le « Sifflet du Coach » (Apprentissage par renforcement avec GRPO)

Une fois que l'IA sait où regarder, elle doit encore être précise. Imaginez un coach regardant un athlète s'entraîner à lancer une balle.

Ce qu'ils ont fait : Ils ont utilisé une technique appelée Group Relative Policy Optimization (GRPO). Considérez cela comme un coach qui ne se contente pas de dire « Bon travail » ou « Mauvais travail ». Au lieu de cela, le coach demande à l'athlète d'essayer le lancer cinq fois différentes.
La comparaison : Le coach compare les cinq lancers. Si l'un des lancers est légèrement meilleur que les autres, le coach dit : « Fais plus de ça ». Si l'un est moins bon, il dit : « Arrête de faire ça ».
La récompense : L'IA reçoit un « score » basé sur la façon dont son cadre dessiné correspond à l'objet réel (en utilisant une métrique appelée IoU, qui est comme mesurer à quel point deux formes se chevauchent). En comparant constamment ses propres tentatives et en choisissant les meilleures, l'IA apprend à dessiner le cadre avec une précision extrême.

Les Résultats : Petit Cerveau, Grandes Victoires

La partie la plus surprenante du document est la taille du modèle utilisé.

Ils ont entraîné un modèle de 7 milliards de paramètres (pensez à cela comme un cerveau très intelligent mais compact).
Ils l'ont comparé à des modèles massifs de 72 milliards de paramètres (des cerveaux géants).
Le résultat : Leur petit modèle, spécialement entraîné, a battu les modèles géants. Cela a prouvé que l'enseignement de l'IA sur comment regarder (la stratégie) est plus important que de simplement rendre l'IA plus grande (le passage à l'échelle).

Pourquoi cela compte (selon le document)

Le document affirme que cette méthode est cruciale pour les situations où :

Les objets n'ont pas de noms : Comme trouver une pierre spécifique de forme étrange ou un outil fabriqué sur mesure qui ne rentre pas dans les catégories standards.
Vous devez trouver « cet élément » spécifique : Comme modifier une photo pour supprimer uniquement la personne que vous avez désignée, et non tout le monde à qui elle ressemble.
Recherche personnalisée : Trouver « ma tasse bleue spécifique » dans une mer d'autres tasses bleues.

En résumé, le document enseigne à l'IA à arrêter de se fier à son « dictionnaire » et à commencer à se fier à ses « yeux », lui permettant de trouver des choses spécifiques dans une foule simplement en regardant une photo de référence, même si elle n'a jamais vu cet objet exact auparavant.

Résumé Technique : FOCUS – Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

1. Définition du Problème et Motivation

La Localisation d'Objets en Contexte (ICOL - In-Context Object Localization) est la tâche consistant à identifier et à localiser un objet cible spécifique dans une image de requête en se basant uniquement sur un petit ensemble d'exemples visuels de support (images avec des boîtes englobantes/bounding boxes) fournis lors de l'inférence, sans aucune mise à jour de paramètres ou entraînement sur la cible spécifique.

Bien que les modèles de vision-langage (VLM) aient progressé de manière significative, ils peinent avec l'ICOL dans des contextes réalistes et agnostiques aux catégories. Les méthodes existantes, telles qu'IPLoc, reposent souvent sur des priors sémantiques (par exemple, des noms de catégories ou des pseudo-étiquettes) plutôt que sur une preuve visuelle pure. Cela conduit à deux modes de défaillance critiques :

Biais de Catégorie : Les modèles ont tendance à localiser l'instance la plus prototypique ou la plus saillante visuellement d'une catégorie plutôt que l'instance spécifique définie par l'exemple de support (par exemple, localiser n'importe quel « bol » au lieu du « bol » spécifique montré dans le support).
Ancrage Visuel Faible : Les mécanismes d'attention des modèles actuels distribuent souvent l'attention de manière diffuse sur l'image de requête ou s'appuient lourdement sur les jetons de catégorie, échouant à se concentrer sur les indices géométriques et spatiaux fournis par les boîtes englobantes de support.

L'article soutient que pour des applications telles que la recherche visuelle personnalisée et l'édition d'images spécifiques à une instance, les modèles doivent inférer la cible en se basant uniquement sur la correspondance visuelle et le raisonnement spatial, totalement déconnectés des étiquettes de catégories textuelles.

2. Méthodologie : Le Framework FOCUS

Les auteurs proposent FOCUS, un cadre d'entraînement en deux étapes conçu pour imposer l'ancrage visuel et éliminer le biais de catégorie. L'approche opère sur une prémisse agnostique de la catégorie : le modèle reçoit uniquement des entrées visuelles (images de support et leurs boîtes englobantes) et l'image de requête, sans nom de catégorie dans le prompt.

Étape 1 : Optimisation de la Boîte Englobante basée sur l'Attention (Fine-Tuning Supervisé)

La première étape traite le problème de la « faible attention » en optimisant explicitement les cartes d'attention latentes du modèle pour donner la priorité aux annotations spatiales.

Spécification du Prompt : L'entrée est une séquence entrelacée d'une instruction en langage naturel, d'images de support avec leurs boîtes englobantes (sérialisées sous forme de jetons textuels), et de l'image de requête. Crucialement, aucun nom de catégorie n'est inclus.
Perte d'Attention ( $L_{bbox}$ ) : Les auteurs introduisent une fonction de perte qui force les poids d'attention des jetons de l'image de requête à se concentrer sur les jetons d'annotation de la boîte englobante (BBOX) des images de support.
- Un masque binaire distingue les jetons BBOX des jetons non-BBOX.
- La perte minimise une perte de marge de type hinge, encourageant le modèle à assigner une masse d'attention plus élevée aux jetons BBOX ( $p^+$ ) qu'aux jetons non-BBOX ( $p^-$ ).
- Cela garantit que le modèle apprend à « regarder » les contraintes géométriques fournies par les exemples de support plutôt qu'à s'appuyer sur des raccourcis sémantiques.
Implémentation : Cette étape utilise le Fine-Tuning Supervisé (SFT) avec LoRA (Low-Rank Adaptation) sur un VLM de base (ex: Qwen2-VL-7B).

Étape 2 : Apprentissage par Renforcement avec Group Relative Policy Optimization (GRPO)

La seconde étape affine la précision des boîtes englobantes prédites.

Objectif : Minimiser l'erreur de localisation (IoU) et assurer la correction syntaxique de la sortie.
Fonction de Récompense : Une récompense combinée $R$ $R$ est utilisée :
1. Récompense IoU ( $r_{iou}$ ) : L'Intersection-over-Union entre la boîte prédite et la vérité terrain.
2. Récompense de Format ( $r_{fmt}$ ) : Une récompense binaire garantissant que la sortie suit le format requis (ex: <answer>[x_min, y_min, x_max, y_max]</answer>).
Optimisation : La méthode GRPO est employée pour mettre à jour la politique. Contrairement à PPO, GRPO ne nécessite pas de critique appris ; au lieu de cela, il calcule les avantages en comparant les sorties échantillonnées au sein d'un groupe par rapport à la moyenne des récompenses du groupe. Cela stabilise l'entraînement dans des contextes de few-shot et optimise directement l'alignement de haute qualité.

3. Contributions Clés

Cadre Agnostique de la Catégorie : L'article introduit un cadre de localisation en contexte purement visuel qui supprime tous les noms de catégories des prompts, forçant le modèle à se fier exclusivement à l'apparence visuelle et à la géométrie.
Optimisation de la Carte d'Attention : Une nouvelle fonction de perte est proposée pour aligner explicitement l'attention du modèle avec les jetons de la boîte englobante de support, corrigeant la tendance des VLM à ignorer les contraintes spatiales au profit des priors sémantiques.
Raffinement par GRPO : L'intégration de la Group Relative Policy Optimization permet de minimiser directement l'erreur de localisation (IoU) et d'imposer un format de sortie strict, améliorant la précision au niveau de l'instance.
Efficacité et Scalabilité : Les auteurs démontent qu'un modèle de 7 milliards de paramètres entraîné avec ces objectifs surpasse de manière significative des modèles beaucoup plus grands (jusqu'à 72 milliards de paramètres), prouvissant que les objectifs de localisation sensibles au contexte sont plus critiques que la simple mise à l'échelle du modèle.

4. Résultats Expérimentaux

Les auteurs ont évalué FOCUS sur un ensemble diversifié de benchmarks, incluant TAO, GOT-10k, LaSOT, PerSeg, et PerMIRS.

Performance vs Baselines : FOCUS (basé sur Qwen2-VL-7B) a obtenu des résultats de pointe (SOTA), surpassant nettement les bases solides comme IPLoc (7B), Qwen2-VL-72B, et InternVL2-76B.
- Sur GOT-10k (généralisation de catégorie zero-shot), FOCUS a atteint 82,6 % (4-shot), dépassant largement le modèle Qwen2-VL de 72B paramètres (59,9 %).
- Sur TAO (monde ouvert, multi-objets), FOCUS a atteint 68,5 % (4-shot), contre 55,6 % pour Qwen2-VL-72B.
Généralisation : Le modèle a montré une généralisation robuste aux catégories non vues et aux changements de domaine (ex: données synthétiques dans PerSeg), maintenant une performance élevée là où les modèles dépendants des catégories échouaient à lever les ambiguïtés entre les instances.
Études d'Ablation :
- Supprimer la perte d'attention entraînait une chute significative de la performance, confirmant la nécessité de forcer l'attention vers les jetons BBOX.
- Ajouter le GRPO au-dessus du SFT + Perte d'Attention apportait un gain supplémentaire de 11,4 % dans le cadre 4-shot sur TAO.
- L'application de la perte d'attention aux cinq premières couches du transformer s'est révélée la plus efficace pour l'ancrage, suggérant que les couches précoces sont cruciales pour établir la correspondance spatiale.

5. Signification et Revendications

L'article affirme que FOCUS parvient à recadrer la localisation en contexte comme une tâche de raisonnement visuel plutôt que comme une tâche de recherche sémantique. En éliminant la supervision de catégorie et en imposant une correspondance visuelle stricte via des contraintes d'attention et l'optimisation de politique, la méthode atteint un ancrage robuste au niveau de l'instance.

Les auteurs soulignent que leur approche démontre que des objectifs d'entraînement spécialisés peuvent produire des performances supérieures à la simple augmentation de la taille du modèle. Un modèle de 7B avec FOCUS surpasse des modèles de 72B, mettant en évidence que les « objectifs de localisation sensibles au contexte » constituent une voie plus efficace pour résoudre le problème de la localisation d'objets agnostiques de la catégorie que le recours au seul comptage massif de paramètres. Le travail suggère que pour les applications pilotées par l'utilisateur et spécifiques à une instance, les modèles doivent être entraînés pour ignorer les priors sémantiques et se concentrer strictement sur les preuves visuelles.