💻 computer science

From Bounding Boxes to Visual Reasoning: An On-Policy Data Annotation Tool for Vision-Language Models

Cet article présente ScreenAnnotator, un outil d'annotation de données on-policy en open-source qui comble l'écart entre les boîtes englobantes et le raisonnement visuel en unifiant les primitives spatiales, sémantiques et structurelles en un schéma unique, permettant ainsi une synthèse de données hautement efficace et augmentant considérablement les performances des modèles de vision-langage sur des tâches de raisonnement complexes.

Auteurs originaux : Like Zhang, Runliang Niu, Shiqi Wang, Xiyu Hu, Qianli Xing, Pan Wang, Qingzu He, Qi Wang

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Like Zhang, Runliang Niu, Shiqi Wang, Xiyu Hu, Qianli Xing, Pan Wang, Qingzu He, Qi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent, mais actuellement maladroit, comment comprendre des images complexes comme des organigrammes ou des écrans d'applications mobiles. Vous voulez que le robot ne se contente pas de dire « il y a une boîte ici », mais qu'il explique ce qu'est cette boîte, pourquoi elle est là et comment elle se connecte aux autres boîtes.

Le problème est que les outils que nous utilisons actuellement pour « enseigner » aux robots (appelés outils d'annotation) sont comme de vieux carnets de notes. Ils sont très bons pour dessiner un simple cadre autour d'un chat et écrire « chat ». Mais ils sont terribles pour les instructions complexes et multicouches dont les robots modernes ont besoin. Ils sont rigides, lents, et une fois que vous avez appris quelque chose au robot, vous devez repartir de zéro pour lui apprendre autre chose.

Les auteurs de cet article ont construit un nouvel outil appelé ScreenAnnotator pour corriger cela. Voici comment il fonctionne, en utilisant des analogies simples :

1. La brique Lego « Tout-en-un » (Atome d'annotation unifié)

Les anciens outils traitent l'emplacement, le nom et la description d'une image comme trois feuilles de papier distinctes. Si vous en perdez une, la donnée est brisée.

ScreenAnnotator crée une « super-brique » (appelée Atome d'annotation). Imaginez une brique Lego qui possède :

Une coordonnée GPS (où elle se trouve).
Un badge de nom (ce qu'elle est).
Une histoire détaillée écrite dessus (une description en texte libre).
Une liste de traits spécifiques (comme « assis », « marron » ou « urgent »).

En collant toutes ces informations dans une seule unité, le robot obtient une image du monde beaucoup plus riche et complète.

2. La boucle d'entraînement « Copilote » (Annotation On-Policy)

Habituellement, enseigner à un robot est une rue à sens unique : les humains dessinent des boîtes, puis le robot apprend, puis les humains dessinent d'autres boîtes. Le robot n'aide jamais l'humain.

ScreenAnnotator transforme cela en une danse.

Étape 1 : Le robot (le « Copilote ») regarde une nouvelle image et essaie de deviner où se trouvent les boîtes et ce qu'elles disent.
Étape 2 : Un humain regarde la supposition du robot. Si le robot a raison, l'humain dit simplement « Bon travail ! » (ce qui fait gagner du temps). S'il se trompe, l'humain le corrige.
Étape 3 : Le robot apprend immédiatement de cette correction et s'améliore avant de regarder l'image suivante.

Le Résultat : Au début, le robot est maladroit et a besoin de beaucoup d'aide. Mais à mesure qu'il apprend, il devient si bon que l'humain doit à peine toucher l'écran. L'article montre que pour les organigrammes, le robot finit par réussir presque 100 % du temps tout seul, et pour les écrans d'applications, il réussit 77 % du temps. Le travail de l'humain passe de « faire le travail » à « vérifier le travail ».

3. Le « Détecteur de mensonges » (Vérificateur d'annotation bayésien)

Même avec un Copilote, des erreurs se produisent. Comment savoir si le robot est sûre de lui mais se trompe ?

L'outil inclut un Détecteur de mensonges spécial (appelé Vérificateur d'annotation bayésien). Ce n'est pas un humain ; c'est un algorithme intelligent qui agit comme un inspecteur de contrôle qualité.

Il examine chaque boîte dessinée par le robot et demande : « À quel point sommes-nous sûrs que ceci est correct ? »
Si le robot est confiant mais que les mathématiques indiquent une incertitude, le Détecteur de mensonges le signale.
Ces éléments « suspects » sont renvoyés à l'humain pour un second regard.

Cela garantit que le robot ne tire pas de leçons de ses propres erreurs. L'article a révélé que cet outil est incroyablement efficace pour repérer les erreurs, trouvant 2 à 3 fois plus de fautes dans le top 1 % des éléments signalés que si l'on choisissait des images au hasard pour vérification.

4. Le « Livre de recettes » (Synthèse pilotée par des modèles)

Voici le plus grand gain de temps. Habituellement, si vous voulez apprendre à un robot une nouvelle tâche (comme « compter les boîtes » ou « trouver le chemin de A vers B »), vous devez embaucher des humains pour ré-étiqueter des milliers d'images.

ScreenAnnotator utilise une approche de Livre de recettes.

Une fois que l'humain a étiqueté l'image avec les « Super-Briques » (Étape 1), le système peut générer automatiquement des milliers de questions et réponses différentes à partir de cette même image unique.
C'est comme avoir un ingrédient de haute qualité (l'image étiquetée) et utiliser un modèle pour cuisiner un gâteau, une tarte et des biscuits en même temps.
Vous n'avez pas besoin de ré-étiqueter l'image, il suffit de changer la « recette » (le modèle) pour poser des questions différentes.

Le Grand Succès

Les auteurs ont testé cela sur deux éléments : les organigrammes (diagrammes montrant des processus) et les captures d'écran d'applications mobiles.

Efficacité : Le temps nécessaire pour étiqueter une image a considérablement diminué à mesure que le robot devenait plus intelligent.
Robots plus intelligents : Lorsqu'ils ont utilisé les données de ScreenAnnotator pour entraîner un robot, la capacité de ce dernier à comprendre les organigrammes est passée de 41 % de précision à 76,1 %. C'est un bond énorme, prouvant que de meilleurs outils de données créent des robots plus intelligents.

En bref : ScreenAnnotator est un outil qui permet aux robots d'aider les humains à étiqueter les données, attrape automatiquement les erreurs du robot, et transforme ensuite une seule image étiquetée en cent exercices d'entraînement différents, rendant tout le processus plus rapide, moins coûteux et beaucoup plus efficace.

Résumé Technique : SCREENANNOTATOR

Énoncé du Problème

Les modèles de vision-langage (VLM) évoluent d'une simple perception visuelle vers un raisonnement visuel structuré et ancré plus sophistiqué. L'entraînement de modèles pour ces capacités avancées nécessite des données qui unifient coordonnées spatiales, descriptions en vocabulaire ouvert, attributs structurés et relations topologiques dans une représentation unique. Cependant, les outils d'annotation de données existants ne parviennent pas à répondre à ces exigences, souffrant de trois goulots d'étranglement systématiques :

Expressivité Limitée : Les outils actuels sont ancrés dans des paradigmes de détection à ensemble fermé, échouant à lier conjointement localisations spatiales, texte libre et attributs structurés.
Découplage Annotation-Entraînement : Les pipelines existants sont linéaires et hors ligne, manquant de rétroaction interactive en temps réel (on-policy) ou de mécanismes de contrôle qualité auto-supervisés.
Faible Réutilisabilité des Données : Les diverses tâches en aval nécessitent souvent une ré-annotation redondante des mêmes images, car les outils ne supportent pas la conversion dynamique de labels statiques en diverses tâches de raisonnement.

Ce fossé infrastructurel entrave la curation à grande échelle de données de haute qualité nécessaires au raisonnement avancé des VLM.

Méthodologie : SCREENANNOTATOR

Pour combler cette lacune, les auteurs introduisent SCREENANNOTATOR, un outil d'annotation open-source conçu spécifiquement pour les données d'entraînement des VLM. Le framework se compose de trois composants fondamentaux :

1. Schéma d'Atome d'Annotation Unifié

Les auteurs définissent un « atome d'annotation » unifié ( $a_i$ ) qui lie quatre primitives en une seule unité :

Localisation Spatiale : Boîtes englobantes ( $b_i$ ).
Identité Catégorielle : Labels spécifiques à la tâche ( $\ell_i$ ).
Sémantique de Langage Naturel : Descriptions textuelles libres ( $d_i$ ) permettant une sémantique en vocabulaire ouvert.
Connaissance de Domaine Structurée : Attributs clé-valeur ( $k_i$ ) définis par un schéma déclaratif.
Ce schéma va au-delà des simples boîtes englobantes pour supporter le référencement au niveau de l'instance et une information sémantique riche.

2. Boucle d'Annotation On-Policy

Pour remédier au découplage entre annotation et entraînement, l'outil implémente une boucle itérative et on-policy :

Pré-annotation Assistée par Modèle : Un modèle de politique (combinant un détecteur d'objets et un VLM) génère des atomes candidats (boîtes, labels, descriptions, attributs) pour de nouveaux lots d'images.
Révision et Correction Humaine : Les annotateurs corrigent les erreurs des propositions du modèle.
Vérificateur d'Annotation Bayésien (BAV) : Un module de contrôle qualité auto-supervisé scanne les annotations pour détecter les défauts. Il estime la probabilité a posteriori qu'une annotation soit erronée à l'aide d'une tête de classification bayésienne avec MC Dropout. Les instances à haute incertitude sont signalées pour une seconde révision humaine.
Mise à jour du Modèle On-Policy : Le jeu de données corrigé est fusionné avec les données précédentes, et le modèle de politique ainsi que le vérificateur sont réentraînés conjointement. Le modèle de politique mis à jour supplante immédiatement le précédent pour le cycle suivant, créant une boucle de co-évolution qui réduit la charge de correction humaine au fil du temps.

3. Synthèse de Données Multi-Tâches Pilotée par Templates

Pour résoudre la réutilisabilité des données, le framework découple la diversité des données du coût d'annotation. Un ensemble unique d'atomes d'annotation est dynamiquement converti en diverses tâches de raisonnement VLM (ex: recherche d'attributs, raisonnement relationnel, inférence spatiale) via des templates de schémas.

Un LLM charge un schéma spécifique au domaine et l'étend en divers templates de conversation.
Ces templates sont instanciés sur les échantillons annotés, liant les réponses textuelles aux preuves spatiales (marqueurs d'ancrage).
Cela permet à un seul effort d'étiquetage de supporter plusieurs tâches en aval sans ré-annotation.

Contributions Clés

Outil ScreenAnnotator : Un nouvel outil open-source qui étend le paradigme de détection à ensemble fermé avec un schéma d'atome d'annotation unifié supportant une sémantique riche et un référencement au niveau de l'instance.
Boucle d'Annotation On-Policy : Un framework comprenant des mises à jour rapides de modèles on-policy et un Vérificateur d'Annotation Bayésien (BAV) pour un contrôle qualité auto-supervisé. Les expériences montrent une boucle de rétroaction positive claire où le temps et l'effort de correction humaine diminuent à mesure que le modèle s'améliore.
Effort d'Annotation Réutilisable : Une procédure de synthèse pilotée par templates qui transforme une annotation ponctuelle en données d'entraînement VLM multi-tâches, augmentant considérablement la supervision marginale de chaque annotation.

Résultats Expérimentaux

Le framework a été évalué sur deux scénarios : l'analyse de diagrammes de flux (flowchart parsing) et la compréhension de captures d'écran d'interfaces mobiles (GUI).

Efficacité de l'Annotation (RQ1) :
- Dans le scénario de diagramme de flux, le taux d'acceptation du modèle a atteint presque 100 %, et le taux de complétion est tombé à ~20 % au fil des cycles.
- Dans le scénario GUI, le taux d'acceptation est passé de 0 % à 77 %, tandis que les taux de complétion sont passés de 100 % à 40,6 %.
- Le temps d'annotation par image a diminué régulièrement au fil de la boucle, confirmant un transfert de la charge de travail de l'humain vers le modèle.
Contrôle Qualité (RQ2) :
- Le BAV a efficacement priorisé les erreurs sans labels de qualité manuels. Dans le scénario de diagramme de flux, le haut 1 % des boîtes signalées a capturé environ 2,9 fois plus d'erreurs réelles qu'un échantillonnage aléatoire (Lift@1% = 2,89).
- Dans le scénario GUI, le Lift@1% a atteint 3,69, démontrant une forte séparation des erreurs hétérogènes.
Performance des Tâches (RQ3) :
- L'ajustement fin (fine-tuning) d'un VLM (Qwen3-VL-8B) sur les données synthétisées à partir des annotations de diagrammes de flux a produit une précision moyenne de 76,1 %, un gain absolu de 35,1 points de pourcentage par rapport au modèle de base (41,0 %).
- Des améliorations significatives ont été observées dans les 12 types de tâches, particulièrement dans l'inférence spatiale (24,5 % $\to$ 89,0 %) et l'identification du successeur (29,3 % $\to$ 90,6 %).
- Des études de cas qualitatives ont confirmé que le modèle ajusté pouvait effectuer un raisonnement multi-étapes structuré et une localisation précise là où le modèle de base échouait.

Signification et Revendications

L'article affirme que SCREENANNOTATOR fournit une solution hautement scalable et facile d'utilisation pour la curation de jeux de données satisfaisant les besoins de raisonnement avancés des VLM. Sa principale importance réside dans :

Combler le Fossé Infrastructurel : Il répond directement au décalage entre les outils d'annotation conventionnels et les exigences complexes de données ancrées des VLM modernes.
Efficacité et Qualité : En intégrant l'apprentissage on-policy et la vérification bayésienne, il réduit les coûts de labellisation humaine tout en maintenant une intégrité élevée des données grâce à la détection d'erreurs auto-supervisée.
Réutilisabilité des Données : Il démontre qu'un seul effort d'annotation peut être dynamiquement réutilisé pour diverses tâches de raisonnement, éliminant le besoin de ré-annotation redondante.

Les auteurs notent des limites concernant le champ des scénarios (actuellement concentrés sur les diagrammes de flux et les interfaces GUI) et suggèrent des travaux futurs dans la sélection active d'échantillons et l'extension de l'estimation de l'incertitude aux descriptions en langage libre. L'outil est publié en open-source pour faciliter l'adoption par la communauté.