Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

L'article présente PERIA, un agent visuel augmenté par des outils qui améliore le raisonnement spatial des modèles vision-langage en intégrant des outils de perception et d'interaction légers à une nouvelle recette d'entraînement, atteignant des performances de pointe sur divers benchmarks tout en rivalisant avec des modèles beaucoup plus grands.

L'essentiel

Imaginez que vous essayez de résoudre un labyrinthe complexe dessiné sur une feuille de papier, mais que vous avez les yeux bandés et que vous ne pouvez demander à un ami de décrire que de minuscules parties spécifiques du papier.

Ce document présente PERIA, un nouveau type d'« assistant intelligent » conçu pour résoudre des énigmes visuelles qui nécessitent de comprendre l'espace, comme lire des plans de métro, trouver des objets cachés ou tracer des itinéraires.

Voici la décomposition de son fonctionnement, en utilisant des analogies simples :

Le Problème : Le « Génie aux yeux aveugles »

Les modèles d'IA actuels (comme ceux avec lesquels vous discutez peut-être) sont comme des génies ayant une très mauvaise vue. Ils peuvent lire un livre et comprendre des histoires complexes, mais si vous leur montrez une carte désordonnée ou une pièce encombrée, ils ont souvent tendance à deviner la réponse en se basant sur ce qu'ils pensent que cela devrait être, plutôt qu'en regardant réellement les détails.

Les auteurs ont découvert que le simple fait de donner à ces IA une boîte à outils (comme une loupe ou une règle) ne sert à rien. Si vous donnez une loupe à quelqu'un qui ne sait pas quand l'utiliser ou comment interpréter ce qu'il voit à travers, il se contentera de fixer la loupe et de deviner.

La Solution : PERIA (Le « Détective avec une boîte à outils »)

Les auteurs ont construit PERIA (Perception-Interaction-Reason Agent). Voyez PERIA non pas comme un cerveau unique, mais comme un détective qui suit une routine stricte en trois étapes pour résoudre une affaire :

1. Percevoir (Le « Balayage ») :
   Au lieu de simplement jeter un coup d'œil à l'image entière, PERIA utilise des outils spéciaux pour scanner l'image. Il agit comme un détecteur de métaux ou un scanner de texte, extrayant des faits spécifiques : « Il y a un panneau "Bibliothèque" ici », ou « Le "Café" se trouve à ces coordonnées exactes ». Il transforme l'image floue en une liste de faits concrets.

2. Interagir (L'« Enquête ») :
   C'est l'étape magique. Si le détective voit un indice mais n'est pas sûr, il ne devine pas. Il utilise des outils d'interaction.

   • Analogie : Imaginez que l'image est une affiche géante. PERIA peut utiliser une loupe virtuelle pour zoomer sur un minuscule nom de rue, ou un surligneur virtuel pour tracer une ligne reliant deux points sur une carte. Il manipule physiquement l'image pour mieux voir, tout comme un humain se rapprocherait de la feuille en plissant les yeux ou en bougeant la tête.

3. Raisonner (La « Conclusion ») :
   Une fois que le détective a rassemblé tous les faits agrandis et tracé les lignes, il utilise alors son cerveau pour assembler les pièces et donner la réponse finale.

L'Entraînement : Apprendre en faisant (et en échouant)

Le document explique que vous ne pouvez pas simplement enseigner ce métier au détective en lui montrant le corrigé. Vous devez lui apprendre comment utiliser les outils.

• La « Recette » : Les chercheurs ont créé une immense bibliothèque de « cas pratiques » où une IA super intelligente résolvait des problèmes en utilisant ces outils. Ils ont utilisé cela pour enseigner les bases à PERIA (Apprentissage Supervisé par Ajustement Fin).
• Le « Coach » (OR-GIGPO) : C'est la partie la plus technique, mais voyez cela comme un coach intelligent. Lorsque PERIA s'entraîne, il commet des erreurs. Un coach normal pourrait simplement dire : « Tu t'es trompé dans la réponse finale ». Mais ce coach spécial (OR-GIGPO) examine l'ensemble du processus. Il dit : « Tu as utilisé la loupe correctement à l'étape 2, mais tu as manqué un indice à l'étape 4 ». Il accorde des points pour les bonnes étapes et souligne les mauvaises, même si la réponse finale est fausse. Cela aide le détective à utiliser les outils plus efficacement au fil du temps.

Les Résultats : Petit mais Puissant

Le papier a testé ce nouveau détective contre d'autres modèles d'IA.

• Le Résultat : Une version relativement petite de PERIA (8 milliards de « cellules cérébrales ») a battu des modèles beaucoup plus grands et coûteux sur des tâches spatiales.
• La Conclusion : Cela prouve qu'une IA qui sait comment regarder et comment utiliser des outils est plus intelligente qu'une IA géante qui essaie simplement de deviner à partir de sa mémoire. Elle a presque atteint le niveau des plus grands « super-IA » disponibles aujourd'hui, mais avec un cerveau beaucoup plus petit.

En bref : Le document montre que pour rendre une IA performante dans les énigmes spatiales (comme les cartes et les formes 3D), il ne suffit pas de lui donner un cerveau plus gros ; il faut lui apprendre à saisir une loupe, à zoomer, à tracer des lignes et à vérifier son travail avant de donner une réponse. PERIA est le premier à maîtriser cette approche « regarder, toucher, puis réfléchir ».

Résumé technique

Résumé Technique : PERIA – Construire des agents visuels augmentés par des outils pour le raisonnement spatial

Énoncé du Problème

Les modèles de langage visuels (VLM) récents ont démontré une forte compréhension multimodale mais restent limités dans les tâches de raisonnement spatial qui exigent une acquisition active de preuves et une interaction visuelle multi-étapes. Ces tâches — telles que le raisonnement sur des plans de métro, le sondage visuel et la reconstruction visuelle — exigent plus qu'un simple raisonnement sur des représentations visuelles statiques. Elles nécessitent que les modèles ancrent des preuves fines, extraient des détails pertinents pour la tâche et raisonnent sur les relations spatiales à travers des étapes intermédiaires.

Les VLM existants augmentés par des outils montrent des promesses dans les tâches structurées (ex. : compréhension de graphiques) où les réponses découlent d'une preuve explicite. Cependant, ils échouent souvent dans les tâches spatiales complexes car :

1. Manque de perception globale : Ils manquent des détails visuels locaux ou ne parviennent pas à récupérer la structure spatiale globale.
2. Écart d'utilisation des outils (Tool-Use Gap) : Le simple fait de fournir l'accès à des outils visuels ne garantit pas une utilisation compétente. Les VLM open-source voient souvent leurs performances se dégrader lorsqu'ils reçoivent un accès brut aux outils sans entraînement dédié, échouant à sélectionner les bons outils, à les invoquer correctement ou à intégrer efficacement les retours.
3. Limitations de l'entraînement : Les méthodes existantes utilisent souvent des espaces d'outils limités ou des données spécifiques à un domaine, manquant d'une politique unifiée pour composer des outils de perception et d'interaction pour le raisonnement spatial général.

Méthodologie : PERIA

Les auteurs introduisent PERIA (PERception-Interaction-reason Agent), un agent visuel augmenté par des outils conçu pour combler l'écart entre posséder des outils et les utiliser efficacement. PERIA organise la résolution de problèmes visuels en un processus unifié en trois étapes : Percevoir (collecter des preuves spatiales globales), Interagir (effectuer une analyse locale fine et une vérification) et Raisonner (synthétiser les observations pour produire une réponse).

1. Bac à sable d'outils (Tool Sandbox)

PERIA opère dans un bac à sable d'outils modulaire contenant 18 outils divisés en deux familles complémentaires :

• Outils de Perception Visuelle : Conçus pour exposer des preuves textuelles, symboliques et spatiales. Les exemples incluent text_spotting, map_text_ocr, grounding_dino (pour la détection d'objets) et auto_segment. Ces outils transforment les images en observations structurées (coordonnées, texte, boîtes englobantes).
• Outils d'Interaction Visuelle : Conçus pour manipuler le contexte visuel, tracer des chemins et vérifier les relations spatiales. Les exemples incluent image_crop, draw_path, bounding_box et image_highlight. Ces outils permettent à l'agent de zoomer, d'annoter ou de tracer des itinéraires sur l'image.

2. Pipeline d'entraînement

L'entraînement de PERIA implique trois étapes distinctes :

• Étape A : Construction du bac à sable d'outils : L'environnement est construit avec des utilitaires basés sur des fonctions et des agents d'outils légers (ex. : PaddleOCR-VL, Grounding DINO, SAM3) pour supporter une invocation d'outils flexible.
• Étape B : Synthèse de trajectoires par Fine-Tuning Supervisé (SFT) :
  • Un modèle propriétaire (GPT-5) est utilisé pour générer des trajectoires d'utilisation d'outils de haute qualité et exécutables via une stratégie d'exploration-exploitation (explore-and-exploit).
  • Le processus implique l'expansion des préfixes de raisonnement-action jusqu'à ce qu'une réponse correcte soit trouvée ou qu'un budget de tours soit atteint.
  • Un modèle expert en poids ouverts (Qwen3-VL-235B) diversifie les styles de raisonnement intermédiaire (pensées/thoughts) tout en gardant les appels d'outils et les observations fixes, créant ainsi un ensemble de données diversifié pour le SFT.
• Étape C : Apprentissage par renforcement avec OR-GIGPO :
  • Pour optimiser l'utilisation d'outils multi-étapes, les auteurs proposent l'Observation-Relaxed Group-in-Group Policy Optimization (OR-GIGPO).
  • Motivation : La méthode standard Group-in-Group Policy Optimization (GIGPO) repose sur une correspondance d'état exacte. Dans l'utilisation d'outils visuels, des appels d'outils sémantiquement équivalents peuvent retourner des observations légèrement différentes (ex. : variations de texte OCR), rendant la correspondance exacte trop restrictive.
  • Mécanisme : OR-GIGPO remplace la correspondance d'état exacte par une correspondance de l'observation relaxée. Il groupe les exécutions par entrée de tâche et utilise un groupe d'ancrage relaxé pour le calcul de l'avantage au niveau de l'étape, faisant correspondre les observations qui sont sémantiquement similaires (en utilisant des métriques de similitude de chaînes) plutôt qu'identiques.
  • Attribution de crédit (Credit Assignment) : L'algorithme combine les avantages au niveau de l'épisode (qualité de la trajectoire) et les avantages au niveau de l'étape (qualité de la décision de l'outil local) pour attribuer le crédit à travers les trajectoires multi-étapes.
  • Conception de la récompense : Une fonction de récompense composite inclut des pénalités pour la répétition, des récompenses de format pour les balises d'utilisation d'outils valides, et des récompenses de correction (binaire pour la QA, continue basée sur NDTW pour le traçage d'itinéraire).

Contributions Clés

1. Cadre Unifié : Introduction de PERIA, un cadre général pour les agents visuels augmentés par des outils qui intègre des outils de perception et d'interaction pour le raisonnement, la planification et la vérification à travers diverses tâches spatiales.
2. Ensemble d'outils diversifié et synthèse de trajectoire : Développement d'un ensemble d'outils de perception-interaction spécialisé et de la synthèse d'un ensemble de données de trajectoires diversifiées et de haute qualité pour le fine-tuning supervisé, permettant une invocation d'outils fiable.
3. Algorithme OR-GIGPO : Proposition de l'Observation-Relaxed Group-in-Group Policy Optimization, une nouvelle méthode d'apprentissage par renforcement qui gère la variabilité des observations des outils visuels, permettant une attribution de crédit fine pour l'utilisation d'outils multi-étapes.
4. Validation Empirique : Démonstration que PERIA-8B surpasse significativement les bases de référence solides et approche les performances de modèles propriétaires beaucoup plus grands.

Résultats Expérimentaux

Les auteurs ont évalué PERIA-8B sur 13 benchmarks couvrant 8 jeux de données, englobant des tâches in-distribution (MapTrace, ReasonMap, Visual Probing) et out-of-distribution (Ball Tracking, Paper Folding, Cube 3-View, etc.).

• Gains de performance : PERIA-8B améliore le backbone Qwen3-8B de 10,0 % sur les benchmarks in-distribution et de 4,4 % sur les benchmarks out-of-distribution.
• Comparaison avec l'état de l'art (SOTA) : Il surpasse les précédentes bases de référence de taille similaire (ex. : VTool-R1, Mini-o3) de 7,0 % à 14,8 %.
• Mise à l'échelle (Scaling) : PERIA-8B atteint des performances comparables à des modèles nettement plus grands, tels que Qwen3-VL-235B-A22B-Thinking et GPT-5.
• Études d'ablation :
  • OR-GIGPO : Supprimer le RL (w/o RL) provoque une chute substantielle (moyenne de -7,2 % sur l'in-distribution), et OR-GIGPO surpasse les autres algorithmes de RL (GRPO, DAPO) par des marges significatives.
  • Accès aux outils : Supprimer les outils (w/o Tool) entraîne un déséquilibre des performances et un oubli catastrophique dans certains domaines spatiaux.
  • SFT : Entraîner directement avec le RL sans SFT (w/o SFT) donne de faibles performances, soulignant la nécessité de la synthèse de trajectoire supervisée.
  • Types d'outils : Les outils de perception et d'interaction sont tous deux nécessaires ; supprimer l'une des deux familles dégrade la performance.

Signification et Revendications

L'article affirme que l'utilisation d'outils visuels entraînée est une direction critique pour construire des agents de raisonnement spatial capables. L'idée clé est que l'écart entre "avoir des outils" et "utiliser des outils" est un problème d'apprentissage de politique. En combinant un ensemble d'outils diversifié avec une recette d'entraînement unifiée (SFT + OR-GIGPO), PERIA permet aux agents de :

• Acquérir des preuves spatiales globales.
• Effectuer une vérification locale fine.
• Raisonner sur les observations accumulées pour résoudre des tâches spatiales complexes.

Les auteurs soulignent que leur approche permet à de petits modèles (8B) de rivaliser avec des modèles propriétaires beaucoup plus grands, suggérant que l'entraînement efficace à l'utilisation d'outils peut apporter des gains au-delà de la simple mise à l'échelle du backbone. Ils reconnaissent des limitations, telles que l'accent mis sur les modèles 8B en raison des contraintes de calcul et la limite actuelle de 10 tours d'interaction, et suggèrent comme travail futur l'extension vers le raisonnement 3D, les tâches incarnées (embodied) et des ensembles de données de trajectoires plus larges.