VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining

Ce papier présente VTC-Bench, un benchmark complet évaluant la capacité des modèles multimodaux à orchestrer des chaînes d'outils visuels complexes via 32 opérations OpenCV et 680 problèmes, révélant ainsi les limites actuelles des modèles leaders dans la composition d'outils et la planification de tâches à long terme.

L'essentiel

🕵️‍♂️ Le Grand Défi des "Super-Détectives" Visuels

Imaginez que vous avez un détective très intelligent, capable de voir des images et de répondre à des questions dessus. C'est ce qu'on appelle un Modèle Multimodal (ou MLLM). Jusqu'à récemment, ce détective était comme un expert en théorie : il pouvait vous dire "C'est un chat" ou "Il pleut".

Mais dans la vraie vie, un vrai détective ne se contente pas de regarder. Il doit agir. Il doit prendre une loupe, tourner l'image, nettoyer la poussière, mesurer une distance, ou compter des objets un par un. C'est ce qu'on appelle un Agent Visuel.

Le problème ? Ces détectives numériques sont souvent très forts pour parler de l'image, mais ils sont très maladroits pour manipuler les outils nécessaires pour résoudre des problèmes complexes.

🛠️ VTC-Bench : Le Terrain de Jeu Ultime

Les chercheurs de cet article ont créé VTC-Bench (VisualToolChain-Bench). Pour faire simple, c'est un grand examen de conduite pour ces détectives numériques, mais avec une règle spéciale : ils ne peuvent pas deviner la réponse, ils doivent utiliser une boîte à outils complète pour la trouver.

Voici comment cela fonctionne, avec des analogies :

1. La Boîte à Outils (Les 32 Instruments)

Imaginez que vous avez une boîte à outils remplie de 32 instruments différents (comme dans un atelier de bricolage) :

• Des ciseaux pour couper (Crop).
• Un tournevis pour tourner (Rotate).
• Un chiffon pour nettoyer la poussière (Denoise).
• Une loupe pour zoomer (Zoom In).
• Un mètre ruban pour mesurer.

Dans les anciens examens, on demandait au détective de faire des choses simples, comme "Regarde cette photo". Dans VTC-Bench, on lui dit : "Voici une photo floue et inversée. Trouve le mot écrit dessus, mais tu devras d'abord la redresser, nettoyer le flou, et augmenter le contraste avant de pouvoir lire."

2. La Chaîne de Commandes (Le "Tool Chaining")

C'est le cœur du défi. Le détective ne peut pas juste utiliser un outil. Il doit enchaîner plusieurs actions comme un chef cuisinier qui suit une recette complexe.

• Exemple : Pour compter des grains de riz collés les uns aux autres, il ne suffit pas de regarder. Il faut :
  1. Convertir l'image en noir et blanc.
  2. Appliquer un filtre pour séparer les grains.
  3. Dessiner des contours autour de chaque grain.
  4. Compter les contours.

Si le détective oublie une étape ou utilise le mauvais outil (comme essayer de couper avec un mètre), il échoue.

3. Les 9 Niveaux de Difficulté

L'examen est divisé en trois grandes catégories, comme un jeu vidéo avec des niveaux de difficulté croissante :

• Niveau 1 : La Réparation (Perception). L'image est abîmée (floue, sombre, inversée). Le détective doit réparer l'image pour qu'elle soit lisible.
• Niveau 2 : La Mesure (Quantification). Il faut compter, mesurer des tailles ou identifier des couleurs précises.
• Niveau 3 : Le Raisonnement (Composition). C'est le niveau "Boss". Il faut combiner toutes les étapes précédentes pour résoudre un problème logique complexe (ex: "Quelle est la distance entre deux objets après avoir nettoyé l'image ?").

📉 Ce que l'examen a révélé (Les Résultats)

Les chercheurs ont testé 19 détectives (les modèles d'intelligence artificielle les plus avancés du monde, comme ceux de Google, OpenAI, etc.) sur cet examen. Voici ce qu'ils ont découvert :

1. Ils sont encore des débutants : Même les meilleurs détectives (comme Gemini 3.0 Pro) n'ont réussi que 51 % des questions. C'est comme si un élève brillant ratait la moitié de son examen de mathématiques.
2. Ils ont peur de la nouveauté : Les modèles adorent utiliser les outils qu'ils connaissent déjà (comme "Zoomer" ou "Couper"), mais ils paniquent dès qu'ils doivent utiliser un outil moins courant ou combiner trois outils ensemble.
3. Ils trichent (ou plutôt, ils devinent) : Au lieu de suivre la recette étape par étape, beaucoup de modèles essaient de deviner la réponse en sautant des étapes. Ils disent "Je pense que c'est 10" sans avoir vraiment mesuré.
4. La différence entre "Pro" et "Amateur" : Les modèles payants (propriétaires) s'en sortent beaucoup mieux que les modèles gratuits (open-source), mais même les meilleurs ont du mal à gérer la complexité.

💡 Pourquoi est-ce important ?

Cet article nous dit que nous sommes à un tournant. L'intelligence artificielle est très bonne pour comprendre le monde, mais elle est encore très maladroite pour agir dans le monde réel en utilisant des outils techniques.

VTC-Bench est comme un miroir qui montre aux chercheurs exactement où leurs créations échouent. C'est une boussole pour guider le développement des futurs "Super-Détectives" qui, un jour, pourront non seulement voir, mais aussi réparer, mesurer et construire des solutions complexes pour nous, sans faire d'erreur.

En résumé : L'IA sait regarder, mais elle doit encore apprendre à travailler avec ses mains.

Résumé technique

1. Problématique

Les modèles de langage multimodaux (MLLM) ont considérablement progressé dans la réponse aux questions visuelles (VQA), évoluant vers des agents capables d'utiliser des outils externes. Cependant, les benchmarks existants souffrent de limitations majeures :

• Ensembles d'outils limités : Ils reposent sur un nombre restreint d'opérations visuelles.
• Trajectoires simples : Ils évaluent rarement la capacité des modèles à enchaîner plusieurs outils de manière complexe (composition).
• Écart avec la réalité : Ils ne capturent pas la diversité des interactions nécessaires pour résoudre des tâches du monde réel, masquant ainsi les véritables limites opérationnelles des modèles actuels.

Le défi central est donc d'évaluer la capacité des MLLMs à orchestrer dynamiquement une chaîne d'outils visuels diversifiée pour exécuter des plans à long horizon et résoudre des problèmes complexes.

2. Méthodologie : VTC-Bench

Pour combler ce fossé, les auteurs introduisent VTC-Bench (VisualToolChain-Bench), un benchmark complet conçu pour évaluer la compétence des MLLMs dans l'utilisation d'outils visuels.

A. Architecture et Ensemble d'Outils

• Source des outils : Le benchmark s'appuie sur la bibliothèque OpenCV, offrant un ensemble riche de 32 opérations visuelles distinctes.
• Catégorisation : Ces outils sont organisés en quatre modules fonctionnels :
  1. Géométrie : Transformations spatiales (rotation, redimensionnement, miroir, etc.).
  2. Amélioration : Optimisation du signal (conversion d'espace colorimétrique, égalisation d'histogramme, binarisation, etc.).
  3. Extraction de caractéristiques : Dérivation de primitives structurelles et sémantiques (détection de contours, segmentation par ligne de partage des eaux, etc.).
  4. Dessin : Vérification du raisonnement et quantification des attributs (visualisation de contours, mesure de surface, etc.).
• Protocoles d'exécution : Les modèles peuvent interagir via deux paradigmes : l'écriture de code Python (interpréteur de code) ou l'utilisation d'une interface graphique (appel d'API atomique).

B. Design des Tâches et Hiérarchie Cognitive

Le benchmark comprend 680 problèmes soigneusement conçus, structurés selon une hiérarchie cognitive à neuf niveaux, regroupés en trois tiers progressifs :

1. Tier 1 : Amélioration de la perception visuelle (OCR robuste, restauration perceptive, focalisation de l'attention). Nécessite de corriger des distorsions géométriques ou d'améliorer la visibilité dans des conditions dégradées.
2. Tier 2 : Estimation visuelle quantitative (Mesure, Couleur, Comptage). Évalue la capacité à quantifier précisément des attributs physiques.
3. Tier 3 : Raisonnement visuel compositionnel (Graphiques, Mathématiques, Raisonnement spatial). Exige une déduction logique complexe via l'orchestration multi-étapes d'outils.

Chaque problème est accompagné d'une trajectoire d'exécution de référence (Ground Truth) générée par des experts, permettant une évaluation précise non seulement du résultat final, mais aussi de la qualité du plan intermédiaire.

C. Métriques d'Évaluation

• Taux de réussite moyen (APR) : Proportion de questions correctement répondues.
• Taux d'appel d'outils (TCR) : Proportion de tâches où au moins un outil est invoqué.
• Erreur Absolue Moyenne (MAE) : Écart entre la longueur de la chaîne d'outils prédite et la vérité terrain.
• Efficacité d'utilisation des outils (Efftool) : Rapport entre les étapes efficaces et le nombre total d'étapes prédites, mesurant la concision et la précision.

3. Résultats Expérimentaux

Les auteurs ont évalué 19 MLLMs leaders (modèles propriétaires et open-source) sur VTC-Bench.

• Performance Globale Faible : Les résultats sont globalement bas, même pour les modèles de pointe. Le meilleur modèle, Gemini-3.0-Pro, n'atteint que 51,18 % de réussite avec l'utilisation d'outils.
• Écart Propriétaire vs Open-Source : Les modèles propriétaires (GPT-4o, GPT-5.2, Gemini) montrent des améliorations significatives avec les outils, tandis que les modèles open-source (Qwen3-VL, DeepEyes) obtiennent des gains minimes, voire une dégradation des performances.
• Limites de la Composition Multi-Outils : Les modèles peinent à formuler des plans d'exécution efficaces. Ils tendent à se reposer sur un sous-ensemble restreint d'outils familiers (comme "Zoom", "Crop", "Rotate") plutôt que de sélectionner l'outil optimal pour une tâche spécifique.
• Inefficacité des Trajectoires : Les modèles génèrent souvent des chaînes d'outils trop courtes (sous-estimation de la complexité) ou trop longues avec beaucoup de redondance (approche par essais et erreurs).
• Dépendance aux Résultats Intermédiaires : Une analyse qualitative révèle que les modèles adoptent souvent les résultats intermédiaires des outils sans les vérifier visuellement, menant à des erreurs en cascade.

4. Contributions Clés

1. Benchmark VTC-Bench : Le premier benchmark exhaustif évaluant spécifiquement la composition d'outils visuels avec un ensemble de 32 outils OpenCV et une hiérarchie cognitive à 9 niveaux.
2. Évaluation Rigoureuse : Introduction d'une méthodologie d'évaluation basée sur des trajectoires de vérité terrain, permettant de diagnostiquer les échecs de planification et d'exécution, et non seulement la réponse finale.
3. Analyse des Limites : Identification de lacunes fondamentales dans les modèles actuels, notamment l'incapacité à généraliser à des outils non vus et la difficulté à orchestrer des séquences d'outils complexes.
4. Comparaison de Paradigmes : Mise en évidence que l'invocation via interface est souvent comparable, voire supérieure, à l'exécution de code pour certains modèles, remettant en question l'hypothèse que le code est toujours la méthode optimale.

5. Signification et Impact

VTC-Bench établit une référence rigoureuse pour guider le développement de futurs agents visuels. Les résultats démontrent que la simple augmentation de la taille des modèles (scaling) ne résout pas les problèmes d'orchestration d'outils.

Le papier souligne un déconnect critique entre la perception visuelle intrinsèque (comprendre l'image) et le raisonnement agentique actif (planifier et exécuter des actions). Pour progresser, les futures architectures de MLLM devront intégrer des mécanismes de vérification critique des résultats d'outils et améliorer leur capacité à planifier des séquences logiques complexes, se rapprochant ainsi des pipelines de vision par ordinateur réels.