Résumé Technique : V-REX

Énoncé du Problème

Les modèles de vision-langage (VLM) actuels excellent dans la réponse passive à des questions bien définies et directes avec des cibles spécifiées, mais ils peinent face à des tâches complexes et ouvertes nécessitant une exploration active et multi-étapes. Les benchmarks existants se concentrent souvent sur le raisonnement visuel dans des environnements contraints (par exemple, problèmes mathématiques, jeux de réflexion) où l'invite d'entrée est suffisante pour que le modèle formule immédiatement un plan sans exploration supplémentaire. Par conséquent, ces benchmarks ne parviennent pas à évaluer la capacité d'un modèle à :

1. Proposer des sous-questions utiles (explorer l'espace des questions) pour guider le raisonnement.
2. Adapter les plans de manière dynamique en fonction des indices collectés dans un environnement ouvert.
3. Comprendre les étapes intermédiaires, car la plupart des évaluations reposent uniquement sur l'exactitude de la réponse finale, traitant le processus de raisonnement comme une « boîte noire ».

Cette lacune limite le déploiement des VLM dans des scénarios du monde réel où les objectifs ne sont pas entièrement spécifiés dès le départ et nécessitent une planification progressive et une collecte active d'informations (par exemple, travail d'enquête, géolocalisation ou analyse de scène complexe).

Méthodologie : V-REX et Chain-of-Questions (CoQ)

Pour répondre à ces limitations, les auteurs introduisent V-REX (Visual Reasoning with multi-step EXploration), un benchmark et une suite d'évaluation conçus pour évaluer le raisonnement visuel exploratoire. L'innovation centrale est le cadre Chain-of-Questions (CoQ), qui décompose le processus de raisonnement en une séquence de sous-questions et de réponses interconnectées.

Le Cadre CoQ

Au lieu d'évaluer la génération ouverte, CoQ reformule l'évaluation en un espace fini et traitable en présentant aux modèles des options à choix multiples à chaque étape. Cela permet un désenchevêtrement fin de deux capacités distinctes :

1. La Planification (Exploration de l'espace des questions) :

   • Tâche : Étant donné une question originale et un historique de sous-questions/réponses précédentes, le modèle doit sélectionner la sous-question suivante la plus informative parmi un ensemble de candidats (incluant les questions de vérité terrain et les distracteurs).
   • Objectif : Évaluer la capacité du modèle à tracer stratégiquement un cours d'exploration, en identifiant quelles informations sont nécessaires pour résoudre la tâche.
   • Mécanisme : Les distracteurs sont générés via un pipeline à deux étapes (au niveau de l'étape et au niveau de la chaîne) utilisant des LLM pour créer des questions contextuellement pertinentes mais logiquement non utiles.

2. Le Suivi (Exploration de l'espace des réponses) :

   • Tâche : Étant donné une chaîne de sous-questions de vérité terrain pré-construite, le modèle doit répondre à chaque question séquentiellement en se basant sur les indices visuels et le contexte accumulé.
   • Objectif : Évaluer la capacité du modèle à exécuter fidèlement un chemin de raisonnement et à extraire des informations spécifiques de l'image.
   • Mécanisme : Chaque étape est convertie en une question à choix multiples avec des réponses distractrices.

Construction du Benchmark

• Jeu de données : V-REX comprend 702 échantillons et 2 504 questions, avec une moyenne de 3,57 étapes de raisonnement par échantillon.
• Taxonomie : Le jeu de données couvre 4 catégories de raisonnement et 15 scénarios du monde réel :
  • Déduction : Organigramme, Motif, Propriété, Relation.
  • Devinette : Responsabilité, Intention, Localisation, Temps, Sujet.
  • Navigation : Carte, GUI, Trafic, Tendance.
  • Récupération : Comptage, Puzzle de mots.
• Curation des données : Les chaînes QA de vérité terrain ont été construites par des annotateurs de niveau doctorat avec vérification croisée. Les distracteurs ont été générés via GPT-5 et filtrés pour garantir qu'ils soient plausibles mais trompeurs.

Contributions Clés

1. Premier Benchmark pour le Raisonnement Exploratoire : V-REX est le premier benchmark à évaluer explicitement la capacité de raisonnement visuel exploratoire multi-étapes des VLM en utilisant la formulation CoQ.
2. Évaluation Désenchevêtrée : Il sépare la Planification (sélection de la direction de l'enquête) du Suivi (réponse à l'enquête), offrant un diagnostic plus interprétable des faiblesses des modèles qu'une simple exactitude de bout en bout.
3. Protocole d'Évaluation Contrôlé : En convertissant l'exploration ouverte en un cadre fini à choix multiples, V-REX permet une analyse quantitative fiable des étapes intermédiaires, ce qui est autrement irréalisable en raison du vaste espace d'exploration.

Résultats Expérimentaux

Les auteurs ont évalué 32 VLM, allant de petits modèles open-source (<7B) à de grands modèles propriétaires (ex: GPT-5, o3).

Principales Conclusions

1. Importance de l'Exploration : Lorsqu'ils sont fournis avec des indices CoQ (soit les questions correctes dans la tâche de Planification, soit les réponses correctes dans la tâche de Suivi), les VLM atteignent systématiquement une précision plus élevée sur les questions finales, validant la nécessité d'une exploration structurée.
2. Lois d'Échelle et Variance : Les lois d'échelle s'appliquent à V-REX ; la performance augmente généralement avec la taille du modèle. Cependant, la performance de Planification présente une variance nettement plus élevée entre les modèles de même taille par rapport à la performance de Suivi. Cela suggère que si les modèles convergent vers la capacité de répondre aux questions, leur capacité à planifier le chemin d'exploration reste un facteur de distinction.
3. Corrélation avec la Performance Globale : Les capacités de Planification et de Suivi sont toutes deux positivement corrélées avec la performance globale de bout en bout (corrélation de Pearson de 0,858 et 0,948, respectivement).
4. Déséquilibre de Taille de Modèle : Les petits modèles (<7B) sont nettement meilleurs en Suivi qu'en Planification. À mesure que la taille du modèle augmente, l'écart se réduit, et les modèles plus grands présentent une performance plus équilibrée entre les deux dimensions.
5. Récupération après Échec : Les modèles sont plus robustes face à des échecs de Planification (sélection d'une mauvaise sous-question) qu'à des échecs de Suivi (réponse incorrecte à une sous-question). Les erreurs dans l'espace des réponses sont plus susceptibles de propager une conclusion finale incorrecte que les erreurs dans l'espace de sélection des questions.

Observations Spécifiques

• Tâches de Récupération : Le processus CoQ apporte moins de bénéfices pour les tâches de Récupération (ex: comptage, puzzles de mots), qui reposent davantage sur la correspondance visuelle directe que sur le raisonnement hiérarchique. Dans certains cas, CoQ a même entravé la performance en introduisant un bruit cognitif inutile.
• Différences de Catégories : Les modèles plus grands ont montré des capacités plus généralisées à travers les catégories, tandis que les petits modèles ont présenté des forces spécialisées (ex: excellant en Déduction mais échouant en Navigation).

Signification et Revendications

L'article affirme que V-REX établit une base pour l'avancement du raisonnement visuel délibéré et par étapes. En révélant que les VLM actuels reposent souvent sur une recherche par force brute et manquent de planification adaptative, les auteurs soulignent que la planification efficace est un goulot d'étranglement critique pour le développement futur des VLM.

Les auteurs insistent sur le fait que V-REX fournit un « diagnostic fin » des capacités de raisonnement, allant au-delà de la « boîte noire » de l'exactitude de la réponse finale. Le benchmark n'est pas conçu comme une méthode de prompting pour améliorer la performance, mais comme un outil d'évaluation rigoureux pour identifier les faiblesses spécifiques dans la manière dont les modèles explorent les espaces visuels. Les résultats suggèrent que si le passage à l'échelle améliore le raisonnement général, la capacité de planifier stratégiquement une exploration multi-étapes reste une capacité distincte et exigeante qui nécessite une amélioration ciblée.