Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology

Cet article présente TreeBench, un benchmark diagnostique évaluant le raisonnement visuel ancré par des preuves traçables, et propose TreeVGR, une méthode d'apprentissage par renforcement qui améliore significativement les performances des modèles en localisation et en raisonnement explicite.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, comme si nous en parlions autour d'un café.

Imaginez que vous demandez à un ami très intelligent (un modèle d'intelligence artificielle) de vous décrire une photo de rue très encombrée. Si vous lui demandez : « Quelle est la couleur de la chaussure du troisième enfant qui joue avec un ballon ? », un humain va regarder la photo, trouver le groupe d'enfants, compter jusqu'à trois, puis regarder la chaussure.

Les modèles d'IA actuels, même les plus avancés, ont souvent tendance à « deviner » la réponse en se basant sur ce qu'ils ont lu dans des livres, sans vraiment regarder la photo. C'est comme si votre ami vous répondait « probablement rouge » parce que les chaussures sont souvent rouges, sans même avoir regardé l'image.

Ce papier, intitulé TreeBench et TreeVGR, propose deux choses pour régler ce problème : un test de vérité et une nouvelle méthode d'entraînement.

1. Le Test de Vérité : TreeBench (Le "Jardin Secret")

Les chercheurs ont créé un nouveau test appelé TreeBench. Pour le comprendre, imaginez que vous voulez tester la vue d'un oiseau.

• Le problème actuel : La plupart des tests précédents sont comme des photos de paysages vides. L'IA peut facilement deviner la réponse.
• La solution TreeBench : C'est comme un immense jardin rempli de milliers de petits objets cachés dans des buissons denses. Les questions sont très précises : « Quelle est la matière de la bouteille sur le vélo ? » ou « Le chien est-il caché derrière le chat ? ».
• La règle d'or (La Preuve Traçable) : C'est la partie la plus géniale. Dans ce test, l'IA ne peut pas juste donner la réponse. Elle doit montrer du doigt l'endroit exact sur la photo (en dessinant un cadre autour de l'objet) avant de répondre.
  • Analogie : C'est comme un examen où l'élève ne peut pas juste écrire la réponse finale. Il doit montrer ses calculs et pointer exactement sur la ligne du problème qu'il a utilisée. Si l'élève pointe le mauvais endroit, même si la réponse est juste, c'est considéré comme une erreur de raisonnement.

Résultat du test : Même les "génies" de l'IA actuels (comme OpenAI-o3 ou Gemini) ont eu du mal, obtenant moins de 60 % de réussite. Ils ont souvent regardé le mauvais endroit ou ont deviné sans preuve.

2. La Méthode d'Entraînement : TreeVGR (L'Apprenti Détective)

Pour améliorer les IA, les chercheurs ont créé une nouvelle méthode d'entraînement appelée TreeVGR.

• L'ancienne méthode : On entraînait les IA en leur disant : « Si tu trouves la bonne réponse, tu as un bon point. » Résultat : elles apprenaient à tricher en devinant, sans vraiment apprendre à regarder.
• La nouvelle méthode (TreeVGR) : C'est comme entraîner un détective avec un système de récompense double.
  1. La récompense de la réponse : Est-ce que la réponse est juste ?
  2. La récompense de la preuve : Est-ce que le cadre dessiné (la "boîte") correspond exactement à l'objet ?

Les chercheurs utilisent une technique appelée Apprentissage par Renforcement (comme quand on dresse un chien). Si l'IA pointe le bon endroit ET donne la bonne réponse, elle reçoit une grosse friandise (un score élevé). Si elle pointe n'importe où, même si elle devine la bonne réponse, elle ne reçoit rien.

L'astuce de la "Double IoU" : Imaginez que vous devez trouver des trésors cachés.

• Si vous cherchez trop de zones au hasard pour être sûr de trouver un trésor, vous perdez du temps (manque de précision).
• Si vous cherchez trop peu, vous en ratez (manque de rappel).
  TreeVGR apprend à l'IA à trouver l'équilibre parfait : pointer exactement le bon objet, ni plus, ni moins.

Pourquoi c'est important ?

Avant, les IA étaient comme des étudiants qui apprenaient par cœur les réponses sans comprendre le cours. Avec TreeVGR, on leur apprend à penser avec les images.

• Avant : « Je pense que c'est un chat parce que j'ai lu que les chats sont mignons. »
• Après TreeVGR : « Je vois une forme ronde, des oreilles pointues et une queue ici [pointe l'image], donc c'est un chat. »

En résumé

Ce papier nous dit que pour que les intelligences artificielles deviennent vraiment intelligentes, elles ne doivent pas seulement "parler" de ce qu'elles voient, mais elles doivent apprendre à montrer ce qu'elles voient.

• TreeBench est le test difficile qui révèle qui triche et qui voit vraiment.
• TreeVGR est la méthode d'entraînement qui force l'IA à devenir un véritable détective visuel, capable de justifier chaque étape de sa pensée.

C'est un grand pas vers des IA qui ne se contentent pas de deviner, mais qui comprennent réellement le monde qui les entoure, image par image.

Résumé technique

Voici un résumé technique détaillé du papier de recherche intitulé "Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Method", publié à la conférence ICLR 2026.

1. Problématique et Contexte

Les récents modèles de langage (LLM) et modèles multimodaux (LMM) ont démontré des capacités de raisonnement impressionnantes, notamment avec l'émergence de modèles comme OpenAI-o3 capables de "penser avec des images" (thinking with images) en référencant dynamiquement des régions visuelles. Cependant, la communauté scientifique fait face à un vide critique :

• Absence de benchmark holistique : Les benchmarks existants (POPE, MMBench, V* Bench, etc.) négligent souvent la localisation fine-grained, la traçabilité des chaînes de raisonnement et les raisonnements de second ordre (interactions complexes, perspectives).
• Manque de preuves traçables : La plupart des évaluations se concentrent uniquement sur la réponse finale, sans vérifier si le modèle a correctement identifié et localisé les objets pertinents avant de répondre.
• Limites des modèles actuels : Même les modèles les plus avancés (OpenAI-o3, Gemini-2.5-Pro) peinent à résoudre des tâches nécessitant une perception visuelle subtile dans des scènes denses et un raisonnement spatial complexe.

2. Méthodologie

L'article propose une double contribution : un nouveau benchmark d'évaluation (TreeBench) et une nouvelle méthode d'entraînement (TreeVGR).

A. TreeBench (Traceable Evidence Evaluation Benchmark)

TreeBench est conçu pour évaluer rigoureusement la capacité des modèles à "penser avec des images" selon trois principes fondamentaux :

1. Perception visuelle focalisée : Identification de cibles subtiles dans des scènes complexes et encombrées.
2. Preuves traçables : Évaluation via des boîtes englobantes (bounding boxes) pour rendre le processus de raisonnement explicite et vérifiable.
3. Raisonnement de second ordre : Au-delà de la simple localisation, évaluation des interactions physiques (contact, occlusion), des relations spatiales hiérarchiques (contenance) et des transformations de perspective.

Construction du dataset :

• Source : Échantillonnage de 1 000 images haute résolution issues de SA-1B, privilégiant les scènes denses.
• Annotation : Collaboration de 8 experts LMM pour annoter manuellement les questions, options et réponses.
• Pipeline de contrôle qualité : Trois étapes incluant la génération assistée par IA (OpenAI-o3, Gemini-2.5-Pro), la sélection humaine, le filtrage par difficulté (élimination des questions trop faciles pour les SOTA) et une vérification croisée.
• Statistiques : 405 paires question-réponse de haute difficulté, couvrant 10 sous-tâches (Attributs, Matériaux, État physique, Récupération d'objets, OCR, Transformation de perspective, Ordre, Contact/Occlusion, Contenance spatiale, Comparaison). Les objets cibles occupent en moyenne seulement 3,05 % de l'image.

B. TreeVGR (Traceable Evidence Enhanced Visual Grounded Reasoning)

TreeVGR est un paradigme d'entraînement en deux étapes visant à superviser conjointement la localisation et le raisonnement via l'apprentissage par renforcement (RL).

1. Initialisation à froid (Cold-Start) :

   • Fine-tuning supervisé (SFT) sur Qwen2.5-VL-7B.
   • Utilisation d'un dataset de 35k échantillons incluant des trajectoires de raisonnement avec des boîtes englobantes et des mécanismes d'auto-correction (détection d'erreurs de localisation).
   • Objectif : Établir une capacité de base à générer des coordonnées avant le RL.

2. Apprentissage par Renforcement avec Preuves Traçables :

   • Utilisation de l'algorithme GRPO (Group Relative Policy Optimization).
   • Design de la récompense : Une récompense composite $R = R_{acc} + R_{format} + R_{IoU}$.
     • $R_{acc}$ : Exactitude de la réponse finale.
     • $R_{format}$ : Respect du format de sortie (balises <thought>, <answer>).
     • $R_{IoU}$ (Récompense clé) : Une récompense dual IoU (Intersection over Union) qui optimise simultanément le recall (couvrir toutes les vérités terrain) et la précision (éviter les boîtes vides ou non pertinentes). Cela force le modèle à ancrer son raisonnement dans des preuves visuelles précises.

3. Résultats Principaux

Les expériences ont été menées sur TreeBench et d'autres benchmarks (V* Bench, MME-RealWorld, HR-Bench).

• Performance sur TreeBench :

  • Les modèles SOTA actuels échouent massivement : OpenAI-o3 obtient 54,87 % et Gemini-2.5-Pro 54,6 %. Aucun modèle ne dépasse 60 %.
  • TreeVGR-7B (basé sur Qwen2.5-VL-7B) atteint 50,4 % en précision globale et 44,0 % en mIoU (mean Intersection over Union), surpassant significativement son modèle de base (+13,4 % sur TreeBench).
  • TreeVGR-7B atteint des performances comparables à des modèles beaucoup plus grands comme InternVL3-78B, démontrant l'efficacité de l'approche.

• Généralisation :

  • Améliorations notables sur d'autres benchmarks : +16,8 % sur V* Bench, +12,6 % sur MME-RealWorld-Lite.
  • Corrélation positive démontrée entre la précision de la localisation (mIoU) et la performance globale du raisonnement.

• Analyse des échecs :

  • Les modèles échouent souvent sur les tâches de "Transformation de perspective" et de "Contact/Occlusion", soulignant le manque de conscience 3D égo-centrique chez les modèles actuels.

4. Contributions Clés

1. TreeBench : Le premier benchmark conçu spécifiquement pour évaluer le "penser avec des images" avec des preuves traçables (boîtes englobantes) et des raisonnements de second ordre. Il met en lumière les limites actuelles des modèles multimodaux.
2. TreeVGR : Une méthode d'entraînement novatrice qui intègre une supervision explicite de la localisation via une récompense RL dual-IoU. Cela permet d'obtenir des chaînes de raisonnement explicables et traçables, plutôt que de simples réponses "boîte noire".
3. Preuve de concept sur l'efficacité : Démonstration qu'un modèle de 7B paramètres, correctement entraîné avec des preuves traçables, peut rivaliser avec des modèles massifs (78B+) sur des tâches de raisonnement visuel complexe.

5. Signification et Impact

Ce travail marque un tournant dans l'évaluation et l'amélioration du raisonnement multimodal :

• Changement de paradigme d'évaluation : Il déplace le focus de la simple exactitude de la réponse vers la qualité du processus de raisonnement et la fiabilité des preuves visuelles sous-jacentes.
• Transparence et Débogage : En rendant les étapes intermédiaires (localisation) vérifiables, TreeVGR permet de diagnostiquer précisément si une erreur provient d'une mauvaise compréhension de la question ou d'un échec de localisation.
• Futur de l'IA Visuelle : L'article suggère que pour atteindre un véritable raisonnement visuel, les modèles doivent être entraînés à ancrer leurs inférences dans des preuves spatiales explicites, ouvrant la voie à des systèmes plus robustes, interprétables et fiables pour des applications réelles complexes.

Le code et les données sont disponibles publiquement pour favoriser la reproductibilité et les recherches futures.