VisDoT : Enhancing Visual Reasoning through Human-Like Interpretation Grounding and Decomposition of Thought

Le papier présente VisDoT, un cadre qui améliore le raisonnement visuel en s'inspirant de la perception humaine pour séparer la perception visuelle de la logique, permettant ainsi d'obtenir des performances de pointe sur la compréhension de graphiques et des benchmarks de questions-réponses visuelles.

L'essentiel

Imaginez que vous demandez à un robot très intelligent de lire un graphique complexe (comme un diagramme en barres ou une courbe) et de répondre à une question précise. Souvent, ce robot, aussi puissant soit-il, fait une erreur fondamentale : il regarde l'image comme un humain qui regarderait un tableau abstrait sans comprendre les règles du jeu. Il devine, il hallucine, ou il se trompe sur les chiffres.

C'est le problème que résout VisDoT, une nouvelle méthode proposée par des chercheurs de l'Université Dongguk. Voici comment cela fonctionne, expliqué simplement avec des analogies.

1. Le Problème : Le Robot qui "Devine" au lieu de "Voir"

Les grands modèles d'intelligence visuelle actuels (les LVLMs) sont comme des étudiants brillants mais impatients. On leur montre un graphique et on leur demande : "Quelle est la différence entre le revenu de l'Amérique et celui de l'Europe ?".
Au lieu de regarder attentivement les barres, de mesurer leur hauteur et de faire le calcul, le robot tente de deviner la réponse directement en se basant sur des mots-clés. C'est comme si un détective essayait de résoudre un meurtre en lisant seulement le titre du journal, sans jamais examiner la scène de crime.

2. La Solution VisDoT : Le Détective Méthodique

VisDoT change la façon dont le robot réfléchit. Au lieu de sauter directement à la conclusion, il apprend à imiter la façon dont un humain perçoit visuellement les données.

L'équipe a créé un système en deux étapes, qu'ils appellent DoT (Decomposition-of-Thought, ou "Décomposition de la Pensée").

Étape 1 : Les 4 Sens du Détective (L'Analogie du Peintre)

Pour bien comprendre un graphique, un humain utilise des sens visuels précis. Les chercheurs ont enseigné au robot quatre "super-pouvoirs" visuels, basés sur la psychologie de la perception :

1. La Position (Position) : C'est comme regarder où se trouve un objet sur une étagère. "Est-ce que cette barre est plus à gauche ou plus à droite ?" C'est le moyen le plus précis de comparer des choses.
2. La Longueur (Length) : C'est comme mesurer la taille d'un objet avec une règle imaginaire. "Cette barre est-elle plus longue que celle-ci ?"
3. Le Motif (Pattern) : C'est comme reconnaître un ami dans une foule grâce à son manteau rouge. "Quelle barre est colorée en rouge ?"
4. L'Extraction (Extract) : C'est comme lire un étiquette. "Quel chiffre est écrit ici ?"

Le robot apprend d'abord à utiliser ces quatre sens pour "voir" le graphique correctement, avant même de penser à la réponse.

Étape 2 : La Recette de Cuisine (La Décomposition)

C'est ici que la magie opère. Au lieu de demander au robot de donner la réponse finale d'un coup, VisDoT lui force à suivre une recette :

• Le Chef (Le Modèle) : "Attends, ne cuisine pas tout de suite !"
• L'Assistant (Le Robot) : "Mais je veux faire le gâteau !"
• Le Chef : "Non, d'abord, regarde les ingrédients (Position/Longueur). Ensuite, lis les quantités sur les paquets (Extraction). Enfin, mélange le tout pour faire le calcul (Logique)."

C'est ce qu'on appelle la Décomposition de la Pensée. Le robot doit d'abord répondre à de petites questions simples sur ce qu'il voit ("Quelle est la hauteur de la barre rouge ?"), et seulement ensuite utiliser ces réponses pour résoudre le problème complexe ("Quelle est la différence ?").

3. Pourquoi c'est génial ?

• Moins d'erreurs, plus de logique : En forçant le robot à "voir" avant de "penser", on élimine les hallucinations. C'est comme si on lui disait : "Ne devine pas, mesure d'abord".
• Un robot plus petit, plus fort : Avec cette méthode, un modèle de taille moyenne (comme un robot de bureau) peut battre des géants très coûteux (comme GPT-4o) sur les tâches de graphiques. C'est comme si un petit cuisinier, en suivant une excellente recette, battait un grand chef qui improvisait.
• Explicable : Comme le robot écrit chaque étape de sa pensée, on peut voir exactement où il a eu raison ou tort. C'est transparent, comme un cahier de brouillon.

En résumé

VisDoT, c'est l'art d'apprendre à un robot à regarder avant de parler.

Au lieu de lui dire "Vois le graphique, donne-moi la réponse", on lui dit : "Regarde d'abord où sont les choses, mesure leur taille, lis les étiquettes, et ensuite, fais le calcul."

C'est un peu comme passer d'un étudiant qui triche en regardant les réponses dans le dos de son voisin, à un élève sérieux qui prend le temps de faire ses calculs étape par étape sur sa copie. Résultat ? Des réponses beaucoup plus justes, même sur les graphiques les plus compliqués.

Résumé technique

1. Problématique

Les modèles de langage-vision de grande taille (LVLM) actuels éprouvent des difficultés majeures à interpréter les données visualisées (graphiques, diagrammes, tableaux de bord) et à effectuer un raisonnement complexe sur des éléments visuels interconnectés.

• Manque d'ancrage perceptif (Perceptual Grounding) : Les LVLMs échouent souvent à détecter de manière fiable les "primitives visuelles" (position, longueur, couleur, forme) et à les aligner avec leurs représentations sémantiques. Par exemple, ils peinent à identifier des légendes ou à comparer des objets sans mention explicite d'identifiants textuels.
• Limites du Chain-of-Thought (CoT) : Bien que le CoT soit efficace pour le raisonnement textuel, il montre des résultats limités dans les contextes visuels. Les approches existantes se concentrent souvent sur des mappages mots-clés/valeurs simples et manquent de mécanismes robustes pour aligner les primitives visuelles avec le monde réel, entraînant une dégradation des performances sur des tâches nécessitant un alignement perceptif de haut niveau (comme l'identification de légendes ou la comparaison multi-objets).

2. Méthodologie : Le Framework VisDoT

Les auteurs proposent VisDoT, un cadre qui améliore le raisonnement visuel en imitant le processus de décodage humain, basé sur la théorie de la perception graphique (Cleveland & McGill, 1984). L'approche repose sur deux piliers principaux :

A. Définition de Quatre Tâches Perceptives Fondamentales

Pour aligner l'attention du modèle sur les principes de perception humaine, le papier formalise quatre tâches perceptives :

1. Position : Comparer les positions d'objets sur une échelle commune (ex: axe X ou Y) pour déterminer l'ordre relatif. C'est le canal le plus précis pour l'information quantitative.
2. Longueur : Utiliser l'attribut visuel sans distorsion (longueur des barres, etc.) comme indice secondaire à la position.
3. Motif (Pattern) : Relier les indices de motifs (couleurs, hachures) aux légendes et aux données pour distinguer les catégories.
4. Extraction (Extract) : Lire les valeurs numériques explicitement affichées (similaire à une tâche OCR/QA standard).

B. Stratégie de Décomposition de la Pensée (Decomposition-of-Thought - DoT)

VisDoT introduit une stratégie de promptage appelée DoT, qui sépare systématiquement une question complexe en deux phases séquentielles :

1. Phase de Perception (Question Decomposition) : Le modèle décompose la question initiale en sous-questions orientées perception (ex: "Quelle est la valeur de la barre rouge ?", "Quel est l'axe Y ?") avant de générer des sous-questions orientées logique. Cela force le modèle à ancrer visuellement les éléments avant de raisonner.
2. Phase de Résolution (Problem Solving) : Le modèle répond séquentiellement à chaque sous-question, accumulant les étapes de raisonnement intermédiaires pour produire la réponse finale.

Cette méthode transforme le VQA (Visual Question Answering) en une tâche compositionnelle où la probabilité de la réponse est maximisée en décomposant la question en une séquence ordonnée de sous-tâches perceptives et logiques.

3. Contributions Clés

1. Formalisation des tâches perceptives : Définition de quatre tâches fondamentales (Position, Longueur, Motif, Extraction) ancrées dans la psychologie cognitive, servant de base pour entraîner les LVLMs à décoder les visualisations de données comme un humain.
2. Stratégie DoT : Introduction d'une méthode de prompting novatrice qui sépare le raisonnement en étapes perceptives et logiques, permettant aux LVLMs d'éviter les erreurs d'ancrage visuel courantes dans le CoT standard.
3. Construction du dataset VisDoTQA : Création d'un jeu de données d'entraînement ("perception-following") combinant les tâches perceptives et le prompting DoT, contenant près de 332 000 paires question-réponse générées automatiquement.
4. Performance et Interprétabilité : Démonstration que cette approche permet d'obtenir des traces de raisonnement étape par étape interprétables et d'améliorer la robustesse face aux requêtes visuelles complexes et sous-spécifiées.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks, notamment ChartQA, ChartQAPro (plus difficile) et le nouveau VisDoTQA. Le modèle de base utilisé est InternVL, fine-tuné avec VisDoT.

• Améliorations sur ChartQA : Le modèle VisDoT (InternVL) atteint une amélioration relative de +11,2 % par rapport à la base, surpassant les performances de modèles fermés comme GPT-4o sur certaines métriques.
• Performance sur ChartQAPro : Sur ce benchmark plus complexe, VisDoT dépasse GPT-4o et Gemini-Flash-2.0, notamment sur les tâches de vérification de faits (+7,8 %) et de raisonnement hypothétique.
• Benchmark VisDoTQA : Sur le jeu de données spécifique à l'approche, le modèle améliore la précision moyenne de +33,2 % (passant de 43,30 % à 76,52 %), surpassant GPT-4o de 19,4 points.
• Gains par tâche perceptive : Les améliorations sont les plus marquées sur les tâches de Position (+29,1 %), de Motif (+42,0 %) et d'Extraction (+49,6 %), confirmant l'efficacité de l'ancrage visuel.
• Généralisation (Zero-shot) : La stratégie DoT a été testée sur des benchmarks hors graphiques (POPE et MMMU). Elle surpasse les méthodes Direct et CoT (+1,43 % sur POPE, +2,2 % sur MMMU), prouvant que la séparation perception/logique est une stratégie générale applicable au VQA ouvert.
• Efficacité des données : VisDoT atteint des performances supérieures avec seulement 7,4K paires de questions (échantillonnées) par rapport aux pipelines de distillation utilisant 163K ou 320K paires (ChartGemma, ECD), démontrant que la qualité de l'alignement perceptif prime sur la simple quantité de données synthétiques.

5. Signification et Impact

Ce travail met en évidence que la principale limitation des LVLMs actuels dans la compréhension des graphiques n'est pas le manque de capacité de raisonnement logique, mais l'absence d'un ancrage perceptif robuste.

• Changement de paradigme : VisDoT démontre que séparer explicitement la perception visuelle de la logique (plutôt que de les mélanger dans un flux de pensée unique) est crucial pour le raisonnement visuel.
• Accessibilité : La méthode permet à des modèles de taille moyenne (ex: 4B paramètres) de rivaliser avec ou de surpasser des modèles fermés massifs (GPT-4o) sur des tâches de raisonnement visuel, grâce à une ingénierie de prompt et un entraînement ciblés.
• Interprétabilité : En forçant le modèle à localiser les éléments visuels avant de raisonner, VisDoT rend les échecs du modèle plus faciles à diagnostiquer (est-ce une erreur de perception ou de logique ?) et améliore la fiabilité des réponses.

En conclusion, VisDoT propose une voie prometteuse pour l'avenir de l'IA visuelle en intégrant les principes de la perception humaine directement dans l'architecture de raisonnement des modèles de langage.