💬 NLP

CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

L'article introduit CURV, un cadre d'apprentissage par curriculum associé au jeu de données CCQA, qui améliore le questionnement sur les graphiques en entraînant des modèles multimodaux à effectuer un raisonnement visuel ancré, intrinsèque et multi-étapes, entraînant des améliorations de performance significatives à travers divers benchmarks.

Auteurs originaux : Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, mais qu'au lieu de simplement regarder l'image sur la boîte, vous devez découvrir l'image pendant que vous le construisez. C'est la lutte quotidienne des Modèles de Langage de Grande Taille Multimodaux (MLLM) — ces programmes informatiques super intelligents capables de lire du texte et de regarder des images en même la fois. Actuellement, ces programmes sont comme des étudiants brillants qui peuvent lire parfaitement un manuel de mathématiques, mais qui s'embrouillent lorsqu'on leur demande de résoudre un problème sur un tableau blanc parce qu'ils n'arrivent pas tout à fait à se concentrer sur les bons chiffres. Ils confondent souvent ce qu'ils voient avec ce qu'ils pensent, ce qui conduit à des réponses qui semblent logiques mais qui sont totalement fausses parce qu'ils ont mal lu un graphique ou manqué un minuscule détail. Les scientifiques ont tenté de corriger cela en donnant aux ordinateurs des « documents de référence » ou en leur demandant d'expliquer leurs étapes à voix haute (une méthode appelée Chaîne de Pensée ou Chain-of-Thought), mais les ordinateurs ont toujours du mal à connecter leur pensée directement aux preuves visuelles en temps réel. Ils doivent apprendre à regarder, réfléchir et regarder à nouveau, le tout dans un mouvement fluide, tout comme un humain le fait.

Entrez en scène CURV, une nouvelle méthode d'entraînement conçue pour apprendre à ces modèles d'IA à devenir de meilleurs détectives visuels. Considérez CURV comme un « système de niveaux de jeu vidéo » pour l'apprentissage. Au lieu de jeter un ordinateur directement dans le combat de boss le plus difficile, CURV le fait commencer au « Niveau 1 », où il apprend à lire des graphiques simples et à pointer les bons chiffres. À mesure qu'il s'améliore, il débloque le « Niveau 2 », où il doit combiner deux informations, et enfin le « Niveau 3 », où il doit jongler avec plusieurs graphiques à la fois. La recette secrète est qu'à chaque étape, le modèle est forcé de pointer physiquement la partie de l'image dont il parle. C'est comme enseigner les mathématiques à un enfant en le faisant toucher les pommes sur la table avant qu'il ne puisse dire « cinq ».

Les chercheurs derrière cet article, CURV, ont découvert que cet entraînement par étapes de type « regarder-puis-penser » fait des miracles. Ils ont créé un nouvel ensemble de données massif appelé CCQA (Curriculum Chart Question Answering) pour servir de terrain d'entraînement. Cet ensemble de données est construit comme une échelle, avec des questions devenant progressivement plus difficiles, allant du simple « quel est ce nombre ? » au complexe « comparez ces deux graphiques et dites-moi la différence ». En s'entraînant sur cette échelle, les modèles ont appris à intérioriser la compétence consistant à ancrer leur raisonnement dans ce qu'ils voient réellement. Les résultats ont été impressionnants : les modèles entraînés avec CURV ont amélioré leur précision jusqu'à 20,50 % sur leurs tests d'entraînement. Plus important encore, ils ne se sont pas contentés d'être bons aux questions d'entraînement ; ils se sont aussi améliorés sur des graphiques du monde réel qu'ils n'avaient jamais vus auparavant, avec une progression allant jusqu'à 12,30 %, et se sont même améliorés sur d'autres types de puzzles visuels, comme les problèmes mathématiques, jusqu'à 10,20 %.

L'article suggère que la clé de ce succès n'est pas seulement de donner plus de données à l'IA, mais de changer sa façon d'apprendre. Les chercheurs soutiennent que les méthodes précédentes ont échoué parce qu'elles traitaient la vision et la pensée comme des tâches distinctes. CURV prouve qu'en les tissant ensemble — en forçant le modèle à changer constamment son focus visuel pour correspondre à ses étapes logiques — on construit un cerveau plus solide et plus fiable pour comprendre les graphiques. Cependant, les auteurs notent également une curiosité amusante : si le fait de forcer le modèle à « pointer » l'image pendant l'entraînement le rend plus intelligent, le forcer à « pointer » à voix haute lors du test final le fait parfois trébucher, probablement parce qu'il est confus par son propre geste de pointer. Cela suggère que la meilleure approche est d'enseigner au modèle à regarder et à penser ensemble jusqu'à ce que cela devienne une habitude naturelle, afin qu'il n'ait plus besoin de s'arrêter pour pointer afin d'obtenir la bonne réponse. En fin de compte, CURV montre que si vous apprenez à l'IA à décomposer les grands problèmes en petites étapes visuelles, elle peut apprendre à comprendre les données du monde bien plus comme un humain le ferait.

Résumé Technique : CURV - Améliorer la compréhension des graphiques par le raisonnement visuel fondé sur un curriculum

Définition du Problème

Le Questionnement sur les Graphiques (CQA - Chart Question Answering) exige que les Grands Modèles de Langage Multimodaux (MLLM) intègrent la compréhension visuelle à un raisonnement logique. Cependant, les MLLM actuels peinent avec l'ancrage visuel précis et les chaînes de raisonnement cohérentes. Une analyse préliminaire révèle que les modèles existants souffrent de trois limitations fondamentales :

Décomposition : Incapacité à décomposer des problèmes complexes en chaînes de raisonnement cohérentes, produisant souvent des étapes intermédiaires incohérentes.
Raisonnement Visuel Entrelacé : Échec de l'ancrage précis des étapes de raisonnement individuelles dans l'entrée visuelle (par exemple, mauvaise lecture des valeurs du graphique ou attention portée à de mauvères régions).
Composition : Difficulté à intégrer le raisonnement logique et l'ancrage visuel à travers plusieurs étapes, entraînant un décalage entre la perception, le raisonnement et la conclusion.

Bien que le prompting par Chaîne de Pensée (CoT) extrinsèque et les indices visuels améliorent les performances, les modèles manquent de capacités de raisonnement visuel ancré intrinsèques. Sans support externe, les MLLM échouent souvent à aligner leur raisonnement avec les preuves visuelles, ce qui entraîne des erreurs même lorsque l'information nécessaire est présente.

Méthodologie : Le Cadre CURV

Les auteurs proposent CURV, un cadre d'apprentissage par curriculum conçu pour intérioriser le prompting CoT et le guidage visuel extrinsèques en capacités intrinsèques. L'approche centrale reformule le CQA comme un processus de raisonnement visuel ancré multi-étapes où chaque étape couple le raisonnement logique avec un ancrage visuel dynamique.

1. Reformulation du Problème

Au lieu d'une application directe $f_\theta: (I, Q) \to A$ , CURV décompose la tâche en une chaîne progressive structurée :
$f_\theta: (I, Q) \to \{(R_1, V_1), (R_2, V_2), \dots, (R_T, V_T)\} \to A$
Où $R_t$ est la $t$ -ième étape de raisonnement et $V_t$ est la région visuelle ancrant cette étape sur l'image $I$ .

2. Entraînement par Curriculum en Deux Étapes

CURV utilise un paradigme d'entraînement en deux étapes pour développer ces capacités :

Étape I : Ancrage Visuel (RV) : Le modèle apprend à établir des correspondances multimodales entre les flux de raisonnement et les points de focalisation visuelle. Il prédit la focalisation visuelle $V_t$ qui ancre l'étape de raisonnement $R_t$ sur l'image $I$ . L'objectif est de minimiser la perte d'ancrage ( $L_V$ ) entre les focalisations visuelles prédites et réelles.
Étape II : Raisonnement Visuel Entrelacé (RVA) : S'appuyant sur l'Étape I, le modèle apprend à exploiter proactivement l'ancrage visuel comme feedback. À chaque étape, la focalisation visuelle prédite est appliquée à l'image d'entrée pour construire un état visuel ancré $I_t$ , qui est ensuite utilisé comme entrée supplémentaire pour l'étape de raisonnement suivante. Cela permet au modèle de déplacer dynamiquement l'attention visuelle en alignement avec l'évolution du raisonnement logique. L'objectif d'entraînement équilibre la supervision du raisonnement, la perte d'ancrage et la prédiction de la réponse finale.

3. Stratégies d'Ancrage Visuel

Pour faciliter le déplacement de la focalisation dynamique, le cadre implémente trois stratégies d'ancrage :

Applied (Appliqué) : Superpositions de mise en évidence semi-transparentes sur les régions pertinentes.
Boxed (Encadré) : Bordures rectangulaires rouges autour des régions de focalisation.
Cropped (Recadré) : Sous-régions zoomées présentées aux côtés du graphique complet.

4. Conception du Curriculum

Le cadre utilise une progression systématique de la difficulté des tâches :

Profondeur de Raisonnement ( $D$ ) : Définie par le nombre de fonctions logiques imbriquées requises (ex: $f_1(f_2(...(x)))$ ).
Complexité Visuelle : Progresse des graphiques à simple tracé vers des compositions multi-tracés.
Niveaux de Curriculum :
- Niveau 1 : Raisonnement fondamental à opération unique ( $D=1$ ).
- Niveau 2 : Raisonnement multi-opérations sur des graphiques simples ( $D \ge 2$ ).
- Niveau 3 : Raisonnement complexe à travers plusieurs sous-graphiques ( $D \ge 3$ ), impliquant la localisation et la compréhension relationnelle.

Contributions Clés

Cadre CURV : Un cadre d'apprentissage par curriculum qui développe des capacités de raisonnement visuel intrinsèques en déplaçant progressivement l'attention visuelle le long des chaînes de raisonnement, passant de tâches basiques à un raisonnement imbriqué complexe.
Jeu de Données CCQA : Un jeu de données de Questionnement sur les Graphiques par Curriculum (CCQA) synthétique et évolutif. Il présente trois niveaux progressifs de curriculum, supporte quatre modes de génération et inclut divers types de graphiques (barres, histogrammes, nuages de points, lignes, cartes de chaleur, secteurs, radars) à travers 30 catégories de domaines. Le jeu de données est construit via une génération basée sur des modèles pour garantir l'exactitude et une couverture systématique des schémas de raisonnement.
Stratégies d'Ancrage Visuel : L'introduction et l'évaluation de trois stratégies d'ancrage distinctes (Applied, Boxed, Cropped) pour contrôler la granularité et la représentation de la focalisation visuelle pendant le raisonnement.
Validation Empirique : Expérimentations approfondies démontrant que l'entrelacement du raisonnement avec l'ancrage visuel fournit un alignement étape par étape entre la perception et la logique, menant à des améliorations significatives à travers les types de graphiques, les niveaux de complexité et les domaines.

Résultats Expérimentaux

Les expériences ont été menées sur CCQA, des benchmarks de graphiques réels (ChartQA, ChartMuseum, CharXiv, ChartQA-Pro) et des tâches de raisonnement multimodal hors domaine (MathVista, MMMU-Pro).

Performance sur CCQA : Les modèles ajustés par CURV ont atteint jusqu'à 20,92 % d'amélioration absolue par rapport aux bases lors de l'entraînement en deux étapes. La meilleure configuration (CURV@Applied avec Qwen2.5-VL-7B) a surpassé son modèle de base de 15,65 % et a dépassé GPT-4o de 12,22 %.
Généralisation : Les modèles entraînés sur des graphiques à simple tracé se sont généralisés efficacement aux graphiques multi-tracés (Niveau 3), montrant des améliorations allant jusqu'à 7,10 %.
Benchmarks du Monde Réel : CURV a démontré une forte capacité de généralisation aux benchmarks de compréhension de graphiques réels, avec des améliorations de $\ge$ 1,20 % sur quatre jeux de données.
Raisonnement Hors Domaine : Le cadre a amélioré les performances sur les tâches de raisonnement multimodal hors domaine jusqu'à 10,20 %, validant que les bénéfices proviennent d'un meilleur ancrage de la structure visuelle plutôt que d'une adaptation spécifique à la tâche.
Paradigmes d'Entraînement : L'approche est compatible avec le Fine-Tuning Supervisé (SFT), l'Apprentissage par Renforcement (RL), et leur combinaison. La combinaison de SFT et RL a produit les gains les plus élevés (jusqu'à 17,04 %), bien que le SFT seul offre un compromis performance-efficacité plus favorable.

Signification et Revendications

L'article affirme que CURV établit une base pour développer des capacités de raisonnement visuel autonomes dans les MLLM. En intériorisant le processus cognitif humain de décomposition des tâches, d'entrelacement de l'ancrage visuel et de composition de solutions, CURV dépasse la dépendance à l'assistance extrinsèque.

Les conclusions clés soulignées par les auteurs incluent :

Intrinsèque vs Extrinsèque : Bien que l'ancrage visuel explicite pendant l'inférence puisse parfois dégrader les performances en raison de l'accumulation d'erreurs, l'utilisation de l'ancrage visuel comme signal d'entraînement permet d'intérioriser efficacement la capacité à se concentrer sur les composants d'image pertinents, améliorant les performances même en mode de génération de réponse directe.
Apprentissage Fondamental : L'entraînement sur les niveaux fondamentaux (Niveau 1 + 2) produit les gains les plus constants et substantiels à tous les niveaux de difficulté, tandis que le fait de s'appuyer uniquement sur des données de haute complexité (Niveau 3) peut dégrader les capacités de raisonnement fondamentales.
L'Ancrage Visuel comme Pont : L'ancrage visuel sert de pont intermédiaire essentiel entre la vision et le raisonnement, plutôt que d'un simple objectif de prédiction terminal. Les stratégies d'ancrage explicites (particulièrement la mise en évidence "Applied") se sont révélées plus efficaces que les méthodes implicites.

Ce travail suggère qu'entrelacer étroitement le raisonnement avec un ancrage visuel dynamique est un mécanisme critique pour améliorer la compréhension des graphiques et les capacités générales de raisonnement multimodal.