ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats

Cet article présente ChartArena, un benchmark bilingue complet comprenant huit familles de graphiques à travers des scénarios numériques, imprimés et manuscrits avec un protocole d'évaluation indépendant du format, afin d'évaluer et de révéler systématiquement les capacités et les limites actuelles de 26 modèles de langage multimodaux de pointe dans l'analyse de divers types de graphiques.

L'essentiel

Imaginez que vous possédez une bibliothèque géante de graphiques, de diagrammes et de schémas. Certains sont des dessins informatiques nets, d'autres sont des photos de documents dans un bureau en désordre, et certains sont des croquis grossiers dessinés sur un tableau blanc. Maintenant, imaginez que vous vouliez apprendre à un robot à lire ces images pour les transformer en une liste de faits (comme un tableur) ou en une carte de connexions (comme un arbre généalogique).

Ce document présente ChartArena, une nouvelle « piste d'essai » massive conçue pour évaluer la capacité de différents robots (modèles d'IA) à accomplir cette tâche.

Voici la décomposition du document en utilisant des analogies simples :

1. Le Problème : La « Barrière de la Langue » et le problème de la « Salle Propre »

Avant ce document, tester ces robots revenait à essayer de comparer des coureurs dans une course où :

• Les Règles Changeaient : Un coureur devait écrire sa réponse en anglais, un autre en espagnol, et un troisième en morse. On ne pouvait pas facilement comparer qui était le plus rapide car les réponses semblaient si différentes.
• La Piste était Fictive : La plupart des tests n'utilisaient que des graphiques parfaits générés par ordinateur. C'était comme entraîner un conducteur uniquement sur une piste lisse et vide, puis s'attendre à ce qu'il conduise parfaitement sous la pluie sur une route de terre cahoteuse. La vraie vie comporte des photos floues, des angles de travers et des écritures manuscrites désordonnées, mais les anciens tests ignoraient cela.
• Le Périmètre était Étroit : Les tests se concentraient principalement sur des graphiques à barres et des diagrammes circulaires simples. Ils ignoraient les diagrammes complexes comme les organigrammes (arbres de décision) ou les cartes mentales, qui sont comme des réseaux d'idées emmêlés plutôt que de simples chiffres.

2. La Solution : ChartArena (Le Parcours du Combattant Ultime)

Les auteurs ont construit ChartArena, un nouveau test super complet qui corrige tous les problèmes ci-dessus.

• Huit « Obstacles » Différents : Le test couvre huit types de graphiques, des simples graphiques de nombres (barres, lignes, secteurs) aux diagrammes structurels complexes (organigrammes, cartes mentales).
• Trois « Conditions Météorologiques » : Chaque graphique est testé de trois manières :
  1. Numérique : Une image informatique parfaite et nette.
  2. Imprimé : Une photo d'un document papier (qui peut être légèrement floue ou inclinée).
  3. Dessiné à la main : Une photo d'un croquis sur un tableau blanc ou un carnet (encre irrégulière, lignes inégales).
• Deux Langues : Le test est bilingue, couvrant l'anglais et le chinois.
• L'Équipe « Humain-Agent » : Pour s'assurer que les réponses sont correctes, ils ont utilisé une approche d'équipe. Une IA a produit un premier brouillon de la réponse, puis des experts humains l'ont vérifiée et corrigée plusieurs fois. Cela garantit que les réponses de référence (« gold standard ») sont fiables.

3. Le Système de Notation : Le « Traducteur Universel »

Puisque différents robots produisent des réponses dans des formats différents (certains écrivent du code, d'autres des tableaux, d'autres des listes), comment les noter équitablement ?

Les auteurs ont créé un Traducteur Universel.

• Pour les Graphiques de Nombres : Peu importe si le robot a écrit un script Python, un fichier CSV ou un tableau Markdown, le système traduit tout en une liste simple de « Qui, Quoi, Combien » (Triplets).
• Pour les Diagrammes : Peu importe si le robot a utilisé Mermaid, Graphviz ou PlantUML, le système les traduit en une carte de points et de lignes (un Graphe Dirigé).

Une fois que tout est traduit dans cette langue commune, le système les note. Il ne vérifie pas seulement si les mots correspondent exactement ; il vérifie si la structure fait sens. C'est comme noter la dissertation d'un étudiant : s'il utilise les bons synonymes et saisit l'idée principale, il obtient des points, même si l'orthographe n'est pas parfaite.

4. Les Résultats : Qui a Gagné la Course ?

Les auteurs ont testé 26 modèles d'IA différents sur cette nouvelle piste. Voici ce qu'ils ont découvert :

• Les Robots des « Géants de la Tech » mènent la danse : Les modèles les plus avancés et payants (comme Gemini 3.1 Pro) sont actuellement les meilleurs. Cependant, les meilleurs modèles gratuits et open-source rattrapent très vite leur retard.
• Les « Lecteurs de Documents » sont des spécialistes d'un seul domaine : Certains modèles sont excellents pour lire des documents et des graphiques de nombres simples. Mais quand on leur montre un organigramme complexe ou une carte mentale, ils s'y perdent. Ils manquent de « connaissance du monde » pour comprendre comment les idées se connectent.
• Les « Spécialistes » sont trop spécialisés : Il existe des modèles construits spécifiquement pour les graphiques. Bien qu'ils soient corrects pour les graphiques à barres simples, ils échouent souvent complètement face à des diagrammes ou des croquis faits à la main. Ils n'ont pas appris assez de variété pour faire face au monde réel.
• Les Défis les plus Difficiles :
  • Graphiques Radiaux (Radar Charts) : Ces graphiques circulaires (comme une toile d'araignée) sont les plus difficiles à lire pour tout le monde.
  • Croquis Dessinés à la Main : Lorsque l'entrée est une photo désordonnée d'un croquis, les performances chutent considérablement pour tous les modèles.

5. La Conclusion

Le document conclut que bien que l'IA s'améliore dans la lecture de graphiques, il existe toujours un fossé important entre ce qu'ils peuvent faire dans un laboratoire parfait et ce qu'ils peuvent faire dans le monde réel et désordonné.

ChartArena fournit une manière juste et unifiée de mesurer les progrès. Il nous montre exactement là où les robots échouent (diagrammes complexes, photos désordonnées) afin que les développateurs sachent où concentrer leurs efforts pour construire une IA de lecture de graphiques véritablement fiable.

En résumé : Nous avons enfin une piste de course équitable avec des obstacles du monde réel, et nous savons désormais exactement quels robots sont prêts pour le monde réel et lesquels ont encore besoin d'entraînement.

Résumé technique

Résumé Technique : ChartArena

Énoncé du Problème

Malgré l'avancement rapide des modèles de langage multimodaux (MLLM) dans l'analyse de graphiques, le domaine manque d'un cadre d'évaluation unifié et complet. La recherche actuelle est entravée par trois problèmes de fragmentation cumulatifs :

1. Incompatibilité des Sorties : Les modèles génèrent des résultats dans des formats syntaxiques mutuellement incompatibles (par exemple, Markdown, JSON, CSV, code Python, SVG, Mermaid), rendant la comparaison directe entre les modèles impossible.
2. Étendue Limitée des Benchmarks : Les benchmarks existants se concentrent principalement sur un ensemble limité de graphiques numériques (barres, lignes, secteurs) et ignorent largement les graphiques diagrammatiques structurellement distincts (organigrammes, cartes mentales) qui nécessitent une compréhension au niveau du graphe.
3. Conditions de Données Idéalisées : Les jeux de données sont dominés par des rendus numériques parfaits, ne tenant pas compte des perturbations visuelles du monde réel telles que les photos imprimées (avec distorsion de lumière/perspective) et les croquis faits à la main (avec des incohérences d'encre et du bruit).

Ces lacunes empêchent la communauté d'obtenir une évaluation honnête des capacités des modèles à travers divers types de graphiques, langues et scénarios visuels.

Méthodologie

Pour relever ces défis, les auteurs introduisent ChartArena, un benchmark bilingue complet, et un protocole d'évaluation agnostique au format.

1. Benchmark ChartArena

• Couverture : Le benchmark couvre huit familles de graphiques : six types numériques (barres, lignes, secteurs, radar, boîte à moustaches, graphique combiné) et deux types diagrammatiques (organigramme, carte mentale).
• Scénarios Visuels : Chaque type de graphique est évalué selon trois conditions visuelles distinctes :
  • Rendus numériques (propres).
  • Photos imprimées (capturées à partir de documents physiques).
  • Photos de croquis faits à la main (dessinés sur des tableaux blancs/carnets).
• Langues : Tout le contenu est fourni en anglais et en chinois.
• Construction du Jeu de Données : Le jeu de données comprend 2 400 échantillons (50 par configuration). Il est construit via un pipeline d'annotation collaboratif humain-agent :
  • Les MLLM génèrent des ébauches grossières (Markdown pour le numérique, Mermaid pour les diagrammes).
  • Les annotateurs humains effectuent une vérification en plusieurs étapes pour corriger les éléments structurels (nœuds, arêtes, axes) et le contenu sémantique (étiquettes, valeurs).
  • Les désaccords sur les valeurs ambiguës sont résolus par plusieurs annotateurs pour garantir une haute fiabilité.

2. Protocole d'Évaluation Agnostique au Format

Pour permettre une comparaison équitable entre des modèles aux sorties hétérogènes, le protocole normalise toutes les prédictions dans deux espaces sémantiques canoniques avant la notation :

• Vue par Triplet Normalisé (Graphiques Numériques) : Toutes les sorties (Markdown, CSV, JSON, Code, etc.) sont mappées vers un ensemble de triplets sémantiques (en-tête, entité, valeur). Cette étape inclut une canonisation lexicale et numérique (par exemple, traiter "3.0" et "3" comme identiques).
• Vue par Graphe Dirigé (Graphiques Diagrammatiques) : Les langages de diagrammes (Mermaid, Graphviz, PlantUML, etc.) sont normalisés en un graphe dirigé avec des nœuds et des arêtes étiquetés, faisant abstraction des différences syntaxiques pour capturer les structures topologiques et hiérarchiques.

Métriques de Notation :

• Métriques Sensibles à la Structure : La notation est basée sur la correction structurelle plutôt que sur la similitude de chaînes de caractères.
  • Numérique : Intersection sur Union (IoU) des ensembles de triplets, utilisant la distance de Levenshtein pour le texte et des seuils d'erreur relative pour les nombres.
  • Diagrammatique : Correspondance de nœuds et d'arêtes via l'algorithme hongrois, avec un poids plus élevé sur les arêtes pour pénaliser les erreurs topologiques.
• Agrégation : Les résultats sont rapportés sous forme de Correspondance Exacte (EM) et de précision moyenne (mAP) à travers trois niveaux de tolérance (strict, léger, élevé). La métrique principale rapportée est la mAPhigh.

Résultats Clés

Les auteurs ont évalué 26 modèles de premier plan, classés en MLLM à usage général, MLLM de parsing de documents et experts en analyse de graphiques.

1. Propriétaire vs Open-Source : Les modèles propriétaires de pointe (ex: Gemini 3.1 Pro) dominent globalement (moyenne mAP 59.2 EN / 73.2 ZH). Cependant, les systèmes open-source les plus puissants (ex: Qwen3.5-35B-A3B, Kimi K2.5) comblent rapidement l'écart, atteignant des scores compétitifs dans le haut du panier.
2. Performance Numérique vs Diagrammatique :
   • Les MLLM de parsing de documents (ex: HunyuanOCR) gèrent raisonnablement bien les graphiques numériques mais chutent brutalement sur les structures diagrammatiques (organigrammes, cartes mentales). Cela suggère que l'inférence de nœuds et de hiérarchies implicites nécessite des connaissances de base plus larges présentes dans les modèles de langage généraux plus vastes.
   • Les Experts en Analyse de Graphiques restent limités à de étroites familles de graphiques. De nombreux parseurs dédiés (ex: ChartAst, TinyChart) ne peuvent pas du tout gérer les graphiques diagrammatiques, et même ceux qui le peuvent (ex: RRVF) accusent un retard significatif par rapport aux MLLM à usage général en termes de performance globale.
3. Défis Spécifiques :
   • Graphiques Radar : Identifiés comme la catégorie numérique la plus difficile pour tous les modèles, probablement en raison de la difficulté d'estimer les valeurs angulaires et de la rareté des données d'entraînement.
   • Scénarios Manuels : La performance se dégrade considérablement pour les entrées dessinées à la main par rapport aux rendus numériques.
   • Stabilité du Format : Le protocole d'évaluation s'avère robuste pour la plupart des formats (Markdown, JSON, Mermaid), mais le SVG (pour les graphiques numériques) et le PlantUML (pour les organigrammes) montrent des baisses de performance significatives, indiquant des problèmes spécifiques de compatibilité format-structure.

Signification et Revendications

L'article affirme que ChartArena fournit la première fondation unifiée pour évaluer l'analyse de graphiques à travers tout le spectre des types de graphiques, des scénarios visuels et des langues. Sa signification réside dans :

• Exposition des Écarts de Capacité : Il révèle que les parseurs "experts" actuels ne sont pas encore polyvalents et que même les modèles de pointe peinent avec les structures diagrammatiques et les conditions visuelles non idéales.
• Standardisation de l'Évaluation : En introduisant un protocole de normalisation déterministe et agnostique au format, il permet une comparaison inter-paradigmes équitable, éloignant le domaine des benchmarks fragmentés et spécifiques à un format.
• Évaluation Réaliste : En incluant des scénarios imprimés et manuels, il déplace l'accent de l'évaluation des environnements de laboratoire contrôlés vers des conditions de déploiement réelles.

Les auteurs positionnent ChartArena comme un "banc d'essai durable" destiné à guider la recherche future vers des systèmes de compréhension de graphiques plus fiables, reproductibles et véritablement polyvalents.