ChartAnno: Evaluating MLLMs for Chart Annotation Generation

Imaginez que vous êtes le capitaine d'un vaisseau spatial et que votre ordinateur vient de dessiner une carte stellaire magnifique et complexe. La carte est parfaite, mais elle est silencieuse. Elle montre les étoiles, mais elle ne dit pas pourquoi elles sont là, lesquelles sont les plus dangereuses, ou où le trésor est caché. Pour rendre la carte utile, vous devez ajouter des notes, des flèches et des étiquettes — c'est ce qu'on appelle l'annotation de graphiques. C'est l'art de transformer une image brute en une histoire que n'importe qui peut comprendre.

Dans le monde de l'intelligence artificielle, il existe des robots super intelligents appelés Modèles de Langage de Grande Taille Multimodaux (MLLM). Voyez ces robots comme des entités capables de lire du texte, de regarder des images et d'écrire du code informatique, tout cela en même temps. Nous leur avons déjà appris à comprendre les graphiques et même à en dessiner de nouveaux de toutes pièces. Mais il reste une lacune délicate : ces robots peuvent-ils regarder un graphique existant et y ajouter les bonnes notes pour l'expliquer ? Il ne s'agit pas seulement de tracer une ligne ; il s'agit de comprendre ce que cette ligne signifie et de savoir ensuite écrire le code pour placer une étiquette exactement à sa place. C'est le défi que traite cet article : apprendre à l'IA à être un guide touristique utile pour les données, plutôt qu'un simple cartographe.

Entrez en scène CHARTANNO, un nouveau « terrain d'entraînement » créé par des chercheurs pour tester la capacité de ces robots d'IA à accomplir ce travail spécifique. Les chercheurs ont construit une immense bibliothèque de 1 200 graphiques du monde réel — allant de graphiques d'actualité à des articles scientifiques — et ont associé à chacun d'eux un ensemble d'instructions. Ils n'ont pas seulement donné un type d'instruction aux robots ; ils les ont testés avec trois niveaux de détail, comme dans un jeu vidéo avec une difficulté croissante :

1. Le niveau « Objectif Vague » : On dit au robot : « Mettez en évidence la tendance la plus importante. » Il doit deviner ce que cela signifie et comment le montrer.
2. Le niveau « Plan d'Action » : On lui dit : « Dessinez un cadre violet autour des années 1890 à 1900 et placez une étiquette au milieu. » Il sait ce qu'il doit faire, mais il doit déterminer les couleurs et les tailles exactes.
3. Le niveau « Plan de Construction » : On lui donne une recette : « Dessinez un cadre violet de x=0 à x=10 avec une nuance spécifique de violet et placez le texte aux coordonnées (4, 15). »

Les chercheurs ont ensuite demandé à 10 modèles d'IA différents (certains créés par de grandes entreprises technologiques, d'autres en open-source) d'écrire le code informatique qui ajouterait ces annotations. Ils ont vérifié si le code fonctionnait réellement, si le graphique paraissait correct, si le sens était clair et si le design était esthétique.

Voici ce qu'ils ont trouvé, et c'est un bilan assez mitigé. Premièrement, les modèles des grandes entreprises technologiques (comme ceux de Google et OpenAI) restent les champions, faisant généralement le meilleur travail pour comprendre les « objectifs vagues » et créer des designs magnifiques. Cependant, certains des modèles open-source rattrapent rapidement leur retard, avec un modèle nommé Kimi K2.5 qui est presque aussi performant que les géants coûteux et fermés.

L'étude a également révélé des vérités surprenantes sur la façon dont ces robots réfléchissent. Lorsque les instructions étaient extrêmement spécifiques (le niveau « Plan de Construction »), les robots faisaient du bon travail. Mais quand les instructions étaient vagues (le niveau « Objectif Vague »), ils trébuchaient souvent, peinant à deviner quelle était la partie la plus importante du graphique. C'est comme donner à un chef une recette avec des mesures exactes plutôt que de simplement dire : « Prépare quelque chose de délicieux » ; les robots sont excellents pour suivre des recettes, mais ils apprennent encore à être des chefs créatifs.

Une autre découverte intéressante concernait ce dont les robots ont besoin pour voir. Vous pourriez penser que montrer l'image du graphique aiderait beaucoup le robot. Mais les chercheurs ont découvert que donner au robot le code qui a créé le graphique était bien plus important. L'image l'aidait un peu pour rendre les annotations plus jolies, mais sans le code (qui contient les chiffres réels et la structure des données), les robots se perdaient. En fait, si on ne leur montrait que l'image et qu'on cachait le code, leurs performances s'effondraient. Il s'avère que pour ces robots d'IA, connaître la mathématique derrière l'image est plus utile que de simplement regarder l'image elle-même.

Enfin, les chercheurs ont noté que la tâche devient beaucoup plus difficile à mesure que les graphiques se complexifient. Si un graphique possède beaucoup de points de données ou nécessite une modification de code longue et compliquée pour ajouter l'annotation, même les robots les plus intelligents commencent à commettre des erreurs. Ils peuvent écrire un code qui ne s'exécute pas, ou ils peuvent placer une étiquette au mauvais endroit.

En résumé, CHARTANNO nous montre que si l'IA devient très douée pour dessiner et lire des graphiques, lui apprendre à les expliquer par des annotations est encore un travail en cours. Les robots sont excellents pour suivre des instructions strictes, mais ils ont encore besoin d'aide pour comprendre la « vue d'ensemble » par eux-mêmes. Les chercheurs espèrent que ce nouveau test aidera à construire de meilleurs outils d'IA qui pourront un jour transformer n'importe quel graphique déroutant en une histoire claire et utile pour tout le monde.