Résumé Technique : ChartAct, une Référence pour la Compréhension de Graphiques Dynamiques

Énoncé du Problème

Les références existantes pour la compréhension de graphiques se concentrent principalement sur les graphiques statiques, où toutes les informations sont présentées dans une seule image immuable. Cependant, la visualisation de données dans le monde réel implique souvent des graphiques dynamiques et interactifs intégrés dans des pages web ou des tableaux de bord. Dans ces scénarios, des informations critiques (par exemple, des valeurs de données précises, des détails spécifiques sur les séries) sont fréquemment cachées et ne deviennent visibles qu'après des interactions utilisateur telles que le survol, le clic, le zoom ou le glissement.

Les modèles de langage multimodaux (MLLM) et les agents d'interface graphique (GUI) actuels peinent face à cette nature dynamique car :

1. Exigence d'Interaction : Ils doivent non seulement percevoir le contenu visuel, mais aussi sélectionner les actions d'interface appropriées pour révéler des preuves cachées.
2. Évolution de l'État : Ils doivent raisonner sur des états de graphiques en changement continu, en intégrant les observations issues de multiples étapes d'interaction.
3. Localisation : Ils doivent localiser avec précision les éléments interactifs (par exemple, infobulles, légendes, curseurs) au milieu de mises en page complexes, ce qui est difficile lorsque les graphiques sont intégrés dans des contextes de tableaux de bord plus larges.

Les références statiques existantes échouent à évaluer ces capacités, car elles ne requièrent pas des modèles qu'ils effectuent des actions séquentielles ou qu'ils observent des changements d'état.

Méthodologie

1. La Référence ChartAct

Les auteurs proposent ChartAct, une référence interactive conçue pour évaluer la compréhension des graphiques dynamiques. La référence se compose de :

• Collecte de Données : 673 graphiques dynamiques ont été extraits de 8 bibliothèques de graphiques réelles (par exemple, Apache ECharts, Highcharts, Plotly, AntV G2). Ces graphiques ont été filtrés manuellement pour garantir une sémantique de données claire, des comportements interactifs riches et une valeur analytique.
• Construction de Questions : 1 440 paires question-réponse de haute qualité ont été créées. Les questions ont été générées à l'aide de GPT-5 et rigoureusement révisées pour s'assurer qu'elles :
  • Ne peuvent pas être répondues uniquement à partir de la vue statique initiale (nécessitant une interaction).
  • Ne reposent pas sur du code HTML ou des données cachées inaccessibles via des interactions d'interface utilisateur observables.
  • Couvrent des tâches diverses : questions-réponses sur l'état visible, informations révélées par interaction, comparaison inter-états et intégration de preuves multi-graphiques.
• Environnements d'Évaluation : Chaque échantillon est instancié dans deux environnements distincts pour tester différents niveaux de difficulté :
  • Graphique Dynamique (DC) : Un environnement épuré où le graphique est affiché directement sur la page.
  • Graphique de Tableau de Bord (DB) : Le même graphique est intégré dans une page de tableau de bord générée contenant des titres, des cartes de métriques et d'autres modules visuels. Cela teste la capacité du modèle à localiser le graphique cible et à ignorer les distracteurs visuels.

2. Configuration Expérimentale

La référence évalue 11 modèles multimodaux avancés et agents d'interface graphique (incluant des modèles propriétaires comme Claude-Opus-4.7, GPT-5.5, et des modèles open-source comme Kimi-K2.5, la série Qwen, et Gemma).

• Cadre Unifié : Tous les modèles opèrent dans un environnement interactif unifié basé sur le cadre OSWorld. Les modèles observent des captures d'écran, exécutent des actions pyautogui (clic, survol, défilement) et soumettent des réponses finales.
• Métrique d'Évaluation : La performance est mesurée par le Taux de Succès, déterminé par un juge LLM (DeepSeek-v4-pro) qui compare la réponse finale du modèle à la vérité terrain. Un mécanisme de vote majoritaire (3 votes, 2 requis) est utilisé pour assurer la stabilité.
• Construction de Sous-ensembles : Pour les modèles à coût élevé, un sous-ensemble représentatif de 300 échantillons a été construit en utilisant un algorithme de sélection gloutonne basé sur la performance des modèles pilotes, afin de préserver la distribution de difficulté et la couverture des types de graphiques tout en réduisant les coûts d'évaluation.

Résultats Clés

1. Performance Globale

La compréhension des graphiques dynamiques reste un défi majeur pour les modèles actuels :

• Meilleur Performant : Claude-Opus-4.7 a obtenu le taux de succès moyen le plus élevé de 84,5 %.
• Écart de Performance : Il existe un écart clair entre le modèle de tête et les autres. GPT-5.5 a obtenu 58,3 %, tandis que la plupart des modèles open-source et d'autres modèles propriétaires ont obtenu moins de 60 % (par exemple, Qwen3.6-Plus à 39,2 %, Gemma-4-31B-IT à 23,1 %).
• Limites Open-Source : À l'exclusion du modèle à grande échelle Kimi-K2.5 (66,0 %), le meilleur modèle open-source (Qwen3.5-122B-A10B) n'a atteint que 41,9 %, indiquant une marge de progression substantielle au sein de la communauté open-source.

2. Impact de l'Environnement (DC vs DB)

L'environnement Graphique de Tableau de Bord (DB) a systématiquement réduit les performances de tous les modèles par rapport à l'environnement épuré Graphique Dynamique (DC).

• Sensibilité au Contexte : Des modèles comme Gemini-3.1-Pro et Qwen3.6-Plus ont subi des chutes massives (respectivement 30,0 % et 30,8 %) dans l'environnement DB, suggérant qu'ils peinent à transférer leurs compétences des graphiques épurés vers des contextes de tableaux de bord complexes.
• Robustesse : Le modèle le plus performant, Claude-Opus-4.7, a montré la plus grande résilience, avec une baisse de seulement 1,7 % dans l'environnement DB.

3. Analyse par Type de Graphique

• Graphiques Linéaires : Ont montré la plus grande chute de performance lors du passage de DC à DB, probablement en raison de la complexité du déclenchement des infobulles le long d'axes continus et de la distinction des lignes adjacentes dans des mises en page encombrées.
• Graphiques Circulaires : Bien que généralement moins performants, ils ont montré la plus faible chute dans DB. Cependant, de nombreux modèles ont échoué sur les graphiques circulaires en devinant avec une confiance excessive des valeurs à partir des pourcentages visibles sans interagir pour révéler les données précises.
• Aucun Ordre Fixe : La difficulté des types de graphiques variait selon l'architecture du modèle ; par exemple, Claude-Opus-4.7 a obtenu les meilleurs résultats sur les graphiques circulaires, tandis que GPT-5.5 a obtenu les meilleurs résultats sur les diagrammes en boîte.

4. Analyse des Échecs

Les auteurs ont identifié trois modes d'échec principaux :

1. Échec à Extraire les Preuves : Les modèles ont répondu directement à partir de la capture d'écran initiale sans déclencher les interactions nécessaires.
2. Interactions Mal Localisées : Les modèles ont correctement inféré le besoin d'interaction mais ont ciblé le mauvais élément (par exemple, survoler un point de données voisin).
3. Mauvaise Identification de l'Objet Cible : Dans les environnements de tableaux de bord, les modèles ont confondu le graphique cible avec les composants environnants (par exemple, cartes de métriques ou titres).

Signification et Revendications

L'article revendique que ChartAct fournit un nouveau terrain d'essai nécessaire pour étudier la compréhension des graphiques dans des environnements interactifs réels. Sa signification réside dans :

• Combler le Fossé : Aller au-delà de l'analyse d'images statiques pour évaluer le cycle complet d'interaction, d'observation et de raisonnement requis dans l'analyse de données réelle.
• Révéler les Limites : Démontrer que les modèles actuels de l'état de l'art, même les plus puissants propriétaires, présentent des limites claires dans la compréhension des graphiques dynamiques, en particulier dans les opérations fines et l'acquisition de preuves.
• Standardiser l'Évaluation : Offrir un environnement contrôlable, reproductible et réaliste (via le cadre basé sur OSWorld) qui préserve la complexité des graphiques réels tout en permettant un étalonnage systématique.

Les auteurs concluent que les graphiques dynamiques introduisent des exigences d'évaluation qui vont au-delà de la compréhension des graphiques statiques, nécessitant des modèles capables d'interaction stratégique et de suivi d'état.