💻 computer science

Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

Ce papier présente le cadre FairChart2Table pour révéler que les modèles de langage multimodaux présentent des biais de performance significatifs liés aux caractéristiques de l'axe des y (telles que la longueur des chiffres, le nombre de graduations et l'intervalle de valeurs) et à la complexité de la légende dans la traduction de graphiques en tableaux, tout en démontrant que la fourniture d'informations explicites sur l'axe des y peut atténuer ces disparités.

Auteurs originaux : Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seok Hwan Song, Azher Ahmed Efat, Wallapak Tavanapong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef robot (un Modèle de Langage Multimodal, ou MLM) dont le travail consiste à regarder une image d'un graphique et à noter la recette (le tableau de données) exactement telle qu'elle apparaît. Vous vous attendriez à ce que ce robot soit parfait, n'est-ce pas ?

Ce papier dit : Pas si vite. Le robot est en fait très exigeant quant à la façon dont les nombres sont écrits sur la règle verticale du graphique (l'axe des y). Si la règle a une certaine apparence, le robot prépare un excellent repas. Si elle a une apparence légèrement différente, le robot brûle la nourriture.

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. Le Problème : Le Robot a des "Angles Morts"

Les chercheurs ont remarqué que les graphiques sur lesquels les robots étaient entraînés étaient déséquilibrés. C'était comme entraîner un chef uniquement sur des recettes utilisant des tasses de farine, sans jamais lui apprendre les cuillères à soupe. Lorsque le chef a enfin vu une cuillère à soupe, il s'est perdu.

Dans le monde des graphiques, les « ingrédients » sont des choses comme :

Longueur des Chiffres : Le nombre est-il « 5 » ou « 5 000 000 » ?
Traits de graduation : Y a-t-il 3 lignes sur la règle ou 11 ?
Formats : Les nombres sont-ils écrits sous forme de « 7 000 », « 7K » ou « 7.00e+3 » ?

Le papier a révélé que les robots performent mal lorsque ces ingrédients spécifiques changent, même si les données réelles sont identiques.

2. La Solution : Une « Cuisine de Test Équitable » (FairChart2Table)

Pour le prouver, les chercheurs ont construit une nouvelle cuisine de test ultra-contrôlée appelée FairChart2Table.

Le Montage : Au lieu d'utiliser des graphiques réels et désordonnés, ils ont généré des milliers de graphiques synthétiques parfaits.
Le Contrôle : Ils ont changé une seule chose à la fois. Par exemple, ils ont pris exactement les mêmes données et créé un graphique avec des nombres comme « 1, 2, 3 » et un autre avec « 1 000, 2 000, 3 000 ».
L'Objectif : Voir exactement quelle caractéristique spécifique de la règle fait trébucher le robot.

3. Découvertes Clés : Qu'est-ce qui fait trébucher le Robot ?

A. La « Taille » des Nombres (Longueur des Chiffres)
Pensez à la longueur des chiffres comme à la taille de la police sur la règle.

La Découverte : Les robots se perdent lorsque les nombres deviennent très longs (comme 15 ou 16 chiffres). C'est comme essayer de lire un menu où les prix sont écrits en microscopique. Certains robots (comme GPT-4o) sont devenus extrêmement désordonnés avec des nombres très longs, tandis que d'autres (comme Gemini) ont mieux géré la situation mais ont tout de même eu des difficultés.

B. La « Foule » dans le Graphique (Nombre d'Entités)
Imaginez un graphique avec une seule ligne (une entité) contre un graphique avec six lignes qui se croisent toutes comme un bol de spaghettis.

La Découverte : À mesure que les lignes deviennent plus encombrées, les robots commencent à les mélanger. Ils pourraient dire : « Ce point appartient à la Ligne Rouge », alors qu'il appartient en réalité à la Ligne Bleue. Plus il y a de lignes, plus il est probable que le robot inverse les réponses.

C. Le « Style » de la Règle (Formats et Traits)

La Découverte : Les robots détestent les abréviations. Si vous écrivez « 1 Million » sous forme de « 1M » ou « 1 000 000 », certains robots se perdent. Ils ont aussi du mal si la règle a très peu de marques (3 traits) par rapport à beaucoup de marques (11 traits). C'est comme essayer de deviner la température avec un thermomètre qui n'a que « Chaud » et « Froid » écrits dessus, par rapport à un autre où chaque degré est marqué.

4. Le Tour de Magie : Donner une Triche au Robot

Les chercheurs se sont demandé : « Et si nous disions simplement au robot ce que dit la règle ? »

L'Expérience : Ils ont donné aux robots une invite listant explicitement les nombres sur l'axe des y (par exemple : « La règle va de 0 à 100 par pas de 10 »).
Le Résultat : Cela a fonctionné comme par magie pour certains robots. Leurs performances ont bondi de manière significative. C'est comme remettre une règle au chef pour qu'il n'ait pas à deviner les mesures. Cependant, cela n'a pas aidé tous les robots de la même manière ; certains étaient déjà corrects, tandis que d'autres continuaient à avoir des difficultés avec des formats spécifiques comme les abréviations.

5. Nouveaux Outils pour le Travail

Le papier a également inventé de nouvelles façons de noter les robots.

Ancienne Notation : On vérifiait simplement si le nombre était proche.
Nouvelle Notation (TBE) : Ils ont réalisé qu'une erreur de « 200 points » semble très différente selon le graphique. Si le graphique va de 0 à 1 000, une erreur de 200 est une énorme faute. Si le graphique va de 0 à 1 000 000, une erreur de 200 est minuscule. Leur nouvelle métrique mesure les erreurs en fonction des « lignes de grille » du graphique, ce qui est une façon plus équitable de juger si le robot a réellement vu le graphique correctement.

Résumé

Le papier conclut que les Modèles de Langage Multimodal ne sont pas encore parfaits pour lire les graphiques car ils sont biaisés par la façon dont les nombres sont présentés sur l'axe vertical. Ils performent bien sur certains styles mais échouent sur d'autres. En créant un terrain de test équitable et en donnant un peu d'aide aux modèles (en les invitant avec les valeurs de l'axe), nous pouvons voir exactement où ils échouent et les aider à s'améliorer.

Note : Le papier ne prétend pas que ces robots sont actuellement utilisés pour des diagnostics médicaux ou des transactions financières ; il se concentre strictement sur la performance technique de la traduction d'images de graphiques en tableaux de données.

1. Énoncé du problème

Les modèles linguistiques multimodaux (MLM) sont de plus en plus utilisés pour traduire des images de graphiques en données tabulaires structurées (traduction graphique-vers-tableau). Bien que des recherches antérieures aient examiné les biais dans les MLM liés à la complexité des graphiques, aux schémas de couleurs et aux tailles de police, il existe un écart significatif dans la compréhension de la manière dont les informations spécifiques à l'axe des y affectent les performances du modèle.

Les auteurs identifient que les jeux de données publics (par exemple, PlotQA, ChartQA) souffrent de déséquilibres sévères concernant les caractéristiques de l'axe des y, tels que :

Longueur des chiffres : Le nombre de chiffres dans la partie entière de la valeur maximale de l'axe des y.
Configurations des graduations : Le nombre de graduations principales et la plage de valeurs.
Formats de valeurs : L'utilisation d'abréviations (K, M, B), de notation scientifique ou de virgules.

Ces déséquilibres entraînent des biais involontaires où les modèles performent bien sur des configurations spécifiques de l'axe des y mais échouent à se généraliser à d'autres. De plus, les métriques d'évaluation existantes (comme RMSF1) échouent souvent à capturer des erreurs visuellement significatives, telles que des déviations supérieures à un intervalle de graduation mineure, conduisant à des évaluations peu fiables.

2. Méthodologie : Le cadre FairChart2Table

Pour combler ces lacunes, les auteurs proposent FairChart2Table, un cadre contrôlé pour les biais comprenant un nouveau jeu de données de référence et de nouvelles métriques d'évaluation.

A. Construction du référentiel

Le cadre génère un jeu de données synthétique en utilisant la bibliothèque de tracé Bokeh pour assurer un contrôle strict des variables. Le jeu de données est divisé en quatre sous-ensembles (Parties A–D) pour isoler des biais spécifiques :

Partie A (Longueur des chiffres) : Génère 3 060 images en faisant varier la longueur des chiffres des valeurs de l'axe des y (0–16) et le nombre d'entités (1–6).
Partie B (Graduations principales) : Compare les performances avec 3, 6 et 11 graduations principales.
Partie C (Plage de valeurs) : Teste trois scénarios de plage :
- Positif (Pos) : Origine décalée vers le haut (toutes les valeurs positives).
- Négatif (Neg) : Origine décalée vers le bas (toutes les valeurs négatives).
- Étendu (Ext) : Plage de données doublée, repoussant les valeurs vers le bas.
Partie D (Formats de nombres) : Teste les nombres simples, les virgules, les abréviations (K, M, B, T) et la notation scientifique.

Tous les autres éléments visuels (titres, polices, couleurs, axe des x) sont standardisés pour éviter les facteurs de confusion.

B. Nouvelles métriques d'évaluation

Les auteurs critiquent la métrique standard RMSF1 pour ne pas pénaliser adéquatement les erreurs visuellement perceptibles. Ils proposent des métriques TBE (Tick-Based Error) :

$DTBE$ (Distance basée sur les graduations) : Normalise l'erreur absolue ( $|g - p|$ ) par l'intervalle de graduation mineure ( $t$ ), plutôt que par la valeur de vérité terrain.
$DTBE(g, p) = \min\left(1, \frac{|g - p|}{t}\right)$
$RMSTBE_{F1}$ : Une variante du score F1 utilisant $DTBE$ pour l'alignement numérique, supprimant les pénalités d'en-tête pour se concentrer sur la précision des données.
$RMSTBE_{F1}$ -Sig : Se concentre uniquement sur les déviations « significatives » où l'erreur dépasse l'intervalle de graduation mineure.
SES (Score d'erreur d'échange) : Mesure les erreurs structurelles où les valeurs sont correctement extraites mais attribuées à la mauvaise entité (fréquent dans les lignes qui se croisent), calculé comme la différence entre un score d'appariement de coût minimal et le $RMSTBE_{F1}$ standard.

3. Configuration expérimentale

Le cadre a été utilisé pour évaluer cinq modèles de l'état de l'art :

Propriétaires (Closed-Source) : GPT-4o, Gemini-2.0-flash.
Open-Source : Pixtral-12B.
Spécialisés/Supervisés : DePlot (spécifique graphique-vers-tableau), ChartGemma, et TinyChart (compréhension générale des graphiques).

Les expériences ont impliqué des tests statistiques appariés (test de rang signé de Wilcoxon) pour comparer les performances à travers différentes configurations de biais.

4. Résultats et découvertes clés

RQ1 : Impact des informations de l'axe des y

Longueur des chiffres : Les performances se dégradent généralement à mesure que la longueur des chiffres augmente.
- DePlot et TinyChart montrent des baisses significatives aux longueurs de chiffres plus élevées (par exemple, 11, 15, 16).
- GPT-4o performe le pire dans l'ensemble et présente un fort biais contre les longues longueurs de chiffres.
- Gemini est le plus robuste mais montre tout de même une tendance à la baisse.
Graduations principales : Tous les modèles performent le pire avec 3 graduations principales. Les modèles propriétaires (Gemini, GPT-4o) s'améliorent avec 11 graduations, tandis que les modèles open-source ne montrent aucune tendance uniforme.
Plage de valeurs :
- DePlot a du mal avec les origines négatives et les plages étendues.
- TinyChart excelle lorsque l'axe croise zéro mais échoue avec des origines déplacées.
- Gemini reste constant sur la plupart des plages mais chute significativement avec les plages étendues.
Formats de nombres :
- Les abréviations (K, M, B, T) provoquent des chutes dramatiques de performance pour presque tous les modèles (par exemple, TinyChart chute d'environ 80 % à environ 26 %).
- La notation scientifique impacte également négativement de nombreux modèles, bien que DePlot et TinyChart la gèrent mieux que les abréviations.

RQ2 : Autres facteurs (Entités et types de graphiques)

Nombre d'entités : À mesure que le nombre d'entités (1–6) augmente, les performances déclinent généralement en raison d'une probabilité accrue de croisements de lignes.
- Scores SES : Des modèles comme DePlot et TinyChart montrent des erreurs d'échange élevées (confusion des entités) avec 5–6 entités.
- Gemini et Pixtral sont plus robustes face à l'augmentation du nombre d'entités.
Types de graphiques : Lorsque les données sous-jacentes sont identiques, les différences de performance entre les graphiques en ligne, en points et en barres sont statistiquement significatives mais moins prononcées que les biais de l'axe des y.

RQ3 : Impact de l'incitation avec des indices sur l'axe des y

Fournir explicitement les valeurs de graduation de l'axe des y dans le prompt améliore considérablement les performances de certains modèles.
Pixtral a vu des gains allant de 0,94 % à 26,60 %.
Gemini a montré une amélioration spectaculaire (de 46,54 % à 61,32 %) spécifiquement lors du traitement de formats abrégés, suggérant que l'indice aide à décoder des formats non standard.

5. Importance et contributions

Identification de biais cachés : L'article révèle systématiquement que les caractéristiques de l'axe des y (longueur des chiffres, nombre de graduations, formats) sont des sources majeures, précédemment inexplorées, de biais dans les MLM.
Cadre FairChart2Table : Un référentiel reproductible et une méthodologie pour générer des jeux de données contrôlés pour les biais, permettant aux chercheurs d'isoler des variables spécifiques.
Métriques améliorées : L'introduction de métriques basées sur TBE ( $RMSTBE_{F1}$ ) fournit une évaluation plus visuellement précise des erreurs de traduction graphique-vers-tableau par rapport aux métriques textuelles traditionnelles.
Conseils pratiques : L'étude démontre que l'ingénierie de prompt (fournir des indices sur l'axe des y) peut atténuer des biais spécifiques, en particulier pour la gestion des abréviations et des longueurs de chiffres complexes.

6. Limitations

Le jeu de données est synthétique (généré via Bokeh) et n'inclut pas d'images de graphiques réels et bruyants.
Tout le texte (graphiques et légendes) est en anglais.
L'étude se concentre exclusivement sur les biais de l'axe des y, et non sur d'autres éléments du graphique.

Conclusion

Les auteurs concluent que les MLM actuels sont hautement sensibles aux configurations de l'axe des y, échouant souvent sur des données avec des longueurs de chiffres élevées ou des formats non standard. Le cadre FairChart2Table fournit un outil nécessaire pour développer des modèles plus robustes et exempts de biais pour la compréhension des graphiques, et suggère qu'un contexte explicite de l'axe des y peut être un levier puissant pour améliorer la précision des modèles.