💬 NLP

Encoded but Not Routed: Explaining the Table-Chart Gap in Scientific Claim Verification

Cet article étudie l'écart de performance dans la vérification de revendications scientifiques entre les preuves sous forme de tableaux et de graphiques, révélant que les LLM multimodaux encodent avec succès les informations des graphiques dans les couches intermédiaires mais échouent à les acheminer vers la position de prédiction, ce qui indique un déficit de routage plutôt qu'un déficit d'encodage.

Auteurs originaux : Sunisth Kumar, Xanh Ho, Tim Schopf, Andre Greiner-Petter, Florian Boudin, Akiko Aizawa

Publié 2026-06-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sunisth Kumar, Xanh Ho, Tim Schopf, Andre Greiner-Petter, Florian Boudin, Akiko Aizawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un juge essayant de décider si l'affirmation d'un scientifique est vraie. Vous disposez de deux preuves : un tableur (un tableau) et un graphique (un diagramme) présentant exactement les mêmes chiffres.

Vous vous attendriez à ce qu'un programme informatique intelligent (une IA multimodale) prenne la même décision, qu'il regarde le tableur ou le graphique. Mais voici le problème : l'IA est excellente pour lire le tableur, mais elle se laisse souvent confondre par le graphique, même si les données sont identiques.

Cette étude pose la question suivante : Pourquoi cela se produit-il ?

L'IA est-elle « aveugle » au graphique (elle ne voit pas les données) ? Ou est-elle « distraite » (elle voit les données mais oublie de les utiliser lors de sa décision finale) ?

L'enquête : Regarder à l'intérieur de la boîte noire

Les chercheurs ont traité l'IA comme une boîte mystérieuse. Au lieu de simplement demander à l'IA une réponse, ils ont scruté son « cerveau » couche par couche pour voir comment l'information circule. Ils ont utilisé deux outils principaux :

Le « Sondage Linéaire » (La lampe de poche du détective) :
Imaginez que le cerveau de l'IA soit un long couloir avec de nombreuses pièces (couches). Les chercheurs ont placé un petit détective (un sondeur) dans chaque pièce pour demander : « Connaissez-vous déjà la réponse ? »
- Le constat : Lorsque l'IA regardait un graphique, le détective trouvait la réponse cachée dans les pièces du milieu. L'information était bien là ! Cependant, au moment où l'information atteignait la toute dernière pièce (là où la réponse finale est écrite), elle avait disparu.
- L'analogie : C'est comme un chef qui coupe parfaitement les légumes (encodage des données) mais qui oublie ensuite de les mettre dans la soupe avant de la servir. Les ingrédients étaient là, mais ils n'ont pas atteint le plat final.
La « Carte d'Attention » (Suivre le regard) :
Les chercheurs ont également suivi ce que l'IA « regardait » lorsqu'elle prenait sa décision.
- Le constat : Ils ont découvert deux types d'« oubli », selon la famille d'IA testée :
  - Le « Regard Évité » (modèles Qwen) : Ces modèles regardaient à peine le graphique. Ils jetaient un coup d'œil au graphique et détournaient immédiatement leur attention vers le texte, ignorant totalement les preuves visuelles. C'est comme un étudiant passant un examen qui jette un coup d'œil au diagramme mais ne lit que la question, manquant ainsi l'image cruciale.
  - Le « Regard Distrait » (modèle InternVL) : Ce modèle regardait le graphique. Il fixait intensément les données. Mais même s'il voyait les chiffres, il ne parvenait pas à les relier à la réponse finale. C'est comme un étudiant qui étudie attentivement le diagramme, mais qui se retrouve ensuite confus en essayant de rédiger l'essai, échouant à utiliser les notes qu'il vient de prendre.

La grande conclusion

L'article conclut que l'IA n'est pas « aveugle » aux graphiques. L'information est capturée et stockée avec succès au milieu du cerveau de l'IA. Le problème est celui du routage.

Considérez le cerveau de l'IA comme un bureau très occupé :

Les tableaux sont comme un mémo qui est tamponné, classé et livré directement sur le bureau du patron.
Les graphiques sont comme un mémo qui est tamponné et classé, mais qui se perd ensuite dans le service du courrier. Le patron ne le voit jamais, même si le service du courrier le possède.

Les chercheurs ont découvert que pour les graphiques, l'information est encodée mais ne parvient pas à atteindre la « position de prédiction » où la décision finale est prise. Il s'agit d'un échec de la manière dont l'information est délivrée, et non d'un échec de la manière dont elle est vue.

Résumé en une phrase

L'IA peut « voir » le graphique et stocker les données, mais elle échoue à transmettre cette information à la partie de son cerveau qui prend la décision finale, ce qui la fait moins bien performer sur les graphiques que sur les tableaux.

Résumé technique : Encodé mais non routé

Énoncé du problème

Les modèles de langage de grande taille multimodaux (VLM) sont de plus en plus déployés pour la vérification de revendications scientifiques, une tâche qui consiste à déterminer si une affirmation est soutenue ou réfutée par des preuves dans des articles de recherche. Des travaux antérieurs ont établi un écart de performance significatif : les modèles sont nettement plus performants lorsque la preuve est présentée sous forme de tableau que lorsqu'elle est présentée sous forme de graphique, même lorsque les données sous-jacentes sont identiques.

La question centrale abordée par cet article est de savoir si cet « écart tableau-graphique » provient d'un échec perceptif (le modèle échoue à extraire ou à encoder l'information visuelle des graphiques) ou d'un échec d'utilisation (le modèle encode l'information mais échoue à la router efficacement vers l'étape de prédiction). Distinguer ces deux cas est crucial, car ils nécessitent des interventions fondamentalement différentes (par exemple, de meilleurs encodeurs de vision versus des changements architecturaux dans le routage de l'information).

Méthodologie

Les auteurs emploient une approche diagnostique utilisant le probing linéaire par couche et l'analyse de l'attention sur trois VLM à poids ouverts (Qwen2.5-VL-7B, Qwen2.5-VL-32B et InternVL3-8B) issus de deux familles de modèles distinctes.

Jeu de données : L'étude utilise SciTabAlign+, un benchmark contrôlé par le contenu associant 162 revendications scientifiques uniques à des preuves sémantiquement équivalentes sous deux formats : des tableaux JSON structurés et quatre variantes de graphiques (barres simples, barres à symboles, lignes et graphiques inversés).
Probing linéaire :
- Objectif : Déterminer si des signaux pertinents pour la tâche (Soutenu/Réfuté) sont décodables à partir des états cachés intermédiaires.
- Paramètres : Les sondes (probes) sont entraînées à chaque couche $l$ $l$ en utilisant deux stratégies d'agrégation :
  - Dernier jeton (Last-token) : Utilisation de l'état caché du dernier jeton d'entrée (la position de prédiction).
  - Moyenne (Mean-pool) : Moyenne des états cachés sur tous les jetons d'entrée pour capturer l'information distribuée.
- Contrôle : Des sondes sont également entraînées sur le texte de la revendiction seule pour exclacer toute fuite textuelle.
- Métrique : Aire sous la courbe ROC corrigée par la direction (AUROC).
Analyse de l'attention :
Les auteurs calculent la fraction de l'attention que le dernier jeton dirige vers les jetons d'image, normalisée par la ligne de base proportionnelle (le ratio des jetons d'image par rapport au total des jetons). Cela mesure si le modèle prête attention aux preuves graphiques en proportion de leur présence dans l'entrée.
Ablation par Chaîne de Pensée (CoT) :
Les modèles sont incités à décrire verbalement le graphique avant de faire une prédiction pour tester si la verbalisation explicite comble l'écart.

Résultats clés

1. L'information du graphique est encodée mais non routée

La conclusion principale est que les signaux pertinents pour le graphique sont récupérables à partir des représentations intermédiaires mais échouent à atteindre la position de prédiction.

Mean-pool vs. Last-token : Les sondes par moyenne (mean-pooled) atteignent une AUROC élevée (84–89 %) sur les variantes de graphiques à travers tous les modèles, surpassant nettement les sondes par dernier jeton (64–73 %). En revanche, les preuves sous forme de tableau montrent la tendance inverse, avec des sondes par dernier jeton plus performantes.
Dissociation : Un classifieur linéaire entraîné sur les représentations moyennées surpasse souvent la propre précision d'inférence du modèle sur les variantes de graphiques (ex. : InternVL3-8B : 79,0 % de précision de la sonde contre 56,2 % de précision du modèle). Cela confirme que l'information est présente dans les états internes du modèle, mais qu'elle n'est pas utilisée efficacement pour la décision finale.

2. Modes de défaillance distincts selon les familles de modèles

L'analyse de l'attention révèle que le « défaut de routage » se manifeste différemment selon l'architecture du modèle :

Famille Qwen (Échec de routage) : Ces modèles présentent un sévère échec de routage de l'attention. À la dernière couche, ils ne prêtent attention aux jetons d'image qu'à 4–11 % de la ligne de base proportionnelle. L'évidence du graphique est largement contournée lors de la formation de la prédiction.
InternVL3-8B (Échec d'intégration) : Ce modèle maintient une attention quasi proportionnelle aux jetons d'image (93 % de la ligne de base) tout au long de la plupart des couches. Cependant, il échoue tout de même à surpasser sa propre sonde par moyenne. Cela suggère un échec d'intégration post-attention : le modèle prête attention au graphique, mais échoue à intégrer cette information attendue dans la logique de prédiction finale.

3. Impact de la Chaîne de Pensée (CoT)

L'ablation CoT distingue davantage les modes de défaillance :

Modèles Qwen : Le prompting CoT dégrade la performance (la chute du macro-F1 est de 3,3–13,5 %). Puisque ces modèles ne prêtent pas attention au graphique, les forcer à verbaliser le contenu entraîne des hallucinations et des descriptions peu fiables.
InternVL3-8B : Le prompting CoT améliore la performance (augmentation du macro-F1 de 4,6). Cela indique que le modèle peut accéder et décrire le contenu du graphique, mais ne l'utilise pas spontanément pour la prédiction sans instruction explicite.

Signification et contributions

L'article recadre l'écart tableau-graphique non pas comme un échec d'encodage (perception), mais comme un échec de routage (utilisation).

Aperçu diagnostique : L'étude démontre que l'évaluation de la sortie seule est insuffisante pour diagnostiquer la sensibilité au format. Une analyse interne (probing et attention) est nécessaire pour distinguer les modèles qui « ne voient pas » le graphique de ceux qui « voient mais ignorent ».
Spécificité architecturale : Les résultats soulignent que différentes familles de modèles souffrent de mécanismes de défaillance internes distincts. Une intervention unique (par exemple, de meilleurs encodeurs de vision) est peu susceptible de résoudre le problème pour tous les modèles ; au contraire, les solutions doivent traiter les goulots d'étranglement spécifiques de routage ou d'intégration.
Implications pour la vérification : Pour les flux de travail scientifiques à enjeux élevés, la présence d'informations encodées ne garantit pas leur utilisation dans la décision finale. Les chercheurs doivent faire preuve de prudence lors du déploiement de VLM pour la vérification basée sur des graphiques, car les modèles peuvent posséder les informations nécessaires en interne sans les refléter dans leurs sorties.

Les auteurs concluent que l'écart est un « échec de la manière dont l'information visuelle encodée est routée au moment de la prédiction », une conclusion qui nécessite d'examiner le calcul interne plutôt que de se fier uniquement aux métriques de performance de la tâche.