💬 NLP

ViTaB-A: Evaluating Multimodal Large Language Models on Visual Table Attribution

L'article ViTaB-A révèle que, bien que les grands modèles de langage multimodaux parviennent à répondre à des questions sur des tableaux structurés, leur capacité à attribuer précisément les sources de ces réponses (lignes et colonnes) reste très faible et peu fiable, limitant ainsi leur utilisation dans des applications nécessitant transparence et traçabilité.

Auteurs originaux : Yahia Alqurnawi, Preetom Biswas, Anmol Rao, Tejas Anvekar, Chitta Baral, Vivek Gupta

Publié 2026-02-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yahia Alqurnawi, Preetom Biswas, Anmol Rao, Tejas Anvekar, Chitta Baral, Vivek Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Détective et son Cahier de Notes : Pourquoi les IA "savent" mais ne "savent pas expliquer"

Imaginez que vous avez un super détective (c'est l'IA, ou "Modèle de Langage Multimodal") qui travaille pour vous. Ce détective est très intelligent : il peut lire des tableaux complexes, des documents JSON (des fichiers de données) et même des photos de tableaux.

Le problème ? Ce détective a un défaut majeur : il donne souvent la bonne réponse, mais il ne peut pas montrer où il a trouvé l'information.

C'est exactement ce que les chercheurs de l'Arizona State University ont découvert avec leur nouveau test, appelé ViTaB-A. Voici l'histoire de leur découverte, expliquée avec des analogies simples.

1. Le Test : "Montrez-moi la preuve !" 🧐

Habituellement, on demande à l'IA : "Quel est le chiffre d'affaires de l'entreprise X en 2023 ?"
L'IA répond : "10 millions."
C'est bien, mais dans le monde réel (banque, santé, droit), ce n'est pas assez. On veut savoir : "Sur quelle ligne et dans quelle colonne du tableau as-tu vu ce chiffre ?"

C'est ce qu'on appelle l'attribution (ou la citation). Les chercheurs ont créé un jeu de questions où l'IA doit non seulement répondre, mais aussi pointer du doigt la case exacte du tableau qui justifie sa réponse.

2. Le Résultat Choc : L'IA est un menteur confiant 🤥

Les résultats sont surprenants :

Pour répondre à la question : L'IA est plutôt bonne (environ 50 à 60% de réussite). C'est comme si le détective trouvait le coupable 6 fois sur 10.
Pour montrer la preuve : L'IA est terrible. Sa réussite chute drastiquement, parfois jusqu'à 1% pour les fichiers JSON ! C'est comme si le détective disait : "C'est bien le coupable, mais je ne sais pas où j'ai vu son visage, je l'ai juste deviné."

L'analogie du restaurant :
Imaginez un serveur (l'IA) qui vous apporte le plat parfait que vous avez commandé. C'est délicieux ! Mais quand vous lui demandez : "Où exactement dans la cuisine l'ont-ils préparé ?", il vous répond : "Je ne sais pas, mais c'était bon."
Pour un client exigeant, ce service est inacceptable, même si le plat est bon.

3. Le Format Compte : Les Images sont plus faciles que le Texte 🖼️ vs 📝

Les chercheurs ont testé l'IA avec trois types de tableaux :

Des images (une photo d'un tableau).
Du texte structuré (Markdown, comme un tableau dans un document Word).
Du code (JSON, un format très technique pour les ordinateurs).

La découverte étrange :

L'IA est meilleure pour pointer la preuve sur une image. Pourquoi ? Parce qu'elle peut "voir" les lignes et les colonnes comme nous le faisons avec nos yeux. C'est comme lire une carte routière imprimée.
L'IA est désastreuse avec le JSON. C'est comme si on lui donnait une liste de coordonnées GPS sans carte. Elle perd tout repère visuel.
Le paradoxe : L'IA donne souvent la bonne réponse en lisant du texte (JSON), mais elle échoue totalement à montrer où elle l'a trouvée. Elle devine la réponse sans comprendre la structure.

4. Les Lignes vs Les Colonnes : L'IA est plus forte en "Lignes" 📏

Quand l'IA essaie de pointer la preuve, elle est beaucoup plus douée pour trouver la bonne ligne (l'histoire d'une personne ou d'un produit) que la bonne colonne (le type d'information, comme "Date" ou "Prix").

L'analogie :
C'est comme si vous demandiez à quelqu'un de trouver un nom dans une liste de contacts.

Trouver la ligne (le contact "Jean Dupont") est facile.
Trouver la colonne (le numéro de téléphone spécifique parmi l'adresse, l'email et le téléphone) est très difficile pour l'IA. Elle se perd dans les détails techniques.

5. Le Plus Dangereux : La Confiance Trompeuse 😎

C'est peut-être le point le plus inquiétant.
Même quand l'IA se trompe complètement sur l'endroit où elle a trouvé l'information, elle reste très confiante.

Elle dit : "Je suis sûr à 90% que c'est ici !" alors qu'elle pointe au hasard.
Les chercheurs ont vérifié si l'IA savait dire "Je ne suis pas sûr". Non. Son niveau de confiance ne correspond pas à sa justesse.

L'analogie du joueur de poker :
Imaginez un joueur de poker qui bluffe. Il a une main nulle (mauvaise attribution), mais il mise tout en criant : "Je suis sûr de gagner !" (haute confiance). C'est très dangereux pour vous, car vous croyez son assurance.

🎯 En Résumé : Pourquoi est-ce important ?

Ce papier nous dit que les IA actuelles sont comme des élèves brillants qui trichent. Ils savent souvent donner la bonne réponse finale (parce qu'ils ont lu beaucoup de livres), mais ils ne savent pas expliquer leur raisonnement ni montrer leurs sources.

Pourquoi cela compte ?
Dans des domaines sérieux comme la médecine (diagnostic), la finance (investissements) ou la justice (preuves), on ne peut pas se contenter d'une réponse "qui a l'air juste". Il faut pouvoir vérifier la source. Si l'IA ne peut pas pointer la case exacte du tableau, on ne peut pas lui faire confiance pour prendre des décisions importantes.

La leçon :
Il ne suffit pas d'entraîner les IA à être plus intelligentes pour répondre aux questions. Il faut les entraîner spécifiquement à être honnêtes et précises sur l'origine de leurs informations. Pour l'instant, elles sont encore trop souvent des "devineurs confiants".

Résumé Technique : ViTaB-A

1. Problématique

Les modèles de langage multimodaux (mLLM) sont de plus en plus utilisés pour répondre à des questions sur des données structurées (tableaux au format Markdown, JSON, ou images). Bien que ces modèles parviennent souvent à fournir des réponses correctes, une lacune critique subsiste : la capacité à localiser et citer les preuves spécifiques (lignes et colonnes précises) qui soutiennent ces réponses.

Dans des domaines à haut risque (finance, santé, droit), la simple justesse de la réponse est insuffisante ; la traçabilité et l'auditabilité sont essentielles. L'article met en évidence un décalage empirique majeur : les modèles peuvent générer une réponse correcte tout en échouant à identifier les cellules du tableau qui la justifient. Ce phénomène, appelé attribution, reste mal évalué et peu fiable, limitant l'adoption des mLLM dans des applications nécessitant une transparence totale.

2. Méthodologie

Les auteurs proposent ViTaB-A, un benchmark exhaustif conçu pour évaluer la capacité des mLLM à attribuer des réponses à des cellules spécifiques dans des tableaux.

Données et Représentations : Le benchmark est construit à partir du jeu de données HiTab. Pour chaque instance, le modèle reçoit une question ( $q$ $q$ ), la réponse correcte ( $a$ $a$ ), et le tableau ( $T$ $T$ ). L'objectif n'est pas de générer la réponse, mais de localiser les cellules de soutien. Trois formats d'entrée sont testés :
1. JSON (texte structuré).
2. Markdown (texte structuré).
3. Images (tableaux rendus visuellement, avec des perturbations stylistiques contrôlées comme les couleurs d'en-tête ou les polices).
Modèles Évalués : Une gamme diversifiée de mLLM open-source est testée, incluant les familles Gemma-3, InternVL3.5, Qwen3-VL et Molmo2, couvrant différentes échelles de paramètres (de 2B à 38B). L'analyse se concentre principalement sur les modèles de 4B pour la comparaison standardisée.
Stratégies de Prompting : Les modèles sont évalués sous trois paradigmes : Zero-shot, Few-shot et Chain-of-Thought (CoT).
Métriques d'Évaluation :
- Précision Statistique : Mesure de la précision au niveau de la cellule, de la ligne et de la colonne (Précision, Rappel, F1).
- Alignement Confiance-Précision : Comparaison entre la confiance interne (probabilité des tokens générés) et la certitude verbalisée (le modèle estimant sa propre certitude via un prompt spécifique). L'alignement est mesuré par le Score de Brier.

3. Contributions Clés

Benchmark ViTaB-A : Première évaluation systématique de l'attribution visuelle de tableaux à travers plusieurs modalités (texte, JSON, image) et familles de modèles open-source.
Analyse de l'Alignement Confiance : Évaluation inédite de la corrélation entre la confiance interne et la certitude verbalisée dans le contexte de l'attribution de données structurées.
Démonstration de la Distinction des Capacités : Preuve empirique que la capacité à répondre à une question (QA) et la capacité à citer la source (Attribution) sont des compétences distinctes et non corrélées chez les mLLM actuels.

4. Résultats Principaux

Les résultats révèlent des lacunes significatives dans les capacités d'attribution des modèles actuels :

Écart QA vs Attribution : Alors que la précision des réponses (QA) se situe entre 48 % et 55 %, la précision d'attribution chute drastiquement, souvent en dessous de 30 %. Pour les entrées JSON, l'attribution est proche du hasard (~1 %).
Impact de la Modalité :
- Les modèles performent mieux sur les images (attribution ~33 %) que sur les formats textuels.
- Le format JSON est le plus difficile, suggérant que les modèles peinent à déduire la structure hiérarchique à partir de séquences de texte sans repères visuels.
- Paradoxalement, la précision QA est souvent meilleure en texte qu'en image, confirmant que la génération de réponse ne nécessite pas le même ancrage spatial que l'attribution.
Lignes vs Colonnes : Les modèles sont nettement meilleurs pour identifier les lignes (environ 1,3 à 2 fois plus précis) que les colonnes. Cela indique une difficulté persistante dans le "lien de schéma" (schema linking) et la localisation fine des champs au sein d'un enregistrement.
Défaillance de la Confiance : Il n'y a aucune corrélation forte entre la confiance du modèle (interne ou verbalisée) et la justesse de son attribution. Les modèles expriment une confiance élevée même lorsqu'ils citent les mauvaises cellules, rendant la confiance inutilisable comme indicateur de fiabilité pour l'audit.
Variabilité des Modèles : Des différences notables existent entre les familles de modèles (ex: InternVL3.5-4b montre les meilleures performances globales), indiquant que l'architecture influence fortement le comportement d'attribution.

5. Signification et Implications

Cette étude met en lumière un risque majeur pour le déploiement des mLLM dans des secteurs régulés :

Illusion de Fiabilité : Un modèle peut sembler fiable sur les benchmarks de QA classiques tout en étant totalement inapte à fournir des preuves traçables.
Limites des Méthodes Actuelles : L'ajout de prompts (CoT, Few-shot) ou l'augmentation de la taille du modèle ne comble pas l'écart d'attribution.
Nécessité de Réorientation : Les objectifs d'entraînement actuels (optimisation pour la réponse correcte) ne favorisent pas l'attribution fidèle. Les auteurs concluent que l'attribution doit devenir un objectif de premier ordre dans le processus d'entraînement (via des signaux de perte spécifiques à la localisation de cellules) et que les benchmarks futurs doivent intégrer l'évaluation de la traçabilité pour garantir la sécurité et la confiance des utilisateurs.

En résumé, ViTaB-A démontre que les mLLM actuels ne sont pas encore prêts pour des applications exigeant une transparence totale sur les données structurées, car leur capacité à justifier leurs réponses par des preuves précises reste fondamentalement défaillante.