💬 NLP

Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance

Cet article présente DiSCo et Table-GLS, un cadre novateur qui améliore efficacement les capacités de raisonnement sur les tableaux des modèles vision-langage de grande taille en dissociant l'alignement structurel et sémantique et en utilisant une inférence guidée par la structure, le tout sans nécessiter d'entraînement supervisé coûteux ni d'outils externes.

Auteurs originaux : Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent et bien informé (un grand modèle vision-langage) comment lire une feuille de calcul désordonnée et complexe. Le robot est excellent pour lire des livres et regarder des images, mais lorsqu'il voit un tableau, il se perd. Il tente de tout lire d'un coup, confondant la forme du tableau (l'emplacement des lignes et des colonnes) avec les mots à l'intérieur des cellules. C'est comme essayer d'apprendre la disposition d'une nouvelle ville tout en essayant simultanément de mémoriser chaque panneau de rue ; le cerveau est surchargé.

Ce papier présente une nouvelle méthode pour enseigner au robot, appelée DISCO et Table-GLS, qui fonctionne comme un processus de « découplage » en deux étapes.

Le Problème : Le Désordre « Enchevêtré »

Les méthodes actuelles tentent d'enseigner au robot en lui montrant une image du tableau et sa version textuelle (comme HTML ou Markdown) simultanément. L'article soutient que c'est comme essayer d'apprendre à conduire une voiture en fixant le moteur et le volant en même temps. Le robot peine à séparer le squelette (les lignes de grille, les lignes et les colonnes) de la chair (les chiffres et les mots réels). Parce qu'ils sont si étroitement mélangés, le robot fait souvent des erreurs de prédiction ou se perd dans des tableaux complexes qu'il n'a jamais vus auparavant.

La Solution : « Découpler le Squelette et la Chair »

Les auteurs proposent un cadre qui sépare ces deux tâches, tout comme un architecte dessine d'abord les plans (le squelette) avant que le décorateur d'intérieur ne choisisse les meubles (la chair).

Étape 1 : DISCO (L'Architecte)

DISCO signifie Orientation Désenchevêtrée Structure–Contenu. Il enseigne au robot à regarder un tableau en deux phases distinctes :

Apprendre le Squelette (Alignement Structurel) : On montre au robot une image de tableau, mais tout le texte à l'intérieur est remplacé par un espace réservé générique comme « contenu ». On demande au robot de décrire uniquement la forme : « Ce tableau a 5 lignes et 3 colonnes. Il y a un en-tête en haut. » Il apprend la mise en page sans se laisser distraire par les mots spécifiques.
Apprendre la Chair (Alignement du Contenu) : Une fois que le robot connaît la forme, on lui apprend à remplir les blancs. Il apprend à dire : « Dans la ligne 1, colonne 2, le mot est 'Pomme'. »

En séparant ces éléments, le robot apprend d'abord la « carte » du tableau, puis apprend à lire les « repères » sur cette carte. Cela le rend beaucoup plus performant pour comprendre des tableaux qu'il n'a jamais vus auparavant.

Étape 2 : Table-GLS (Le Détective)

Une fois que le robot comprend mieux le tableau, les auteurs introduisent Table-GLS (raisonnement guidé par la structure du global vers le local). C'est une nouvelle façon pour le robot de répondre à des questions sans avoir besoin d'outils coûteux ou d'entraînement supplémentaire.

Imaginez cela comme un détective résolvant une énigme :

Exploration Globale : Au lieu de plonger directement dans les détails, le détective examine d'abord toute la scène de crime (le tableau entier) pour déterminer où pourraient se trouver les indices. « Je dois regarder la colonne 'Ventes' et la ligne '2023'. »
Auto-affinement : Le détective fait une pause et se demande : « Ai-je choisi les bons indices ? Ai-je besoin de plus ? » Si le plan est erroné, il le corrige avant de continuer.
Extraction Locale et Raisonnement : Enfin, le détective découpe le tout petit morceau de papier (le sous-tableau) contenant les indices pertinents et résout le problème mathématique ou logique en utilisant uniquement ce petit morceau.

Cela empêche le robot de se confondre avec des données non pertinentes ou d'inventer des faits parce qu'il regarde trop d'informations d'un coup.

Pourquoi Cela Compte

L'article affirme que cette approche est efficiente et légère :

Pas d'Outils Lourds : Elle ne nécessite pas de logiciels externes ni de code complexe pour fonctionner ; le robot le fait tout seul.
Moins de Données Nécessaires : Elle obtient d'excellents résultats avec seulement 10 000 exemples, alors que d'autres méthodes pourraient en nécessiter 100 000 ou plus.
Meilleure Généralisation : Parce qu'elle apprend le « squelette » séparément, elle peut gérer des mises en page de tableaux étranges, complexes ou inédits bien mieux que les méthodes précédentes.

Le Résultat

Dans leurs tests, cette nouvelle méthode a aidé le robot à comprendre et à raisonner sur les tableaux de manière significativement meilleure qu'auparavant. Elle s'est révélée particulièrement efficace pour :

Trouver des cellules spécifiques dans une grille.
Répondre à des questions sur des tableaux financiers ou scientifiques complexes.
Gérer des tableaux qu'il n'avait jamais vus auparavant (structures inédites).

En bref, l'article enseigne au robot à arrêter d'essayer d'avaler le tableau entier d'un coup. Au lieu de cela, il apprend au robot à d'abord comprendre la grille, puis à trouver la pièce spécifique du puzzle dont il a besoin, et enfin à résoudre le problème avec cette pièce spécifique. Cela rend le robot plus intelligent, plus rapide et plus fiable lorsqu'il traite des tableaux de données.

Résumé technique : Découplage du squelette et de la chair : Raisonnement multimodal efficace sur les tableaux avec alignement désenchevêtré et guidage sensible à la structure

Énoncé du problème

Le raisonnement sur les images de tableaux reste un défi majeur pour les grands modèles vision-langage (LVLM) en raison de la complexité des mises en page et de la nature étroitement couplée des informations structurelles (lignes, colonnes, disposition) et du contenu sémantique (valeurs des cellules). Les approches existantes pour adapter les LVLM au raisonnement sur les tableaux se divisent généralement en deux catégories, toutes deux présentant des limites :

Ajustement fin supervisé (SFT) ou apprentissage par renforcement (RL) : Ces méthodes nécessitent souvent des annotations expertes étendues et coûteuses pour les données de raisonnement sur les tableaux. Elles risquent l'oubli catastrophique des capacités originales du modèle et souffrent de coûts d'entraînement élevés.
Raisonnement augmenté par des outils : Ces méthodes s'appuient sur des outils externes (par exemple, éditeurs visuels, exécuteurs symboliques, analyseurs de tableaux) pour orienter explicitement l'attention et le raisonnement. Bien qu'efficaces, elles augmentent la complexité du système, la latence d'inférence et ne parviennent pas à améliorer la capacité intrinsèque du modèle à comprendre la structure.

La question de recherche centrale abordée est la suivante : Comment adapter les LVLM au raisonnement sur les tableaux avec un coût d'annotation minimal et sans dépendance à des outils externes ?

Méthodologie

Les auteurs proposent un cadre efficace comprenant deux composantes principales : DISCO (alignement désenchevêtré Structure–Contenu) et Table-GLS (raisonnement guidé par la structure du global au local).

1. DISCO : Alignement désenchevêtré Structure–Contenu

L'idée centrale de DISCO est de séparer explicitement l'abstraction structurelle de l'ancrage sémantique lors de l'alignement multimodal. Au lieu d'aligner les images de tableaux avec du texte linéarisé (par exemple, HTML, Markdown) où la structure et le contenu sont entremêlés, DISCO décompose l'alignement en objectifs complémentaires :

Alignement de la structure : Le modèle est entraîné à prédire une représentation de structure ( $T_S$ ) dérivée en anonymisant tout le contenu des cellules dans la représentation textuelle (en les remplaçant par un jeton de remplacement) tout en préservant les jetons de mise en page (délimiteurs, en-têtes, marqueurs de fusion). Cela force le LVLM à apprendre les dispositions des tableaux indépendamment de la sémantique des cellules.
Alignement du contenu : Celui-ci est divisé en deux niveaux pour ancrer la sémantique sur la structure apprise :
- Alignement global du contenu : Le modèle génère une description semi-structurée légère du tableau, incluant le nombre total de lignes/colonnes et un résumé du contenu des lignes/colonnes.
- Alignement local du contenu : Le modèle est entraîné à identifier et décrire le contenu textuel associé à des coordonnées structurelles spécifiques (par exemple, « Ligne $m$ Colonne $n$ : [contenu] »).

Ce désenchevêtrement permet aux LVLM de transférer leur compréhension sémantique existante vers les structures de tableaux avec une supervision supplémentaire minimale.

2. Table-GLS : Raisonnement guidé par la structure du global au local

S'appuyant sur les représentations améliorées de DISCO, Table-GLS est un cadre d'inférence sans entraînement ni outils qui guide le LVLM à travers un processus de raisonnement en trois étapes :

Exploration de la structure globale : Étant donné une image de tableau et une question, le modèle analyse la disposition globale pour identifier les indices de lignes et de colonnes pertinents pour la tâche ( $R$ et $C$ ) et formule un plan de raisonnement ( $T_t$ ). Cela impose une décision de « où regarder » avant l'extraction du contenu.
Extraction auto-affinée de sous-tableaux : Le modèle évalue l'adéquation du plan initial. Si nécessaire, il réviser le plan et extrait un sous-tableau minimal ( $T_{sub}$ ) ne contenant que les preuves requises pour répondre à la question. Cette étape inclut une auto-réflexion pour prévenir la propagation des erreurs.
Raisonnement ancré sur les preuves : La réponse finale est générée en raisonnant sur le sous-tableau extrait en tant que preuve vérifiable, tout en conservant l'image d'origine comme contexte auxiliaire pour l'ancrage visuel. Cela contraint le raisonnement aux données pertinentes pour la tâche, réduisant les corrélations fallacieuses.

Contributions clés

L'article revendique les contributions suivantes :

Cadre DISCO : Un cadre d'alignement désenchevêtré qui améliore la compréhension des LVLM de la structure et du contenu des tableaux, en particulier pour les mises en page complexes et inédites, en séparant l'apprentissage de la structure de l'ancrage du contenu.
Cadre Table-GLS : Une méthode d'inférence du global au local qui permet un raisonnement précis sur les tableaux au moment de l'inférence sans outils externes ni ajustement fin supplémentaire, en utilisant une approche structurée d'exploration et ancrée sur les preuves.
Performance robuste : Les méthodes proposées réalisent des améliorations robustes sur 21 tâches de compréhension et de raisonnement sur les tableaux, démontrant une forte généralisation aux structures de tableaux inédites avec des données minimales (10 000 images pour l'alignement).

Résultats expérimentaux

Le cadre a été évalué sur 21 tâches à travers des benchmarks divers (par exemple, MMTab, WTQ, HiTab, TAT-QA, TabFact, PubHealthTab) en utilisant divers LVLM (Gemma3, Qwen3-VL, LLaVA).

Compréhension des tableaux : DISCO a constamment amélioré les performances sur tous les modèles et tâches évalués. Notamment, il a obtenu des résultats comparables ou supérieurs à ceux de modèles entraînés sur 97 000 images en utilisant uniquement 10 000 images pour l'alignement. Il a montré une force particulière dans les tâches sensibles à la structure (détection de la taille du tableau, localisation des cellules) et dans les paramètres hors distribution (OOD).
Raisonnement sur les tableaux : La combinaison de DISCO avec Table-GLS a produit les meilleurs scores moyens. Le cadre a nettement surpassé les bases de réponse directe et a égalé ou dépassé des LVLM fortement optimisés (par exemple, Table-R1, HIPPO) sur plusieurs benchmarks, en particulier les ensembles de données OOD comme AIT-QA et PubHealthTab.
Généralisation : La méthode a amélioré les performances sur des tâches non tabulaires (ScienceQA, HallusionBench) par rapport à un alignement textuel standard, suggérant que l'alignement désenchevêtré aide à former des représentations internes réutilisables plutôt que de provoquer une sur-spécialisation.
Efficacité : Bien que Table-GLS implique une génération multi-étapes, il évite la latence élevée et la complexité des méthodes augmentées par des outils (par exemple, REFOCUS) et réalise un compromis favorable entre le temps d'inférence et la précision.

Importance et revendications

L'article présente ce travail comme une solution évolutive et efficace en termes de données pour le raisonnement multimodal sur les tableaux. En découplant le « squelette » (structure) de la « chair » (contenu), les auteurs démontrent que les LVLM peuvent être adaptés au raisonnement tabulaire complexe sans les coûts prohibitifs d'un entraînement supervisé à grande échelle ni la surcharge architecturale des outils externes. Le cadre fait émerger efficacement les capacités de raisonnement intrinsèques des LVLM, leur permettant de généraliser aux structures de tableaux inédites et de maintenir une robustesse face à des mises en page diverses. Les auteurs concluent que la modélisation explicite structure-contenu et un raisonnement léger guidé par la structure sont essentiels pour faire progresser les performances des LVLM dans les domaines des données structurées.