💻 computer science

LEGR: Learnable-Edge Graph Refinement for Table Structure Recognition

Cet article présente LEGR, un cadre de bout en bout pour la reconnaissance de la structure des tableaux qui remplace les heuristiques géométriques statiques par des caractéristiques d'arêtes relationnelles apprenables et un module de raffinement par réseau d'attention sur graphes en cascade afin d'obtenir une performance robuste et invariante au domaine par une correction itérative des prédictions grâce à un raisonnement de mise en page global appris.

Auteurs originaux : Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Publié 2026-08-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le vaste paysage des documents numériques, les tableaux sont les travailleurs de l'ombre de l'information. Ils organisent les rapports financiers, les données scientifiques et les dossiers administratifs en de nets quadrillages de lignes et de colonnes. Pour un lecteur humain, la structure est évidente ; les lignes et l'espacement guident l'œil, facilitant la compréhension du lien entre une valeur dans une cellule et une autre. Pour un ordinateur, cependant, un tableau n'est qu'une collection chaotique de pixels. Pour transformer l'image d'un tableau en données utiles, un logiciel doit accomplir une tâche difficile appelée reconnaissance de la structure de tableau. Il doit déterminer quel texte appartient à la même ligne, lequel appartient à la même colonne, et quelles cellules s'étendent sur plusieurs espaces. Il ne s'agit pas seulement de lire les mots ; il s'agit de comprendre la logique invisible qui maintient la grille ensemble. Sans cette compréhension, un ordinateur ne peut pas extraire les données pour répondre à des questions, analyser des tendances ou construire des bases de données.

Pendant des années, des chercheurs ont tenté d'apprendre aux ordinateurs à voir ces structures en traitant le tableau comme une carte de connexions. Dans cette perspective, chaque morceau de texte est un point sur une carte, et les lignes les reliant représentent des relations telles que « à côté de » ou « au-dessus de ». Le défi a toujours été de décider comment tracer ces lignes. Les méthodes traditionnelles reposaient sur des règles rigides et préétablies basées sur la géométrie. Si deux zones de texte étaient proches l'une de l'autre, l'ordinateur supposait qu'elles étaient connectées. Si elles étaient éloignées, la connexion était ignorée. Cette approche fonctionnait bien pour les tableaux simples et propres, mais échouait souvent face à des mises en page complexes, avec des cellules fusionnées ou des bordures manquantes. L'ordinateur suivait une carte statique qui ne tenait pas compte du contexte unique de chaque document.

Une équipe de chercheurs de l'Université nationale des sciences et technologies du Pakistan a proposé une nouvelle voie. Ils ont développé un système appelé LEGR, qui signifie Learnable-Edge Graph Refinement (Affinement de graphe par arêtes apprenables). Au lieu d'utiliser des règles fixes pour décider quels segments de texte sont liés, LEGR apprend à prendre ces décisions par lui-même. Imaginez un étudiant apprenant à lire une carte : au début, il peut suivre des directions simples, mais avec de la pratique, il apprend à reconnaître des motifs et des relations qui ne sont pas explicitement dessinés sur la page. LEGR fait la même chose. Il commence par une estimation approximative de la structure du tableau, puis améliore de manière itérative cette estimation en apprenant quelles connexions sont les plus importantes.

Le cœur de ce système est le passage de règles statiques à un apprentissage dynamique. Dans les systèmes précédents, l'ordinateur regardait deux zones de texte et mesurait la distance entre elles. Si la distance était faible, il traçait une ligne. LEGR, en revanche, examine le contenu et le contexte des zones de texte pour décider si elles appartiennent ensemble. Il utilise une tâche d'entraînement spéciale où il tente de prédire la différence logique entre deux morceaux de texte connectés. Ce faisant, le système apprend à reconnaître qu'un en-tête en haut d'une page et un point de donnée en bas de page sont liés, même s'ils sont éloignés phys-iquement. Cela permet au système de comprendre le « substrat relationnel » — la logique sous-jacente du tableau — plutôt que de se limiter à la disposition physique.

Une fois que le système a appris ces relations, il affine sa compréhension grâce à un processus en deux étapes. D'abord, il fait une supposition large et initiale sur l'appartenance de chaque morceau de texte dans la grille. Ensuite, il transmet cette information à un réseau qui permet aux différentes parties du tableau de « communiquer » entre elles. Ce réseau corrige les petites erreurs et résout les ambiguïtés. Si le système pense initialement que deux cellules sont sur la même ligne mais réalise qu'elles ne s'alignent pas avec le reste du tableau, il peut changer d'avis. Cette correction itérative se déroule en deux phases, permettant au système de corriger d'abord les erreurs structurelles majeures, puis d'affiner les détails.

Les chercheurs ont testé leur système sur plusieurs grandes collections de tableaux provenant d'articles scientifiques et de rapports financiers. Sur les tests standards, LEGR a obtenu des performances comparables aux meilleures méthodes existantes, atteignant une grande précision dans la reconstruction de la structure des tableaux. Cependant, la découverte la plus significative est survenue lorsqu'ils ont testé le système sur un type de document totalement nouveau qu'il n'avait jamais vu auparavant. Sans entraînement supplémentaire, le système a atteint un taux de réussite de 98,46 % sur ces données inédites. Cela suggère que le système a appris les principes généraux du fonctionnement des tableaux, plutôt que de simplement mémoriser les mises en page spécifiques des documents sur lesquels il a été entraîné.

Pour prouver que leur approche était véritablement supérieure, les chercheurs ont mené une série d'expériences où ils ont remplacé leur système d'apprentissage par des méthodes traditionnelles basées sur des règles. Lorsqu'ils ont remplacé les connexions apprises par un ensemble complet de règles géométriques façonnées à la main, les performances du système ont chuté de manière significative, diminuant d'environ quatre points de pourcentage. Cela a confirmé que la capacité à apprendre les connexions était la clé du succès. De plus, ils ont testé ce qui se passait s'ils connectaient les segments de texte de manière aléatoire au lieu d'utiliser une carte logique. Étonnamment, la performance du système a très peu changé. Cela indique que le système est si efficace pour apprendre les relations à partir du texte lui-même que la manière dont les connexions sont initialement tracées importe très peu. Le système peut déterminer la structure correcte, quelle que soit la façon dont la carte est esquissée au départ.

Les implications de ce travail dépassent la simple lecture de tableaux. Cela démontre que pour les tâches impliquant des relations structurées complexes, apprendre les connexions est plus important que de les concevoir artificiellement. En laissant l'ordinateur découvrir la logique des données plutôt qu'en le forçant à suivre une carte préétablie, les chercheurs ont créé un outil plus robuste et adaptable. Cette approche pourrait éventuellement aider les ordinateurs à comprendre d'autres mises en page complexes, telles que des formulaires ou des documents hiérarchiques, où les relations entre les éléments ne sont pas toujours évidentes. L'étude montre que lorsqu'un système est autorisé à apprendre les règles du jeu, il peut mieux jouer qu'un système à qui l'on se contente de dire comment se déplacer.

Résumé Technique : LEGR - Raffinement de Graphe par Arêtes Apprenables pour la Reconnaissance de la Structure de Tableaux

1. Définition du Problème

La reconnaissance de la structure de tableaux (TSR - Table Structure Recognition) vise à convertir des images de tableaux visuels en structures logiques exploitables par machine (indices de lignes/colonnes et étendues). Bien que la structure physique (boîtes englobantes) puisse être obtenue via l'OCR standard, l'inférence de la structure logique est un problème relationnel complexe.

Les approches existantes basées sur les graphes traitent les cellules comme des nœuds et les relations spatiales comme des arêtes. Cependant, ces méthodes souffrent de deux limitations principales :

Construction de Graphe Statique : Elles reposent sur des heuristiques géométriques artisanales (par exemple, les $k$ -plus proches voisins basés sur les centroïdes des boîtes englobantes) pour définir la connectivité du graphe et les caractéristiques des arêtes. Cela fixe le substrat relationnel avant le début de l'apprentissage, empêissant le modèle de capturer les dépendances non locales (par exemple, l'alignement en-tête-vers-cellule à travers de longues lignes) ou de gérer efficacement les mises en page sans bordures ou avec des cellules fusionnées.
Prédiction à Passage Unique : La plupart des pipelines prédisent la structure finale en un seul passage direct, manquant d'un mécanisme pour réviser les estimations initiales une fois qu'une vue globale du tableau est assemblée.

2. Méthodologie : Cadre LEGR

LEGR (Learnable-Edge Graph Refinement) est un cadre de bout en bout qui apprend la structure du graphe relationnel et affine les prédictions de manière itérative. L'architecture se compose de quatre blocs fonctionnels :

2.1 Encodage Visuel et de Nœud

Backbone Visuel : Un Swin Transformer génère une pyramide de caractéristiques à quatre niveaux. Celles-ci sont fusionnées via un Large-Kernel Pyramid Attention Network (LKP_AN) pour produire une carte de caractéristiques unifiée de stride-4 ( $FFPN$ ) pour la préservation fine des contours et une carte de contexte global de stride-32 ( $C_4$ ).
Plongements de Nœuds (Node Embeddings) : Pour chaque boîte englobante détectée par l'OCR, un plongement initial ( $h_i^{in}$ $h_{i}^{in}$ ) est construit en fusionnant :
- Les caractéristiques visuelles (via RoIAlign sur $FFPN$ ).
- Des plongements géométriques apprenables des coordonnées de la boîte englobante.
- Des encodages positionnels sinusoïdaux 2D absolus.
Encodeur de Contexte : Un encodeur basé sur les transformers traite ces plongements en utilisant l'auto-attention (pour les dépendances inter-segments) et l'attention croisée (injectant le contexte global de $C_4$ ). Cela produit des caractéristiques de nœuds contextualisées ( $H_0$ ).

2.2 Apprentissage des Arêtes Relationnelles

Au lieu de heuristiques statiques, LEGR emploie un Apprenant d'Arêtes Relationnelles (Relational Edge Learner) :

Construction du Graphe : Pendant l'entraînement, un voisinage pour chaque nœud est échantillonné, comprenant à la fois des voisins géométriquement proches et des voisins aléatoires à longue portée pour éviter le surapprentissage de la géométrie locale.
Caractéristiques des Arêtes : Les caractéristiques des arêtes sont générées par un encodeur de contexte partagé et une tête d'arête (MLP). Le vecteur de caractéristiques pour une arête $(v_i, v_j)$ concatène les plongements de nœuds, leur différence et leur produit élément par élément.
Supervision Auxiliaire : La tête d'arête est supervisée par une tâche auxiliaire : la prédiction de la différence de coordonnées logiques (décalages signés pour le début et la fin des lignes et colonnes) entre les nœuds connectés. Cela force le réseau à apprendre des caractéristiques relationnelles sensibles au contexte plutôt qu'à copier de simples décalages de coordonnées brutes.

2.3 Raffinement Itératif en Cascade

LEGR remplace la prédiction à passage unique par un module de raffinement en cascade à deux étapes utilisant des réseaux d'attention de graphes (GAT) :

Étape 1 : Une tête de nœud produit des logits grossiers initiaux ( $L_0$ ). Ceux-ci sont fusionnés avec les caractéristiques de nœud et passés à travers un GAT ( $GAT_1$ ) pour prédire un delta correctif ( $\delta L_1$ ). Les logits raffinés sont $L_1 = L_0 + \delta L_1$ .
Étape 2 : Le processus se répète avec un second GAT ( $GAT_2$ ) opérant sur les caractéristiques de l'étape 1 et l'estimation courante $L_1$ , produisant une correction finale $\delta L_2$ et des logits $L_2 = L_1 + \delta L_2$ .
Cette approche du grossier vers le fin permet au modèle de résoudre d'abord les ambiguïtés structurelles à grande échelle, puis d'effectuer des ajustements locaux plus précis.

2.4 Objectif d'Entraînement

Le modèle est entraîné avec une fonction de perte composite :
$\mathcal{L}_{total} = (1 - \lambda) \mathcal{L}_{coord} + \lambda (\alpha \mathcal{L}_{aux} + \beta \mathcal{L}_{edge})$
Où $\mathcal{L}_{coord}$ agrège les pertes d'entropie croisée pour l'étape initiale et les deux étapes de raffinement, $\mathcal{L}_{aux}$ est une perte contrastive multi-positive pour regrouper les segments appartenant à la même cellule, et $\mathcal{L}_{edge}$ est la perte d'entropie croisée pour la prédiction de la différence de coordonnées.

3. Contributions Clés

Caractéristiques d'Arêtes Apprenables : Remplace les heuristiques géométriques statiques par un apprenant d'arêtes relationnelles supervisé par une tâche auxiliaire de différence de coordonnées logiques. Cela permet de capturer les dépendances non locales et les relations sensibles au contexte.
Raffinement en Cascade : Introduit un module de raffinement à deux étapes basé sur les GAT qui corrige itérativement les prédictions initiales, permettant au modèle de raisonner globalement et de s'auto-corriger localement.
Raisonnement Invariant au Domaine : Démontre que l'apprentissage du substrat relationnel produit des représentations qui se généralisent bien entre les domaines sans ajustement fin (fine-tuning).

4. Résultats Expérimentaux

LEGR a été évalué sur trois benchmarks : PubTabNet (articles scientifiques), FinTabNet (rapports financiers) et SciTSR (papiers scientifiques).

Performance In-Domain (PubTabNet & FinTabNet) :
- Sur PubTabNet, LEGR a atteint 97,91 TEDS-S, se classant deuxième seulement après TFLOP (98,38) parmi les méthodes de pointe, malgré une architecture non autorégressive.
- Sur FinTabNet, LEGR a atteint 99,10 TEDS-S, à nouveau second après TFLOP (99,56).
- Notamment, LEGR atteint ces résultats sans décodeur HTML autorégressif, offrant un coût d'inférence constant par rapport à la taille du tableau.
Généralisation Cross-Domain (SciTSR) :
- Dans un cadre zero-shot (entraîné sur PubTabNet, testé sur SciTSR sans fine-tuning), LEGR a obtenu un score F1 de 98,46. Cela se situe à 0,84 point de la méthode de pointe entièrement supervisée (ex: LORE à 99,30), démontrant une forte invariance de domaine.
- Avec un fine-tuning, LEGR a atteint 99,39 F1, surpassant les précédentes méthodes basées sur les graphes.
Comparaison avec les Méthodes Basées sur les Graphes :
- LEGR surpasse significativement les méthodes graphiques antérieures telles que NCGM et GraphTSR. Sur PubTabNet, il améliore le TEDS-S de 2,51 points par rapport à NCGM. Sur SciTSR, il améliore le F1 de 5,99 points par rapport à GraphTSR.

5. Études d'Ablation et Analyse

Arêtes Apprenantes vs Artisanales : Remplacer les caractéristiques d'arêtes apprises par une ligne de base artisanale complète (PCEF) a provoqué une chute d'environ 4,0 points de TEDS sur FinTabNet (de 99,10 à 95,13). Cela confirme que les caractéristiques relationnelles pour les mises en page complexes ne sont pas exprimables sous forme de fonctions fixes des boîtes englobantes.
Robustesse de l'Adjacence du Graphe : Randomiser l'adjacence du graphe d'entrée (remplaçant le $k$ -NN par des connexions aléatoires) a entraîné une perte de performance négligeable (<0,15 point). Cela indique que l'essentiel du travail est effectué par la tête d'arête apprise et les GAT, et non par le choix spécifique des voisins.
Étapes de Raffinement : La seconde étape de raffinement a systématiquement amélioré les performances par rapport à la première, confirmant la valeur de la correction itérative.
Prédiction de Différence vs Affinité : Superviser les arêtes via les différences de coordonnées a été plus performant qu'une formulation alternative basée sur l'affinité (prédiction des probabilités de même ligne/colonne), en raison de l'évitement des conflits d'optimisation entre des contraintes concurrentes.

6. Signification et Revendications

L'article affirme que l'apprentissage du substrat relationnel est plus critique que son ingénierie. La thèse centrale est que les heuristiques géométriques statiques sont insuffisantes pour capturer les dépendances complexes et non locales inhérentes aux structures de tableaux.

Robustesse : La capacité de LEGR à transférer vers le jeu de données inédit SciTSR dans un cadre zero-shot prouve que le raisonnement relationnel appris capture des indices invariants au domaine (ce qui fait que deux segments partagent une ligne/colonne) plutôt que de mémoriser les statistiques de mise en page spécifiques à un jeu de données.
Efficacité : En évitant les décodeurs autorégressifs, LEGR offre un chemin d'inférence plus efficace pour les grands tableaux tout en maintenant une précision compétitive.
Changement de Paradigme : Ce travail suggère que les graphes raffinés de manière itérative avec des arêtes apprenables offrent une alternative viable à la prédiction structurée autorégressive pour les données hiérarchiques et tabulaires, potentiellement extensible à l'analyse de mise en page et à la compréhension de formulaires.

Les auteurs reconnaissent des limites concernant les tableaux bruités, scannés ou capturés par caméra, et supposent des segments OCR fiables, identifiant ces points comme des domaines de travail futur.