💻 computer science

LEGR: Learnable-Edge Graph Refinement for Table Structure Recognition

Dit artikel introduceert LEGR, een end-to-end framework voor tabelstructuurherkenning dat statische geometrische heuristieken vervangt door leerbare relationele randkenmerken en een cascadeerde Graph Attention Network-verfijningsmodule om een robuuste, domein-invariante prestatie te bereiken door voorspellingen iteratief te corrigeren via geleerd globaal lay-outredeneren.

Oorspronkelijke auteurs: Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saeed Ahmed, Muhammad Mudassir Mehmood, Muhammad Imran Malik, Muhammad Naseer Bajwa, Waheed Ahmed

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte landschap van digitale documenten zijn tabellen de stille werkpaarden van informatie. Ze organiseren financiële rapporten, wetenschappelijke gegevens en administratieve dossiers in nette rasters van rijen en kolommen. Voor een menselijke lezer is de structuur duidelijk; de lijnen en tussenruimtes leiden het oog, waardoor het gemakkelijk is om te zien hoe een waarde in één cel zich verhoudt tot een andere. Voor een computer is een tabel echter slechts een chaotische verzameling pixels. Om een afbeelding van een tabel om te zetten in bruikbare gegevens, moet software een moeilijke taak uitvoeren die tabelstructuurherkenning wordt genoemd. De software moet uitzoeken welk tekstdeel bij dezelfde rij hoort, welk deel bij dezelfde kolom hoort, en welke cellen zich over meerdere ruimtes uitstrekken. Dit gaat niet enkel over het lezen van de woorden; het gaat over het begrijpen van de onzichtbare logica die het raster bij elkaar houdt. Zonder dit begrip kan een computer de gegevens niet extraheren om vragen te beantwoorden, trends te analyseren of databases op te bouwen.

Jarenlang hebben onderzoekers geprobeerd computers te leren deze structuren te zien door de tabel te behandelen als een kaart van verbindingen. In dit model is elk tekstfragment een punt op een kaart, en de lijnen die hen verbinden vertegenwoordigen relaties zoals "naast" of "boven". De uitdaging is altijd geweest om te beslissen hoe die lijnen getekend moeten worden. Traditionele methoden vertrouwden op rigide, vooraf geschreven regels gebaseerd op geometrie. Als twee tekstvakken dicht bij elkaar lagen, nam de computer aan dat ze verbonden waren. Als ze ver uit elkaar lagen, werd de verbinding genegeerd. Deze aanpak werkte goed voor eenvoudige, schone tabellen, maar faalde vaak bij complexe lay-outs met samengevoegde cellen of ontbrekende randen. De computer volgde een statische kaart die geen rekening hield met de unieke context van elk document.

Een team onderzoekers van de National University of Sciences and Technology in Pakistan heeft een andere weg vooruit voorgesteld. Ze ontwikkelden een systeem genaamd LEGR, wat staat voor Learnable-Edge Graph Refinement. In plaats van vaste regels te gebruiken om te bepalen welke tekstsegmenten gerelateerd zijn, leert LEGR zelf die beslissingen te nemen. Stel je een student voor die leert een kaart te lezen: in het begin volgt hij misschien een eenvoudige reeks instructies, maar met oefening leert hij patronen en relaties te herkennen die niet expliciet op de pagina zijn getekend. LEGR doet iets dergelijks. Het begint met een ruwe gok over de tabelstructuur en verbetert die gok vervolgens iteratief door te leren welke verbindingen het belangrijkst zijn.

De kern van dit systeem is een verschuiving van statische regels naar dynamisch leren. In eerdere systemen keek de computer naar twee tekstvakken en mat de afstand tussen hen. Als de afstand klein was, trok de computer een lijn. LEGR kijkt echter naar de inhoud en de context van de tekstvakken om te beslissen of ze bij elkaar horen. Het gebruikt een speciale trainingsopdracht waarbij het probeert het logische verschil tussen twee verbonden tekstfragmenten te voorspellen. Door dit te doen, leert het systeem te herkennen dat een koptekst bovenaan een pagina en een datapunt onderaan de pagina gerelateerd zijn, zelfs als ze fysiek ver uit elkaar liggen. Dit stelt het systeem in staat om de "relationele substraat" te begrijpen — de onderliggende logica van de tabel — in plaats van alleen de fysieke lay-out.

Zodra het systeem deze relaties heeft geleerd, verfijnt het zijn begrip via een tweetrapsproces. Eerst maakt het een eerste, brede gok over waar elk tekstfragment in het raster thuishoort. Vervolgens stuurt het deze informatie door een netwerk dat ervoor zorgt dat de verschillende onderdelen van de tabel met elkaar kunnen "praten". Dit netwerk corrigeert kleine fouten en lost ambiguïteiten op. Als het systeem aanvankelijk denkt dat twee cellen in dezelfde rij liggen, maar beseft dat ze niet uitlijnen met de rest van de tabel, kan het van gedachten veranderen. Deze iteratieve correctie vindt in twee fasen plaats, waardoor het systeem eerst grote structurele fouten kan herstellen en vervolgens de details kan verfijnen.

De onderzoekers testten hun systeem op verschillende grote collecties tabellen uit wetenschappelijke artikelen en financiële rapporten. Op standaardtests presteerde LEGR net zo goed als de beste bestaande methoden, waarbij het een hoge nauwkeurigheid bereikte bij het reconstrueren van de tabelstructuur. De meest significante bevinding kwam echter toen ze het systeem testten op een volledig nieuw type document dat het nog nooit eerder had gezien. Zonder extra training behaalde het systeem een succespercentage van 98,46 procent op deze onbekende data. Dit suggereert dat het systeem algemene principes heeft geleerd over hoe tabellen werken, in plaats van enkel de specifieke lay-outs van de documenten waarop het getraind was, te hebben uit het hoofd geleerd.

Om te bewijzen dat hun aanpak werkelijk superieur was, voerden de onderzoekers een reeks experimenten uit waarbij ze hun leersysteem vervingen door traditionele, regelgebaseerde methoden. Wanneer ze de geleerde verbindingen vervingen door een uitgebreide set handmatige geometrische regels, daalde de prestatie van het systeem aanzienlijk met ongeveer vier procentpunten. Dit bevestigde dat het vermogen om de verbindingen te leren de sleutel tot succes was. Bovendien testten ze wat er gebeurde als ze de tekstfragmenten willekeurig verbonden in plaats van een logische kaart te gebruiken. Verrassend genoeg veranderde de prestatie van het systeem nauwelijks. Dit geeft aan dat het systeem zo goed is in het leren van de relaties uit de tekst zelf, dat de initiële manier waarop de verbindingen worden getekend er nauwelijks toe doet. Het systeem kan de juiste structuur begrijpen, ongeacht hoe de kaart aanvankelijk is geschetst.

De implicaties van dit werk reiken verder dan alleen het lezen van tabellen. Het demonstreert dat voor taken waarbij complexe, gestructureerde relaties betrokken zijn, het leren van de verbindingen belangrijker is dan het technisch ontwerpen ervan. Door de computer de logica van de gegevens te laten ontdekken in plaats van hem te dwingen een vooraf ingestelde kaart te volgen, hebben de onderzoekers een robuustere en aanpasbaardere tool gecreëerd. Deze aanpak zou uiteindelijk computers kunnen helpen om andere complexe lay-outs te begrijpen, zoals formulieren of hiërarchische documenten, waarbij de relaties tussen elementen niet altijd duidelijk zijn. De studie laat zien dat wanneer een systeem wordt toegestaan om de regels van het spel te leren, het beter kan spelen dan een systeem dat simpelweg verteld wordt hoe het moet bewegen.

Technische Samenvatting: LEGR - Learnable-Edge Graph Refinement voor Tabelstructuurherkenning

1. Probleemdefinitie

Tabelstructuurherkenning (TSR) heeft als doel visuele tabelafbeeldingen om te zetten in machineleesbare logische structuren (rij-/kolomindex en spans). Hoewel de fysieke structuur (bounding boxes) verkregen kan worden via standaard OCR, is het afleiden van de logische structuur een complex relationeel probleem.

Bestaande graafgebaseerde TSR-methoden behandelen cellen als knopen en ruimtelijke relaties als randen (edges). Deze methoden lijden echter onder twee primaire beperkingen:

Statische Graafconstructie: Ze vertrouwen op handmatig ontworpen geometrische heuristieken (bijv. $k$ -nearest neighbors gebaseerd op de middelpunten van bounding boxes) om de graafconnectiviteit en edge-kenmerken te definiëren. Dit legt de relationele substantie vast voordat het leerproces begint, wat voorkomt dat het model niet-lokale afhankelijkheden kan vastleggen (bijv. de uitlijning van header naar cel over lange rijen heen) of effectief kan omgaan met lay-outs zonder randen of met overspanningen (spanning cells).
Single-Pass Voorspelling: De meeste pipelines voorspellen de uiteindelijke structuur in een enkele forward pass, zonder een mechanisme om initiële schattingen te herzien zodra een globaal overzicht van de tabel is samengesteld.

2. Methodologie: LEGR-framework

LEGR (Learnable-Edge Graph Refinement) is een end-to-end framework dat de relationele graafstructuur leert en voorspellingen iteratief verfijnt. De architectuur bestaat uit vier functionele blokken:

2.1 Visuele en Node-encoding

Visuele Backbone: Een Swin Transformer genereert een vierniveau feature pyramid. Deze worden gefuseerd via een Large-Kernel Pyramid Attention Network (LKPAN) om een verenigde stride-4 feature map ( $FFPN$ ) te produceren voor fijne grensbehoud en een stride-32 globale context map ( $C_4$ ).
Node Embeddings: Voor elke door OCR gedetecteerde bounding box wordt een initiële embedding ( $h_i^{in}$ $h_{i}^{in}$ ) geconstrueerd door te fuseren van:
- Visuele kenmerken (via RoIAlign op $FFPN$ ).
- Leerbare geometrische embeddings van de bounding box coördinaten.
- Absolute 2D sinusvormige positionele encodings.
Context Encoder: Een transformer-gebaseerde encoder verwerkt deze embeddings met behulp van self-attention (voor inter-segment afhankelijkheden) en cross-attention (het injecteren van globale context uit $C_4$ ). Dit produceert gecontextualiseerde node-kenmerken ( $H_0$ ).

2.2 Relational Edge Learning

In plaats van statische heuristieken gebruikt LEGR een Relational Edge Learner:

Graafconstructie: Tijdens de training wordt voor elke node een buurt gesampled die zowel geometrisch nabije buren als willekeurige langafstands-buren omvat om overfitting op lokale geometrie te voorkomen.
Edge Kenmerken: Edge-kenmerken worden gegenereerd door een gedeelde Context Encoder en een Edge Head (MLP). De feature vector voor een edge $(v_i, v_j)$ concateneert node-embeddings, hun verschil en hun elementgewijze product.
Auxiliaire Supervisie: De Edge Head wordt gesuperviseerd door een auxilaire taak: het voorspellen van het logische-coördinaatverschil (getekende offsets voor rij en kolom start/einde) tussen verbonden nodes. Dit dwingt het netwerk om context-bewuste relationele kenmerken te leren in plaats van ruwe coördinaat-offsets te kopiëren.

2.3 Cascaded Iterative Refinement

LEGR vervangt single-pass voorspelling door een twee-fasen gecascadeerde verfijningsmodule met behulp van Graph Attention Networks (GATs):

Fase 1: Een Node Head produceert initiële grove logits ( $L_0$ ). Deze worden gefuseerd met node-kenmerken en door een GAT ( $GAT_1$ ) gestuurd om een corrigerende delta ( $\delta L_1$ ) te voorspellen. De verfijnde logits zijn $L_1 = L_0 + \delta L_1$ .
Fase 2: Het proces wordt herhaald met een tweede GAT ( $GAT_2$ ) die opereert op de Fase 1 kenmerken en de lopende schatting $L_1$ , wat een definitieve correctie $\delta L_2$ produceert en logits $L_2 = L_1 + \delta L_2$ .
Deze coarse-to-fine aanpak stelt het model in staat om eerst grootschalige structurele ambiguïteiten op te lossen en vervolgens fijne lokale aanpassingen uit te voeren.

2.4 Trainingsdoelstelling

Het model wordt getraind met een samengestelde loss-functie:
$\mathcal{L}_{total} = (1 - \lambda) \mathcal{L}_{coord} + \lambda (\alpha \mathcal{L}_{aux} + \beta \mathcal{L}_{edge})$
Waarbij $\mathcal{L}_{coord}$ de cross-entropy losses aggregeert voor de initiële fase en de twee verfijningsfasen, $\mathcal{L}_{aux}$ een multi-positive contrastieve loss is om segmenten die bij dezelfde cel horen te clusteren, en $\mathcal{L}_{edge}$ de cross-entropy loss is voor de coördinaat-verschil voorspelling.

3. Belangrijkste Bijdragen

Leerbare Edge Kenmerken: Vervangt statische geometrische heuristieken door een relationele edge learner die wordt gesuperviseerd door een auxilaire logische-coördinaat-verschil taak. Dit maakt het mogelijk om niet-lokale afhankelijkheden en context-bewuste relaties te vangen.
Cascaded Refinement: Introduceert een twee-fasen GAT-gebaseerde verfijningsmodule die initiële voorspellingen iteratief corrigeert, waardoor het model globaal kan redeneren en lokale fouten kan zelfcorrigeren.
Domein-Invariante Redenering: Demonstreert dat het leren van de relationele substantie representaties oplevert die goed generaliseren over domeinen zonder fine-tuning.

4. Experimentele Resultaten

LEGR werd geëvalueerd op drie benchmarks: PubTabNet (wetenschappelijke artikelen), FinTabNet (financiële rapporten) en SciTSR (wetenschappelijke papers).

In-Domain Prestaties (PubTabNet & FinTabNet):
- Op PubTabNet behaalde LEGR 97,91 TEDS-S, waarmee het na slechts TFLOP (98,38) op de tweede plaats staat onder de state-of-the-art methoden, ondanks het gebruik van een niet-autoregressieve architectuur.
- Op FinTabNet behaalde LEGR 99,10 TEDS-S, wederom na TFLOP (99,56).
- Opvallend genoeg behaalt LEGR deze resultaten zonder een autoregressieve HTML-decoder, wat een constante inferentiekosten biedt ten opzichte van de tabelgrootte.
Cross-Domain Generalisatie (SciTSR):
- In een zero-shot setting (getraind op PubTabNet, getest op SciTSR zonder fine-tuning), behaalde LEGR een F1-score van 98,46. Dit ligt binnen 0,84 punten van volledig gesuperviseerde state-of-the-art methoden (zoals LORE op 99,30), wat een sterke domein-invariantie aantoont.
- Met fine-tuning bereikte LEGR 99,39 F1, waarmee het eerdere graafgebaseerde methoden overtrof.
Vergelijking met Graafgebaseerde Methoden:
- LEGR presteert significant beter dan eerdere graafgebaseerde methoden zoals NCGM en GraphTSR. Op PubTabNet verbetert het de TEDS-S met 2,51 punten ten opzichte van NCGM. Op SciTSR verbetert het de F1 met 5,99 punten ten opzichte van GraphTSR.

5. Ablatie-studies en Analyse

Learned vs. Hand-Crafted Edges: Het vervangen van de geleerde edge-kenmerken door een uitgebreide handmatige baseline (PCEF) veroorzaakte een daling van ongeveer 4,0 punten in TEDS op FinTabNet (van 99,10 naar 95,13). Dit bevestigt dat relationele kenmerken voor complexe lay-outs niet uit te drukken zijn als vaste functies van bounding boxes.
Robuustheid van de Graaf Adjacency: Het randomiseren van de input graaf-adjacency (het vervangen van $k$ -NN door willekeurige verbindingen) resulteerde in een verwaarloosbaar prestatieverlies (<0,15 punten). Dit geeft aan dat het zware werk plaatsvindt binnen de geleerde Edge Head en GATs, en niet in de specifieke keuze van buren.
Refinement Stages: De tweede verfijningsfase verbeterde de prestaties consequent ten opzichte van de eerste, wat de waarde van iteratieve correctie bevestigt.
Verschil Voorspelling vs. Affiniteit: Het superviseren van edges via coördinaat-verschillen presteerde beter dan een alternatieve affiniteits-gebaseerde formulering (het voorspellen van dezelfde rij/kolom waarschijnlijkheden), wat wordt toegeschreven aan het vermijden van optimalisatieconflicten tussen concurrerende constraints.

6. Betekenis en Claims

Het artikel claimt dat het leren van de relationele substantie belangrijker is dan het construeren ervan. De centrale stelling is dat statische geometrische heuristieken onvoldoende zijn om de complexe, niet-lokale afhankelijkheden die inherent zijn aan tabelstructuren te vangen.

Robuustheid: Het vermogen van LEGR om over te dragen naar de onbekende SciTSR-dataset in een zero-shot setting bewijst dat de geleerde relationele redenering domein-invariante aanwijzingen begrijpt (wat ervoor zorgt dat twee segmenten dezelfde rij of kolom delen) in plaats van het memoriseren van dataset-specifieke lay-out statistieken.
Efficiëntie: Door autoregressieve decoders te vermijden, biedt LEGR een efficiënter inferentiepad voor grote tabellen terwijl de competitieve nauwkeurigheid behouden blijft.
Paradigmaverschuiving: Het werk suggereert dat iteratief verfijnde grafen met geleerde edges een levensvatbaar alternatief bieden voor autoregressieve gestructureerde voorspelling voor hiërarchische en tabulaire data, wat potentieel kan worden uitgebreid naar lay-out analyse en formulierbegrip.

De auteurs erkennen beperkingen met betrekking tot ruisgevoelige, gescande of door camera's vastgelegde tabellen, en identificeren dit als gebieden voor toekomstig onderzoek.