TDATR: Improving End-to-End Table Recognition via Table Detail-Aware Learning and Cell-Level Visual Alignment

Titel

TDATR: Het verbeteren van End-to-End Tabelherkenning via Tabelgedetailleerd Bewustzijn en Cellulaire Visuele Uitlijning

1. Het Probleem

Tabelherkenning (Table Recognition - TR) is een fundamentele taak in documentanalyse, waarbij tabellen in afbeeldingen worden omgezet in machine-leesbare formaten (zoals HTML of LaTeX). Bestaande methoden kampen met drie belangrijke beperkingen:

• Modulaire Pipelines: Traditionele systemen splitsen de taak op in Tabelstructuurherkenning (TSR) en Tabelinhoudsherkenning (TCR). Omdat deze componenten onafhankelijk worden getraind en pas later worden samengevoegd, leidt dit tot suboptimale integratie, foutopbouw en complexe workflows.
• Data-afhankelijkheid van End-to-End Modellen: Bestaande end-to-end benaderingen (die structuur en inhoud in één model combineren) zijn sterk afhankelijk van grote hoeveelheden gelabelde tabeldata. In de praktijk is het labelen van zowel structuur als inhoud echter duur en tijdrovend, waardoor deze modellen moeite hebben om robuust te generaliseren in data-arme scenario's.
• Gebrek aan Interpretatie en Uitlijning: Veel end-to-end modellen voorspellen alleen de tekstuele output zonder expliciete ruimtelijke correspondentie (bijv. de exacte locatie van cellen). Dit beperkt de interpretatie en nauwkeurigheid, vooral bij complexe of randloze tabellen.

2. Methodologie: TDATR

De auteurs stellen TDATR (Table Detail-Aware Table Recognition) voor, een framework dat een "perceive-then-fuse" (waarnemen en vervolgens fuseren) strategie hanteert. Het model bestaat uit een visuele encoder (Swin Transformer), een meervoudige taaldecoder en een module voor structuur-gestuurde cellocalisatie.

A. Fase 1: Tabelgedetailleerd Bewustzijn (Perception)

In deze fase wordt het model getraind om fijne details van tabellen en documenten waar te nemen, zonder direct te focussen op de volledige end-to-end tabeloutput.

• Unified Language Modeling Paradigma: Het model leert via een reeks taken onder één taalmodel-architectuur.
• Inhoudsherkenningstaken: Gebaseerd op Kosmos 2.5, omvat dit ruimtelijk geordende tekstspotting, tekstspotting met box-query's en Markdown-parsing. Hierdoor wordt het model robuust gemaakt door gebruik te maken van grote, diverse documentdatasets (webpagina's, papers, README-bestanden) in plaats van alleen gespecialiseerde tabeldata.
• Structuurverstaan: Taken op cel-, rij- en kolomniveau, waaronder het detecteren van celcoördinaten, het herkennen van samengevoegde cellen (span cells) en het parsen van tabelstructuren. Dit versterkt het begrip van de logische organisatie van tabellen.

B. Fase 2: Tabelgedetailleerde Fusie (Fusion)

In deze fase worden de impliciet geleerde details gefuseerd om de uiteindelijke end-to-end output te genereren.

• HTML-parsing: Het model wordt gefine-tuned om direct gestructureerde HTML-sequenties te genereren die zowel structuur als inhoud combineren.
• Data-efficiëntie: Omdat het model al een sterk begrip van structuur en inhoud heeft opgebouwd in Fase 1, heeft het veel minder gelabelde tabeldata nodig voor deze finetuning dan eerdere end-to-end modellen.

C. Module: Structuur-gestuurde Cellocalisatie (SGCL)

Om de interpretatie en nauwkeurigheid te verbeteren, introduceert TDATR een speciale module voor het lokaliseren van cellen:

• Geavanceerde Representatie: Het module gebruikt verborgen staten van de taaldecoder om celrepresentaties te extraheren.
• Structuurpriors: Het module berekent binaire maskers op basis van de gelijkenis tussen cellen in dezelfde rij of kolom. Dit fungeert als een "structuur-prior" die de contextuele aandacht versterkt.
• Visuele Uitlijning: De initiële celboxen worden verfijnd met multi-resolutie visuele kenmerken (via DAB-DETR decoder layers). Dit zorgt voor een nauwkeurige visuele uitlijning tussen de gegenereerde tekst en de daadwerkelijke cellocaties in de afbeelding, zonder de noodzaak van post-processing.

3. Belangrijkste Bijdragen

1. "Perceive-then-fuse" Strategie: Een nieuwe aanpak die de afhankelijkheid van grote hoeveelheden gelabelde tabeldata vermindert door eerst algemene document- en tabelvaardigheden te leren, en deze vervolgens te fuseren voor specifieke TR-taken.
2. Tabelgedetailleerd Bewustzijn: Een unificatie van structuurverstaan en inhoudsherkenning via een reeks pre-training taken, waardoor diverse documentbronnen effectief kunnen worden benut voor robuustheid.
3. SGCL Module: Een innovatieve module die cellocalisatie parallel en gestuurd door structuurpriors uitvoert, wat de visuele-taaluitlijning en de nauwkeurigheid aanzienlijk verbetert.
4. Universele Prestaties: Het model presteert state-of-the-art (SOTA) op zeven verschillende benchmarks zonder dataset-specifiek fine-tuning, wat bewijst dat het zeer goed generaliseert.

4. Resultaten

TDATR is geëvalueerd op zeven benchmarks, waaronder real-world datasets (iFLYTAB-full, TabRecSet) en digitale datasets (PubTabNet, PubTables-1M).

• Prestaties: Het model behaalt SOTA-resultaten op zowel real-world als digitale tabellen. Op de iFLYTAB-full dataset overtreft het modulaire systemen (zoals SEMv3 + PPOCR) met 15,82% in totale tabelherkenning (TEDS-score).
• Data-efficiëntie: Het model bereikt deze prestaties met aanzienlijk minder trainingsdata dan concurrenten die volledig van scratch worden getraind.
• Cellocalisatie: De SGCL-module behaalt de hoogste AP50-scores voor celdetectie, zelfs bij randloze en complexe tabellen, en is sneller in inferentie dan sequentiële generatiemethoden.
• Vergelijking met VLM's: TDATR presteert concurrerend met of beter dan grote Vision-Language Modellen (zoals Qwen2.5-VL en MinerU), ondanks dat het model veel kleiner is en met minder resources is getraind.

5. Betekenis en Impact

TDATR biedt een oplossing voor de fundamentele uitdagingen in tabelherkenning:

• Verbreking van de Data-Muur: Door gebruik te maken van "perceive-then-fuse" en diverse documentdata, maakt het end-to-end tabelherkenning haalbaar in scenario's waar grote, gespecialiseerde datasets ontbreken.
• Interpretatie en Toepassbaarheid: Door expliciete cellocaties te genereren, wordt de output niet alleen tekstueel correct, maar ook visueel interpreteerbaar. Dit is cruciaal voor downstream taken zoals documentdigitisering en Retrieval Augmented Generation (RAG).
• Robuustheid: De methode demonstreert dat het integreren van visuele en structurele priors leidt tot systemen die bestand zijn tegen de complexiteit van echte wereldtabellen (bijv. scheefstand, ruis, ontbrekende lijnen).

Kortom, TDATR stelt een nieuwe standaard voor end-to-end tabelherkenning door de kloof tussen visuele waarneming en semantische structuur te overbruggen, zonder afhankelijk te zijn van enorme hoeveelheden handmatig gelabelde tabeldata.