InstructTable: Improving Table Structure Recognition Through Instructions

Probleemstelling

Tabelstructuurherkenning (Table Structure Recognition - TSR) is cruciaal voor het omzetten van tabellen in gestructureerde data, maar staat voor aanzienlijke uitdagingen bij complexe lay-outs met samengevoegde cellen (merged cells) of lege cellen. Bestaande methoden vertonen een onbalans tussen visuele en semantische informatie:

1. Visueel gecentreerde modellen: Vertrouwen uitsluitend op visuele kenmerken en missen cruciale semantische ondersteuning, wat leidt tot fouten bij het interpreteren van complexe structuren.
2. Vision-Language Models (VLM's): Benutten contextuele semantiek maar onderbenutten vaak de modellering van visuele structurele details (zoals uitlijning), wat de precisie bij complexe tabellen beperkt.
3. Data-schaarste: Het verkrijgen van hoogwaardige, geannoteerde tabellendata is duur en tijdrovend. Bestaande synthetische methoden, die vaak op sjablonen (templates) zijn gebaseerd, leiden tot gebrekkige diversiteit en systematische fouten (bijv. impliciete lege rijen/kolommen die niet overeenkomen met de ground truth).

Methodologie

De auteurs stellen InstructTable voor, een instructie-gestuurd framework voor multi-stadia training, gecombineerd met een nieuwe methode voor datageneratie.

1. Table Mix Expand (TME)

Om het tekort aan hoogwaardige data op te lossen, introduceren ze TME, een sjabloonvrije methode voor het synthetiseren van authentieke tabellendata:

• Principe: In plaats van sjablonen te gebruiken, worden echte tabellen opgebroken tot een "atomaire celmatrix" (atomic cell matrix).
• Proces:
  1. Echte tabellen worden omgezet in een matrix van atomaire cellen (onafhankelijke, links-gevoegde, boven-gevoegde, of dubbel-gevoegde cellen).
  2. Deze matrices worden willekeurig samengevoegd (splicing) en uitgebreid tot nieuwe groottes.
  3. Large Language Models (LLM's) vullen de lege cellen met contextueel relevante inhoud.
  4. Validatie door een LLM zorgt voor semantische coherentie.
  5. De matrix wordt omgezet naar HTML en gerenderd als afbeelding.
• Voordeel: Dit elimineert sjabloon-bias en systematische fouten, en genereert data met willekeurige afmetingen die de authenticiteit van echte tabellen behoudt.

2. InstructTable Framework

Dit is een end-to-end TSR-model dat instructies gebruikt om de aandacht van het model te sturen:

• Multi-stadia Training:
  1. Initialisatie: Basis training met een vaste instructie ("Recognize all cells").
  2. Instructie Pre-training: Het model wordt getraind met menselijk ontworpen, fijnmazige instructies (bijv. "Herken alle lege cellen", "Cellen in rij X", "Samengevoegde cellen"). Dit dwingt het model om zich te richten op specifieke structurele patronen.
  3. TSR Fine-tuning: Domeinadaptieve fine-tuning op downstream benchmarks om robuuste visuele modellering te behouden.
• Architectuur:
  • Image Encoder: TableResNetExtra (CNN) voor visuele feature extractie.
  • Text Encoder: BERT voor het coderen van instructies.
  • Decoder: Een Transformer-architectuur die via cross-attention instructies en beelden combineert. Het genereert drie output: atomaire celmatrices, bounding boxes en classificatie van lege cellen.
• Instructie-ontwerp: Er worden vier groepen instructies gebruikt: herkenning van de totale structuur, specifieke locaties, lege cellen en samengevoegde cellen.

Belangrijkste Bijdragen

1. InstructTable: Een nieuw framework dat semantische instructies en visuele informatie koppelt via multi-stadia training, waardoor de nauwkeurigheid bij complexe tabellen significant verbetert.
2. Table Mix Expand (TME): Een innovatieve, sjabloonvrije methode voor het genereren van schaalbare, diverse en authentieke synthetische tabellendata, die de kwaliteit van bestaande datasets verbetert.
3. BCDSTab Benchmark: Een nieuw testset met 900 complexe, dichte tabellen (synthetisch gegenereerd via TME) om modellen te evalueren in realistische, complexe scenario's die ontbreken in bestaande publieke datasets.

Resultaten

Uitgebreide experimenten op publieke datasets (FinTabNet, PubTabNet, MUSTARD) en de nieuwe BCDSTab benchmark tonen state-of-the-art prestaties:

• Algemene Prestaties: InstructTable overtreft zowel traditionele visuele modellen als geavanceerde Vision-Language Models (zoals GPT-4o en Gemini 2.5 Pro) op de meeste benchmarks.
• MUSTARD: Op dit multilinguale dataset behaalt InstructTable een TEDS-score van 95,30%, wat een verbetering is van 10,11% ten opzichte van de vorige beste visuele methode (SPRINT) en 1,65% beter dan Gemini 2.5 Pro.
• BCDSTab (Complexe Tabellen): Zonder TME-data presteerde het model goed, maar met TME-data steeg de TEDS-score met 2,57%, waardoor het alle bestaande oplossingen (inclusief MinerU 2.5) overtrof in complexe scenario's.
• Ablatie Studies: De studies bevestigen dat zowel de instructie pre-training als de TME-data essentieel zijn. Instructie pre-training verbetert vooral de structurele parsing, terwijl TME de precisie van cellocaties verhoogt.

Betekenis en Impact

Dit paper lost een fundamenteel probleem op in de documentanalyse: de kloof tussen visuele precisie en semantisch begrip bij tabelherkenning.

• Technische Innovatie: Het bewijst dat het sturen van modelaandacht via natuurlijke taal-instructies (instructie-learning) superieur is aan puur visuele benaderingen of generieke VLM's voor specifieke taken.
• Data-Generatie: TME biedt een schaalbare oplossing voor het tekort aan hoogwaardige trainingsdata, wat essentieel is voor het trainen van robuuste AI-modellen in de documentverwerking.
• Praktische Toepassing: De verbeterde prestaties bij complexe, samengevoegde en lege cellen maken deze technologie direct toepasbaar voor automatisering in financiële rapportage, juridische documenten en wetenschappelijke publicaties.

De code en datasets zijn openbaar beschikbaar, wat de reproduceerbaarheid en verdere ontwikkeling in het veld stimuleert.