ConRTF: Edge-Constrained Boundary Distribution Refinement for Realtime TransFormer Table Structure Recognition

Technisch Overzicht: ConRTF – Edge-Constrained Boundary Distribution Refinement voor Realtime TransFormer Table Structure Recognition

1. Probleemstelling

Table Structure Recognition (TSR) heeft als doel de rij- en kolomindeling van tabellen uit documentafbeeldingen te herstellen, een kritieke component in pipelines voor documentbegrip. Het artikel stelt vast dat nauwkeurige TSR zeer gevoelig is voor lokalisatiefouten; in tegen tegenstelling tot generieke objectdetectie, leiden kleine onnauwkeurigheden in rij- of kolomgrenzen tot foutieve celtoewijzingen en structurele inconsistenties. Metrieken zoals TEDS en GriTS straffen zelfs minimale grensafwijkingen af.

Bestaande benaderingen kampen met twee primaire beperkingen:

1. Structurele Asymmetrie Genegeerd: De meeste detectiegebaseerde methoden behandelen tabel-elementen (rijen, kolommen, headers) als generieke objecten, waarbij de fundamentele geometrische asymmetrie wordt genegeerd waarbij rijen worden gedefinieerd door horizontale grenzen en kolommen door verticale grenzen.
2. Real-time versus Nauwkeurigheid Trade-off: Hoewel Transformer-gebaseerde multi-stage pipelines een hoge nauwkeurigheid bereiken, hinderen hun diepte en post-processing realtime implementatie. Omgekeerd missen real-time detectoren vaak de fijne grensprecisie die vereist is voor complexe tabelindelingen.

2. Methodologie

De auteurs stellen ConRTF voor, een real-time architectuur die TSR herformuleert als een grens-gecentreerde taak met behulp van distributie-gebaseerde grensrepresentaties. De kerninnovatie is de Edge-constrained Fine-grained Localization (EFL) loss.

A. Grens-gecentreerde Modellering
In plaats van cellen te detecteren of token-sequenties te genereren, modelleert ConRTF tabel-elementen als "rij-achtige" (rijen, headers, sectiescheiders) en "kolom-achtige" (kolommen) objecten. Het adopteert de D-FINE architectuur, die een Transformer-decoder gebruikt om grensdistributies iteratief te verfijnen. In plaats van coördinaten direct te voorspellen, voorspelt het model waarschijnlijkheidsdistributies over kandidaat-offsets voor de boven-, onder-, linker- en rechterranden.

B. Edge-constrained Fine-grained Localization (EFL) Loss
De standaard Fine-Grained Localization (FGL) loss gebruikt in D-FINE houdt alle vier de randen van een object met gelijke waarde in acht. ConRTF introduceert EFL om tabel-specifieke geometrische priors te coderen:

• Structurele Asymmetrie: Voor rij-achtige elementen zijn horizontale grenzen (boven/onder) structureel definiërend, terwijl verticale grenzen slechts de omvang markeren. Het omgekeerde geldt voor kolom-achtige elementen.
• Gewogen Toezicht: EFL wijst hogere gewichten ($\lambda_h$) toe aan structureel definiërende randen en lagere gewichten ($\lambda_l$) aan omvang-randen.
  • Rij-achtig: $w = [\lambda_h, \lambda_h, \lambda_l, \lambda_l]$ (Boven, Onder, Links, Rechts).
  • Kolom-achtig: $w = [\lambda_l, \lambda_l, \lambda_h, \lambda_h]$.
• Afleiding van Gewichten: De optimale ratio tussen $\lambda_h$ en $\lambda_l$ wordt afgeleid uit een IoU-gevoeligheidsanalyse. De auteurs demonstreren dat een fout op een definiërende rand aanzienlijk meer IoU-degradatie veroorzaakt dan een fout op een omvang-rand, evenredig aan de aspectratio ($AR$) van het element. De gewichten worden beperkt zodat ze optellen tot het uniforme baseline-totaal om een eerlijke vergelijking te garanderen.
• Training versus Inferentie: EFL werkt alleen tijdens de training. Het stuurt de iteratieve verfijning van grensdistributies naar structureel betekenisvolle aanpassingen. Tijdens de inferentie blijft de pipeline identiek aan de baseline D-FINE, wat nul extra computationele kosten met zich meebrengt.

C. Data-efficiëntie
Het systeem incorporeert Global Optimal Localization Self-Distillation (GO-LSD) van D-FINE, die verfijnde grensdistributies van diepere lagen naar ondiepere lagen overdraagt. Dit stabiliseert de voorspellingen in de vroege lagen, waardoor ConRTF een robuuste nauwkeurigheid behoudt, zelfs met beperkte geannoteerde data (2k–3k tabellen).

3. Belangrijkste Bijdragen

1. Grenscentrische Herformulering: De auteurs herformuleren TSR als een grens-gecentreerde taak met behulp van distributie-gebaseerde representaties, wat fijne lokalisatie mogelijk maakt binnen een compacte, real-time Transformer-architectuur.
2. EFL Loss: Introductie van een loss-functie die geometrische priors codeert via randgewichten afgeleid van IoU-gevoeligheidsanalyse. Deze loss maakt expliciet onderscheid tussen structureel definiërende en omvang-grenzen zonder extra overhead tijdens de inferentie.
3. Data-efficiëntie: Demonstratie dat de aanpak robuust blijft met kleine geannoteerde datasets (2k–3k tabellen), wat het geschikt maakt voor implementatie waar annotatiebudgetten beperkt zijn.
4. Uitgebreide Evaluatie: Uitgebreide experimenten op de grootschalige PubTables-1M benchmark en twee private datasets (Business en Finance), waarbij zowel structurele nauwkeurigheid (TEDS, GriTS) als real-time efficiëntie worden geëvalueerd.

4. Experimentele Resultaten

De auteurs evalueerden ConRTF tegen geoptimaliseerde baselines (D-FINE-X) en andere real-time detectoren (RT-DETRv2, YOLOv10/11/12).

• PubTables-1M: ConRTF behaalde consistente verbeteringen ten opzichte van de D-FINE-X baseline over alle metrieken. Opvallend genoeg bereikte het 99,47% TEDS-Struct en 99,37% GriTS-Top, waarmee de baseline respectievelijk met +0,07 en +0,10 punten werd overtroffen. Op een "harde" subset van tabellen waar de baseline onder de 99% scoorde op GriTS-Con, toonde ConRTF een statistisch significante winst van +2,6 GriTS-Con punten.
• Private Datasets (Beperkte Data): Op de Business en Finance datasets (met trainingssets van respectievelijk ~3k en ~2k tabellen) werd de kloof tussen DETR-gebaseerde en YOLO-gebaseerde methoden groter. ConRTF behield een hoge nauwkeurigheid waar YOLO-modellen aanzienlijk moeite hadden (bijv. daalde YOLOv10-X naar 48,8% TSD-Struct op Finance). ConRTF overtrof D-FINE-X op beide datasets, met winsten van +1,29 GriTS-Con op de Finance dataset.
• Scoreverdeling: Analyse van per-document scores toonde aan dat ConRTF effectief voorspellingen verschuift van de "lage" (<70% score) en "gemiddelde" banden naar de "hoge" (≥90%) band, met name in scenario's met weinig data.
• Infersiesnelheid: Aangezien EFL alleen tijdens de training werkt, deelt ConRTF identieke parameters (62M), FLOPS (202G) en inferentiesnelheid (15,42 FPS op GPU) met D-FINE-X.

5. Betekenis en Claims

Het artikel claimt dat ConRTF de specifieke geometrische asymmetrie van tabelindelingen aanpakt, die generieke objectdetectie-losses over het hoofd zien. Door deze asymmetrie te formaliseren in de trainingsdoelstelling, bereikt de methode:

• Hogere Structurele Nauwkeurigheid: Verbeterde grens-lokalisatie leidt tot betere celtoewijzing en structurele herstel, met name voor complexe of ambigue indelingen.
• Real-time Levensvatbaarheid: De aanpak evenaart de snelheid van state-of-the-art real-time detectoren terwijl het hun nauwkeurigheid overtreft, waardoor de kloof tussen hoog-precieze multi-stage pipelines en efficiënte single-stage detectoren wordt overbrugd.
• Robuustheid in Scenario's met Weinig Data: De integratie van geometrische priors stelt het model in staat om effectief te generaliseren, zelfs wanneer het getraind is op aanzienlijk kleinere datasets dan de enorme PubTables-1M, wat het praktisch maakt voor domeinspecifieke toepassingen.

De auteurs concluderen dat hoewel de huidige methode zich richt op as-uitgelijnde lay-outs, toekomstig werk de mogelijkheden kan verkennen van per-class of instantie-adaptieve randgewichten en zero-shot instellingen.