💬 NLP

PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation

Dit artikel introduceert PulseBench-Tab, een meertalige benchmark bestaande uit 1.820 door mensen geannoteerde tabellen over negen talen en vier schriften, samen met een nieuwe grafiekgebaseerde evaluatiemetriek genaamd T-LAG, om de prestaties van diverse tabelextractiesystemen op complexe, real-world documentafbeeldingen te beoordelen.

Oorspronkelijke auteurs: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met documenten—financiële rapporten, overheidsformulieren en bedrijfsverslagen—gedrukt in negen verschillende talen. In deze documenten zitten duizenden tabellen, zoals spreadsheets, gevuld met cijfers en tekst. Het doel van dit artikel is om te zien hoe goed computers tabellen kunnen "lezen", ze perfect kunnen kopiëren en begrijpen waar elk afzonderlijk stukje informatie thuishoort.

Hier is de uitsplitsing van PulseBench-Tab en T-LAG, eenvoudig uitgelegd.

1. Het Probleem: Waarom Tabellen Lastig Zijn

Het lezen van een tabel gaat niet alleen over het herkennen van letters (zoals het lezen van een boek). Het gaat over het begrijpen van geometrie.

De Analogie: Stel je een tabel voor als een puzzel. Als je een stukje pakt met het getal "100" en het op de verkeerde plek legt, is het plaatje verpest. In een computersysteem is als een getal in de verkeerde cel terechtkomt niet zoma van een typefout; het is een ramp die alle latere berekeningen verpest.
De Kloof: Eerdere tests keken vooral naar Engelse tabellen of behandelden tabellen als lange lijsten met woorden (het "platmaken" ervan), waardoor de 2D-structuur (rijen en kolommen) verloren ging. Ze testten ook onvoldoende talen die van rechts naar links worden geschreven (zoals Arabisch) of complexe karakters gebruiken (zoals Chinees of Japans).

2. De Oplossing: Een Nieuwe "Tabel-Gym" (De Dataset)

De auteurs hebben een enorme trainingsgrond gebouwd genaamd PulseBench-Tab.

De Omvang: Het bevat 1.820 echte tabellen.
De Variatie: Deze tabellen komen uit 380 verschillende documenten in 9 talen (Engels, Chinees, Arabisch, Russisch, etc.) en gebruiken 4 verschillende schriftsystemen.
De Moeilijkheidsgraad: Sommige tabellen zijn minuscuul (slechts 2 cellen), terwijl anderen monsters zijn met meer dan 1.000 cellen. Ongeveer de helft heeft "samengevoegde" cellen (waar één grote cel de ruimte van twee of drie kleinere cellen beslaat), wat lijkt op een puzzelstukje dat meerdere plekken op het bord bedekt.
De Gouden Standaard: Elke tabel werd gecontroleerd door menselijke experts die de specifieke taal spreken om ervoor te zorgen dat de "antwoordsleutel" 100% correct was.

3. De Nieuwe Liniaal: T-LAG (De Grafiekmetriek)

Om de computers te beoordelen, hebben de auteurs een nieuw scoresysteem uitgevonden genaamd T-LAG.

De Oude Manier: Eerdere methoden controleerden vaak of de computer de juiste woorden kreeg, maar ze gaven niet genoeg om naar de vraag te kijken of die woorden de juiste buren hadden. Het was alsoals een student beoordelen op een spellingtest, maar negeren of ze de woorden in de juiste zinnen zetten.
De Nieuwe Manier (T-LAG): Stel je de tabel voor als een kaart van steden die verbonden zijn door wegen.
- Nodes (Steden): De individuele cellen.
- Edges (Wegen): De verbindingen tussen cellen (bijv. "Cel A staat rechts van Cel B" of "Cel C staat onder Cel D").
Hoe het Scoort: T-LAG kijkt naar de "wegen". Het vraagt: "Heeft de computer dezelfde kaart van wegen gebouwd als de echte?"
- Als de computer de tekst goed krijgt maar in de verkeerde kolom zet, is de "weg" gebroken en daalt de score.
- Het gebruikt een speciale wiskundige truc (het Hongaarse Algoritme) om de best mogelijke match te vinden tussen de echte tabel en de door de computer gemaakte tabel, zodat er niet willekeurig wordt gegokt.
- De "Strengeheid"-draaiknop: De auteurs stelden de scoring zeer streng in (een "k=7" instelling). In de echte wereld, als een financieel rapport "$1 miljoen" zegt in plaats van "$10 miljoen", is dat een fout, geen "bijna goed" poging. Deze metriek behandelt kleine fouten als grote fouten om de behoeften van de echte wereld te weerspiegelen.

4. De Race: Wie Won?

De auteurs testten 9 verschillende computersystemen (inclusclusief grote tech-API's, open-source tools en hun eigen systeem) op deze dataset.

De Winnaar: Pulse Ultra 2 (het eigen systeem van de auteurs) kwam op de eerste plaats met een score van 93,5%. Het was het enige systeem dat op meer dan de helft van de tabellen een "perfect" score haalde.
De Runner-up: Gemini 3.1 kwam op de tweede plaats met 81,6%.
De Kloof: Er was een enorme daling na de top twee. Het onderste derde deel van de systemen scoorde onder de 72%, wat betekent dat ze aanzienlijk moeite hadden.
De Grootste Uitdaging: Niet-Latijnse schriften (zoals Arabisch, Koreaans en Chinees) waren het moeilijkst voor iedereen.
- Analogie: Denk aan een hardloper die geweldig is op een vlak, geasfalteerd pad (Engels) maar over elke steen struikelt op een bergpad (Arabisch/Koreaans). Zelfs de beste systemen zagen hun scores aanzienlijk dalen wanneer de taal veranderde.
De "Stille Fouten": Sommige systemen gaven niet alleen slechte antwoorden, maar gaven voor ongeveer 20% van de tabellen helemaal geen antwoord. In een echt bedrijf is dit als een robot die simpelweg stopt met werken wanneer hij een moeilijk document ziet.

5. De Conclusie

De paper concludeert dat hoewel computers beter worden in het lezen van tabellen, er nog steeds een enorme kloof is tussen de beste systemen en de rest van het veld, vooral bij het werken met complexe lay-outs of talen die niet Engels zijn.

Ze hebben de dataset, de scoring-code en de resultaten publiekelijk beschikbaar gesteld. Dit is alsof ze de deuren van de sportschool openzetten voor iedereen, zodat onderzoekers precies kunnen zien waar de machines falen en proberen dit te repareren, in plaats van te gissen.

Kortom: Ze hebben een uitdagend, meertalig hindernisparcours gebouwd voor AI die tabellen leest, een nieuwe liniaal uitgevonden om te meten hoe goed de AI het parcours navigeert, en ontdekt dat hoewel één systeem momenteel de leiding neemt, de meeste anderen nog steeds moeite hebben om hun evenwicht te bewaren op complex, niet-Engels terrein.

Technische Samenvatting: PulseBench-Tab en T-LAG

1. Probleemstelling

Tabelextractie uit documentafbeeldingen is een fundamentele taak binnen documentintelligentie, cruciaal voor financiële analyse, naleving van regelgeving en enterprise-gegevensverwerking. Bestaande benchmarks en evaluatiemetrieken lijden echter onder significante beperkingen:

Conflatie van Structuur en Formattering: Metrieken zoals TEDS werken op basis van HTML DOM-bomen, waardoor formatteringsconventies (bijv. `<thead``-wrappers) worden verward met structurele fouten.
Verlies van 2D-topologie: Sequentie-uitlijningmethoden (bijv. Needleman-Wunsch) platten tabellen af tot 1D-sequenties, waardoor het onderscheid tussen horizontale en verticale nabijheid verloren gaat.
Linguïstische Bias: De meeste benchmarks richten zich primair op het Engels, waardoor de prestaties op niet-Latijnse schriften (Arabisch, Cyrillisch) en recht-naar-links (RTL) talen, evenals CJK (Chinees, Japans, Koreaans), grotendeels ongemeten blijven.
Semantische Gevoeligheid: In downstream-toepassingen is een getal in een verkeerde cel een semantische fout, niet louter een OCR-fout. Huidige metrieken slagen er vaak niet in om positionele fouten voldoende te bestraffen.

2. Methodologie

2.1 PulseBench-Tab Dataset

De auteurs introduceren PulseBench-Tab, een open, meertalige benchmark die deze hiaten beoogt te adresseren.

Schaal en Omvang: De dataset bevat 1.820 door mensen geannoteerde tabelafbeeldingen, geëxtraerd uit 380 unieke brondocumenten (financiële verslagen, overheidsrapporten, regelgevende bekendmakingen).
Linguïstische Diversiteit: Het beslaat 9 talen over 4 schriften (Latijn, CJK, Arabisch, Cyrillisch). Engels vormt 32,6% van de samples, waarbij de rest is verdeeld over Chinees, Spaans, Russisch, Frans, Japans, Arabisch, Duits en Koreaans.
Complexiteit: Tabellen variëren van 2 tot 1.183 cellen. Opvallend genoeg bevat 48,1% van de tabellen samengevoegde of overspannen cellen (rowspan/colspan), en de dataset bevat dichte spreadsheets en multi-level headers.
Ground Truth: Annotaties werden geproduceerd via een meerfasige pipeline bestaande uit domeinexperts met een moedertaal, cross-linguale kwaliteitscontrole en adversariële cel-voor-cel audits tegen de bronafbeeldingen. De ground truth wordt geleverd als volledig gestructureerde HTML.

2.2 T-LAG Evaluatiemetriek

Om de kwaliteit van extractie te evalueren, stellen de auteurs T-LAG (Table Logical Adjacency Graph) voor, een nieuwe metriek die tabellen modelleert als gerichte grafen om zowel structurele getrouwheid als inhoudelijke nauwkeurigheid in één score te vangen.

Kernfilosofie:
In tegen afdeling van node-gebaseerde metrieken die celinhoud onafhankelijk verifiëren, opereert T-LAG op edges (nabijheidsrelaties). Dit zorgt ervoor dat een cel niet alleen wordt geëvalueerd op basis van de tekst, maar ook op basis van de positie ten opzichte van de buren. Een getransponeerde kolom resulteert bijvoorbeeld in andere nabijheids-edges en wordt daarom bestraft.

Pipeline:

Grid Parsing: Zowel de ground truth als de voorspelde HTML worden geparst naar een cel-positie rastermatrix, waarbij rowspan en colspan attributen behouden blijven.
Edge Extractie: Gerichte edges worden uitgegeven voor RECHTS en ONDER nabijheden tussen cellen met verschillende ID's. Edges binnen samengevoegde cellen worden onderdrukt.
Weging ( $\Psi$ Functie): Voor overeenkomende edges wordt een gelijkenisgewicht berekend met behulp van een tekstgelijkenis-kernel.
- Teksten worden genormaliseerd (whitespace, Unicode-streepjes, null-markers).
- Gelijkenis wordt berekend als $1 - \frac{d_{Lev}}{\max(|g|, |p|)}$ , verheven tot een exponent $k=7$ .
- Rationale voor $k=7$ : Deze agressieve decay zorgt ervoor dat een 'near-miss' tekst (bijv. 90% karakteraccuratesse) zwaar wordt bestraft ( $\Psi \approx 0,48$ ), wat de eisen van ondernemingen weerspiegelt waar een enkele cijferfout in een financieel cijfer de data onbruikbaar maakt.
Optimale Matching: Het Hongaarse algoritme wordt gebruikt om de globaal optimale één-op-één toewijzing tussen ground truth en voorspelde edges te vinden, waarbij het totale gematchte gewicht wordt gemaximaliseerd. Dit voorkomt de greedy alignment-problemen van vorige metrieken.
Scoring: Precisie, Recall en F1 worden berekend op basis van de gewogen gematchte edges.
- Precisie: Bestraft gehallucineerde rijen/kolommen.
- Recall: Bestraft ontbrekende rijen of ontbrekende samengevoegde cellen.
- Fallback: Voor tabellen met een enkele cel valt de score terug op directe tekstgelijkenis.

3. Belangrijkste Bijdragen

Meertalige Benchmark: Een grootschalige, hoogwaardige dataset die 9 talen en 4 schriften dekt, specifiek gericht op de ondervertegenwoordiging van RTL- en CJK-talen in tabelextractieonderzoek.
T-LAG Metriek: Een grafiekgebaseerde evaluatiemethode die de 2D structurele topologie behoudt en gebruikmaakt van optimale bipartiete matching, wat het onderscheidt van tree-edit distance (TEDS) en 1D-sequentie-uitlijningmethoden.
Uitgebreide Evaluatie: Een rigoureuze benchmarking van 9 commerciële en open-source systemen (inclusief Pulse Ultra 2, Gemini 3.1, LlamaParse, AWS Textract en Azure DI) met publieke release van alle outputs en scoring-code.

4. Resultaten

De evaluatie van 9 aanbieders over 1.820 samples onthult significante prestatieverschillen:

Top Performer: Pulse Ultra 2 leidt met een T-LAG score van 0,935, waarbij een mediane score van 1,0 (perfecte extractie) wordt behaald op 57,9% van de samples. Het presteert 11,9 procentpunt beter dan het op één na hoogst geplaatste systeem.
Algemene Prestaties: Slechts één aanbieder overschrijdt een gemiddelde T-LAG score van 90%. Het onderste derde deel van de aanbieders scoort onder de 0,72, wat wijst op fundamentele beperkingen in de huidige meertalige tabelextractie-capaciteiten.
Structurele Hallucinaties: Zelfs hoogpresterende systemen (zo.n. Gemini 3.1) bereiken een perfecte extractie op slechts ~28% van de tabellen, waarbij ze vaak gefabriceerde rijen, uitgevonden inhoud of onjuiste span-attributen introduceren.
Linguïstische Variantie:
- Makkelijkst: Frans en Spaans vertonen de hoogste prestaties bij alle aanbieders, waarschijnlijk door gedeelde Latijnse schriften en standaardformattering.
- Moeilijkst: Arabisch en Koreaans vertonen de breedste variantie tussen aanbieders (spreads >75 procentpunten).
- CJK Uitdagingen: Aanbieders met sterke Engelse prestaties (bijv. AWS Textract met 0,724) dalen aanzienlijk op CJK-talen (0,324 op Chinees, 0,254 op Koreaans), wat wijst op OCR-zwakheden.
Dekking: Sommige "Agentic" systemen slaagden er niet in om output te produceren voor ~20% van de samples, een kritieke factor voor productiebetrouwbaarheid.

5. Betekenis en Claims

Het artikel positioneert PulseBench-Tab en T-LAG als essentiële instrumenten voor de vooruitgang van het veld van documentintelligentie:

Realistische Evaluatie: Door strikte straffen af te dwingen voor positionele en structurele fouten (via de $k=7$ exponent en edge-gebaseerde matching), weerspiegelt de metriek de operationele realiteit van enterprise-gegevensverwerking, waarbij benaderende extractie functioneel gelijkstaat aan falen.
Reproduceerbaarheid: De auteurs benadrukken dat de volledige dataset, de scoring-code en alle outputs van de aanbieders publiekelijk beschikbaar zijn om reproduceerbare evaluatie te ondersteunen.
Toekomstige Richting: De resultaten benadrukken dat niet-Latijnse schriften een grote, nog onopgeloste uitdaging blijven. De auteurs merken op dat hoewel de benchmark groot is, verdere opschaling nodig is voor kleinere talen (bijv. Koreaans, Duits) om de betrouwbaarheidsintervallen te verkleinen.
Beperkingen: De auteurs erkennen nederig de huidige beperkingen, inclusen de aanname van één tabel per afbeelding en single-page tabellen; multi-tabel lay-outs en multi-page tabellen zijn nog niet geëvalueerd.

Concluderend stelt het artikel dat huidige tabelextractiesystemen nog niet robuust genoeg zijn voor kritieke enterprise-toepassingen zonder aanvullende verificatie, met name in meertalige en structureel complexe scenario's. PulseBench-Tab biedt de noodzakelijke infrastructuur om de voortgang naar dit doel te meten.